Luận văn: Nghiên cứu và phát triển hệ thống phát hiện bất thường dựa trên log

Tải full luận văn nghiên cứu và phát triển hệ thống phát hiện bất thường dựa trên log. Giải pháp an ninh mạng, giám sát và phân tích log hiệu quả.

• Tác giả: Lê Văn Đồng
• Người hướng dẫn: PGS. Trần Quang Đức
• Trường học: Trường Đại học Bách khoa Hà Nội
• Chuyên ngành: Kỹ thuật máy tính
• Đề tài: Nghiên cứu và phát triển hệ thống phát hiện bất thường dựa trên log
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Về Hệ Thống Phát Hiện Bất Thường Qua Log

Hệ thống phát hiện bất thường qua log là một giải pháp quan trọng trong lĩnh vực an ninh thông tin và giám sát bảo mật. Với sự phát triển của công nghệ thông tin, các tổ chức và doanh nghiệp ngày càng phải đối mặt với những mối đe dọa an ninh mạng phức tạp. Phát hiện bất thường dựa trên log giúp các tổ chức sớm phát hiện các hành vi tấn công, từ đó có thể phản ứng kịp thời. Thay vì chỉ tập trung vào các giải pháp phòng thủ truyền thống, các doanh nghiệp hiện đang chuyển hướng đầu tư sang các giải pháp giám sát tập trung như SIEM (Security Information and Event Management) để theo dõi và phân析 các dấu hiệu bất thường trong hệ thống.

1.1. Định Nghĩa Và Tầm Quan Trọng

Phát hiện bất thường là quá trình xác định những hành vi hoặc sự kiện không bình thường trong hệ thống thông tin. Việc phân tích log hệ thống từ các máy chủ, máy trạm và thiết bị mạng giúp nhận diện những dấu hiệu của tấn công. Tầm quan trọng của hệ thống này nằm ở khả năng phát hiện sớm các mối đe dọa (APT - Advanced Persistent Threat) và giảm thiểu thiệt hại tiềm ẩn cho tổ chức.

1.2. Vai Trò Trong An Ninh Mạng Hiện Đại

Trong bối cảnh các cuộc tấn công mạng ngày càng tinh vi, hệ thống phát hiện bất thường đóng vai trò then chốt. Nó bổ sung cho các giải pháp ngăn chặn tấn công truyền thống như firewall và antivirus. Bằng cách theo dõi và phân tích các dấu hiệu bất thường, tổ chức có thể điều tra, truy vết và phục hồi khi xảy ra sự cố an ninh.

II. Công Nghệ Và Công Cụ Sử Dụng

Công nghệ phát hiện bất thường qua log sử dụng nhiều công cụ và nền tảng khác nhau để thu thập, phân tích và xử lý dữ liệu. SIEM (Security Information and Event Management) như QRadar là một trong những nền tảng hàng đầu được sử dụng để tập trung hóa việc quản lý nhật ký. Ngoài ra, các công cụ như Sysmon trên Windows và auditd trên Linux giúp thu thập các log chi tiết về hoạt động hệ thống. Sigma-rules là một định dạng chuẩn để viết các quy tắc phát hiện bất thường một cách độc lập với nền tảng, cho phép chuyển đổi linh hoạt giữa các hệ thống SIEM khác nhau.

2.1. Nền Tảng SIEM Và QRadar

QRadar là một giải pháp SIEM mạnh mẽ cho phép thu thập log từ nhiều nguồn trên hạ tầng CNTT. Nó cung cấp khả năng phân tích sự kiện theo thời gian thực, tương quan sự kiện để phát hiện các chuỗi tấn công phức tạp. QRadar API cho phép tích hợp với các hệ thống khác, tạo ra một nền tảng giám sát tập trung hiệu quả.

2.2. Công Cụ Thu Thập Log

Sysmon trên hệ điều hành Windows cung cấp các sự kiện log chi tiết về quá trình thực thi, hoạt động mạng và thay đổi hệ thống. Trên Linux, auditd thực hiện vai trò tương tự. Osquery là công cụ cho phép truy vấn các bảng dữ liệu hệ thống như một cơ sở dữ liệu SQL, giúp thu thập thông tin bổ sung về trạng thái hệ thống.

2.3. Định Dạng Sigma Rules

Sigma-rules là định dạng chuẩn mở để viết các quy tắc phát hiện bất thường. Chúng được viết dưới dạng YAML và mô tả các mẫu sự kiện cần được phát hiện. Ưu điểm chính là khả năng độc lập với nền tảng, cho phép các nhà bảo mật chia sẻ và tái sử dụng các quy tắc trên các hệ thống SIEM khác nhau.

III. Quy Trình Xây Dựng Hệ Thống Phát Hiện Bất Thường

Xây dựng hệ thống phát hiện bất thường hiệu quả đòi hỏi một quy trình có cấu trúc rõ ràng. Đầu tiên, phải xác định yêu cầu dựa trên ma trận ATT&CK của MITRE, giúp hiểu các chiến thuật tấn công mà tổ chức cần phòng chống. Tiếp theo, phải cấu hình log trên các thiết bị như Windows Event Viewer và Linux audit policies để thu thập đủ thông tin. Viết các quy tắc phát hiện dưới dạng sigma-rules là bước quan trọng tiếp theo. Cuối cùng, chuyển đổi và triển khai các quy tắc này trên nền tảng SIEM như QRadar để bắt đầu phát hiện và cảnh báo các hành vi bất thường.

3.1. Cấu Hình Log Trên Hệ Điều Hành

Trên Windows, cần kích hoạt Advanced Audit Policy để sinh ra các sự kiện log chi tiết. Phải cấu hình các audit policy cho các sự kiện quan trọng như đăng nhập, thay đổi quyền hạn, tạo tiến trình. Trên Linux, auditd cần được cấu hình thông qua audit.conf để theo dõi các system call và file access quan trọng.

3.2. Phát Triển Quy Tắc Phát Hiện

Quy tắc phát hiện được viết dưới dạng sigma-rules phải mô tả các mẫu sự kiện liên quan đến tấn công. Mỗi quy tắc bao gồm tiêu đề, mô tả, tác giả, tham chiếu và logic phát hiện. Logic phát hiện sử dụng các toán tử như AND, OR, NOT để kết hợp các điều kiện trên các trường thông tin trong log.

3.3. Triển Khai Trên SIEM

Các sigma-rules được viết dưới dạng chuẩn cần chuyển đổi thành các quy tắc cụ thể cho QRadar hoặc SIEM khác. Quá trình này liên quan đến ánh xạ các trường thông tin từ sigma-rules sang các trường được hỗ trợ bởi nền tảng. Sau khi triển khai, các quy tắc sẽ tạo ra các cảnh báo (offense) khi phát hiện các sự kiện bất thường.

IV. Thách Thức Và Hướng Phát Triển Tương Lai

Mặc dù hệ thống phát hiện bất thường qua log mang lại nhiều lợi ích, nhưng cũng gặp phải những thách thức đáng kể. Khối lượng dữ liệu lớn từ các log gây khó khăn trong xử lý và phân tích. False positive từ các quy tắc không chính xác có thể gây mệt mỏi cho đội bảo mật. Ngoài ra, các kỹ thuật tấn công mới liên tục xuất hiện, đòi hỏi cập nhật liên tục các quy tắc phát hiện. Để giải quyết những thách thức này, các xu hướng tương lai bao gồm việc sử dụng machine learning để tự động phát hiện các mẫu bất thường, xử lý dữ liệu lớn để xử lý khối lượng log khổng lồ, và tích hợp OSINT để nâng cao độ chính xác của quy tắc phát hiện.

4.1. Thách Thức Hiện Tại

Khối lượng dữ liệu log ngày càng tăng khiến chi phí lưu trữ và xử lý tăng đáng kể. Căn bệnh false positive làm giảm hiệu quả của hệ thống vì đội bảo mật phải kiểm tra quá nhiều cảnh báo giả. Ngoài ra, thiếu nhân lực chuyên sâu trong lĩnh vực phân tích bảo mật là một vấn đề lớn đối với các tổ chức.

4.2. Ứng Dụng Công Nghệ Mới

Machine learning có thể được sử dụng để huấn luyện mô hình nhận diện các mẫu hoạt động bất thường mà không cần định nghĩa quy tắc rõ ràng. Xử lý dữ liệu lớn (Big Data) cho phép phân tích nhanh khối lượng log khổng lồ. AI và deep learning mở ra khả năng phát hiện tấn công zero-day thông qua việc nhận biết các hành vi độc lập với chữ ký tấn công.

4.3. Hướng Phát Triển Dài Hạn

Tương lai của hệ thống phát hiện bất thường hướng tới tự động hóa hoàn toàn từ thu thập log đến phản ứng sự cố. Orchestration sẽ cho phép hệ thống tự động thực hiện các biện pháp khi phát hiện bất thường. Cộng tác giữa các tổ chức để chia sẻ thông tin về mối đe dọa (Threat Intelligence) sẽ nâng cao hiệu quả phòng chống.

Trích đoạn nội dung tài liệu

TRƯỜNG DẠI HỌC BÁCH KIOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu và phát triển hệ thống phát hiện bất thường dựa trên log LE VAN DONG Ngành Ky thuat may tinh Giảng viên hưởng dẫn: PGS. ‘Trin Quang Dac Trường: Công nghệ thông tím và Truyền thông HA NOI, 2021 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu và phát triển hệ thống phát hiện bất thường dựa trên log LE VAN DONG Ngành Kỹ thuật máy tỉnh Giảng viên hướng dẫn: PGS. Trần Qnang Đức Chit ky cha GVHD ‘Truong: Céng nghé thing tin va ‘Trayén théng HA NOI, 2021 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập — Tự do Hạnh phúc BẢN XÁC NHẬN CHÍNH SỬA LUẬN VĂN THẠC Họ vả tên tác giá luận văn: Lê Văn Đồng, Đề tài luận văn: Nghiên cửu và phát triển hệ thống, phát hiện bất thường, dựa trên Tog Chuyên ngành: Kỹ thuật máy tính Mã số SV: 20202913M Tác giả, Người hướng dẫn khoa họu và Hội đồng chấm luận văn xác nhận tác giả đã sửa chứa bổ sung luận văn theo biên bản họp Hội đồng ngày 24/12/2021 với các nội dụng sau: lỗ sưng các biểu đỗ và mô tả các API để làm rõ cách thức tương tác, xứ lý dữ liệu giữa hệ thông, quản lý tập luật với máy chủ SIEM-QRadar lễ sung các mỏ tả để làm rõ cách thúc xây dựng tập luật theo cầu trúc chuẩn dạng sigma-rule Bé sung các mỏ tả vẻ cách thức chuyên dỗi các luật được viết đưới dang sigrna-rules thành các luật có thể câu hình trên hệ thống SIEM-ORadar Cập nhật chỉ số của các để mục và các trích đần cửa để mục, hinh vẽ, bảng biểu trang luận văn Ngày - thẳng năm Giáo viên hướng dẫn Tac giả luận văn PGS. Trần Quang Đức Lê Văn Đông CHỦ TỊCH HỘI DONG TS.

Dé Ba Lam ĐẶT VẤN ĐÈ 1+ do lựa chọn để tài Cũng với sự phát triển của khơa học và công nghệ, c: ¿ hệ thong CNTT ur may phủ cung cấp dịch vụ may trạm người dùng, các thiết bị mạng, pho đến nrhiều thiết bị phần cứng, phần mềm chuyên dụng đã và đang trở thành một phần không thể thiểu, tác dòng tới quy trinh nghiệp vụ và sự phát hiển chung của mọi tổ chức, doanh nghiệp. Song song với những lợi ích to lớn đó là “nỗi ký? về việc mắt an toàn, an ninh thông tin trên không gian mạng, trước sự gia tắng ngày cảng nhiều các cuộc tân công cả về quy mô và độ phức tap trong những nằm gân dây. Theo bao cáo hàng năm [4, 5] của các tố chức bảo mật hàng đầu thế giới như 'MeAfee, Kaspersky thì các cuộc tắn công mạng, nhất là các cuộc tân cổng có chủ đích (APT) nhắm vào các tổ chức, tập đoản lớn ngày cảng trở nên phổ biến Kế tin công liên tục thay đổi phương thúc tấn công, sử đựng nhiên kỹ thuật tỉnh vị, phức tạp nhằm che giấu hành vi của rninh cũng như để qua mặt các hệ thẳng phòng thủ. Trước nguy co đó, các doanh nghiệp cũng đang thay đối, chuyển địch đân su hướng đầu tư của mình.

Thay vì đầu tư tới 80% cơ sở hạ tổng cho các giải pháp ngăn chặn, phòng thủ như trước đây thị đang tập trung đâu tư nhiều hon cho các giải pháp theo dõi, giảm sát nhằm sớm phát hiện bắt thường, cứu như phục vụ cho việc phản img, điển tra, truy vết khi xảy ra sự cổ mất an toàn an ninh théng tin ‘Theo van ban sé 2973/BITTT-CATIT ngày 04/09/2019 của Hộ Thông tim và Truyền thông về việc "Hướng dẫn triển khai hoạt động giảm sát an toàn thông tin. trong cơ quan, tô chức nhả nước” [6], có thể thấy việc giám sát, đăm bảo an toán cho hạ tâng công nghệ thông tím thường được triển khai theo hai cách đưới đây: - Giải pháp thú nhất: Cài đặt các phần mềm giảm sát, phát hiện và ngăn chặn hành vị tân công trên máy chủ cung cắp địch vụ, máy trạm của người đừng như Host-IDS, AV, DLT,. Cách này cho phép trục tiếp phát hiện tấn công và có thể sinh các cảnh báo. (ti về hệ thông quản lý.

- Giải pháp thứ hai: Thu thập thông tin nhật ký (log) từ ha tang CKTT gứt vẻ hệ thống giám sát tập trung như SIEM dễ sớm phát hiện các hành vi tản công dựa trên việc phân tích các dâu hiệu bất thường, so khớp các luật, sử dụng các công nghệ xử lý đữ liệu lớn. Việc gửi log về hệ thông giảm sát tập trung có thể được thực hiện thông qua các giao thức, cơ chế mà hệ điều hành hỗ trợ như Swslog, SNMP,. hoặc cần phát triển các phần mẻm tác tứ riêng cho từng giải 'pháp cụ thể, DANH MUC BANG BIEU Bang 1. Bang mô tả các chiến thuật lẫn công trong ma trận ATT&ŒK.

Bang danh gia uu va nhuge diém của MITRE ATT&CK Mramework. Bang mé ta mat sé loai logs trên hệ điều hành Windows 1 Bary 1. Bang so sinh Basic Audil Policy va Advanced Audit Poliey. Bang danh giá ưu điểm và nhược diém của dịch vụ 3ysmon.

Bảng thông kẽ một số sự kiện trong logs của địch vụ Sysmon 16 Bang 1. Bang thống kế và dặc tả ruột số loại logs trên Lmux. Bảng thống kẽ các báng dữ liệu cần truy vẫn bởi osquery.9 Tiảng thông kẽ các trường thông tin quan trọng cửa tệp auditd conf. Bảng giá trị td của người dùng trên hệ thông linux.11, láng so sánh Wineolleet Managed và Wineollet Standalone.

Bảng đặc tà các thành phân chính trang sigma-rules.13, Bang mồ tã mỗi quan hệ giữa rulss và offense trong Qradar.14, Bang mô tà các trưởng thông tín trả vẻ trong QRađar-APL,. Bảng đặc tã cơ số đữ liệu của hệ thông Rules-Cross-Platform- 49 Bany 2. Bang ofc audit policy can kich hoal. dé sinh logs cho Windows 53 Bang 2.

Bang cập nhật một số thay đối trong tệp câu hình Sysmon. Bảng thông tin cầu hình hệ thông thử nghiệm. Bang dic ti một số extension cải dặt trên Qradar. Bảng thống kẽ các trường thông tin trong logs của osquery Bimy 3.

Cau tric bang co sit dit héu webvul chứa nhiều lễ hồng bảo mật. Bang so sanh dich vu osquery va auditd. Háng đánh giá khả năng đáp ứng của tập luật - Bang 3. Bảng thông kẽ các thông tin cân thu thập đề tối tru tập luật.

Bảng thống kẽ các ký tự cần chủ ý khi tối ưu tập luật wén SIEM. y LỜI CẢM ƠN Đâu tiên, em xin gửi lời cảm ơn chân thành và sâu sắc tới PŒ2%T. Trấn Quảng Đức, Giảng viên bộ môn Truyền thông và Mạng máy tnh, Trường CNTT&TT, Đại học Bách Khoa Hà Nội, người đã trực tiếp hưởng đẫn em thực tiện luận văn này. Thầy là người rất cần thận, có trách rhưiệm cao trong ông việp, lun hé tro em rât nhiều kế tử quãng thời cèn sinh viên cho đến tận bây giờ.

ông thời, em xin cám ơn anh Hei Xudn Dinh, bạn Nguyễn Trạng Ngọc cùng toàn thể mọi người tại ‘Trung tam An toàn, an ninh thông tìn Bách Khoa (BKCS). Các anh, các bạn đã luôn động viên, hỗ trợ em rất nhiều trong công việc nói chưng cũng như trong việc thực hiện luận văn này nói riêng, Sau củng, em xin gửi lời cảm on tới PGS. Nguyễn Lính Giang, Trưởng bộ mén Truyén thông và Mạng máy tính, cùng toàn thế các thây cô trong Trường CNTT&TT đã hễ trợ em rât nhiều trong quá trình học thạc sĩ, cũng như truyền đạt cho em nhiều k thức, k_h nghiệm quý báu đề em có hành trang tối khi vào đời Với những kiến thức đã gặt hái được, em sẽ cố gắng hoàn thiện bản thân và dang góp nhiền điều có ích cho công đồng, cho xã hội, xứng dang với truyền thống của sinh viên Bách Khoa nói clrung và sinh viên CNTT nói riêng. "Luy nhiên, do còn hạn chế về thời gian nên chắc chắn em sẽ không trành khỏi những thiểu sớt trong, quá trinh thực hiện luận vẫn tốt nghiệp nay.

Vi vay, em rat nong nhận được sự góp ở, chí báo của cáo thây, các cô để hoàn thiện luận văn của xminh được tốt hơn. Hà Nội, ngày — thẳng — năm Tác giả Lé Van Ding ĐẶT VẤN ĐÈ 1+ do lựa chọn để tài Cũng với sự phát triển của khơa học và công nghệ, c: ¿ hệ thong CNTT ur may phủ cung cấp dịch vụ may trạm người dùng, các thiết bị mạng, pho đến nrhiều thiết bị phần cứng, phần mềm chuyên dụng đã và đang trở thành một phần không thể thiểu, tác dòng tới quy trinh nghiệp vụ và sự phát hiển chung của mọi tổ chức, doanh nghiệp. Song song với những lợi ích to lớn đó là “nỗi ký? về việc mắt an toàn, an ninh thông tin trên không gian mạng, trước sự gia tắng ngày cảng nhiều các cuộc tân công cả về quy mô và độ phức tap trong những nằm gân dây. Theo bao cáo hàng năm [4, 5] của các tố chức bảo mật hàng đầu thế giới như 'MeAfee, Kaspersky thì các cuộc tắn công mạng, nhất là các cuộc tân cổng có chủ đích (APT) nhắm vào các tổ chức, tập đoản lớn ngày cảng trở nên phổ biến Kế tin công liên tục thay đổi phương thúc tấn công, sử đựng nhiên kỹ thuật tỉnh vị, phức tạp nhằm che giấu hành vi của rninh cũng như để qua mặt các hệ thẳng phòng thủ.

Trước nguy co đó, các doanh nghiệp cũng đang thay đối, chuyển địch đân su hướng đầu tư của mình. Thay vì đầu tư tới 80% cơ sở hạ tổng cho các giải pháp ngăn chặn, phòng thủ như trước đây thị đang tập trung đâu tư nhiều hon cho các giải pháp theo dõi, giảm sát nhằm sớm phát hiện bắt thường, cứu như phục vụ cho việc phản img, điển tra, truy vết khi xảy ra sự cổ mất an toàn an ninh théng tin ‘Theo van ban sé 2973/BITTT-CATIT ngày 04/09/2019 của Hộ Thông tim và Truyền thông về việc "Hướng dẫn triển khai hoạt động giảm sát an toàn thông tin. trong cơ quan, tô chức nhả nước” [6], có thể thấy việc giám sát, đăm bảo an toán cho hạ tâng công nghệ thông tím thường được triển khai theo hai cách đưới đây: - Giải pháp thú nhất: Cài đặt các phần mềm giảm sát, phát hiện và ngăn chặn hành vị tân công trên máy chủ cung cắp địch vụ, máy trạm của người đừng như Host-IDS, AV, DLT,. Cách này cho phép trục tiếp phát hiện tấn công và có thể sinh các cảnh báo.

(ti về hệ thông quản lý. - Giải pháp thứ hai: Thu thập thông tin nhật ký (log) từ ha tang CKTT gứt vẻ hệ thống giám sát tập trung như SIEM dễ sớm phát hiện các hành vi tản công dựa trên việc phân tích các dâu hiệu bất thường, so khớp các luật, sử dụng các công nghệ xử lý đữ liệu lớn.