MỞ ĐẦU. Lý do chọn đề tài:. Tổng quan về vấn đề nghiên cứu:. Mục đích nghiên cứu:.
Đối tượng và phạm vi nghiên cứu:. Phương pháp nghiên cứu:. TỔNG QUAN VỀ WEB LOG VÀ XỬ LÝ WEB LOG. Tổng quan về web log.
Khái quát về web log. Giới thiệu một số dạng web log. Tổng quan về xử lý web log. Khái quát về xử lý web log.
Ứng dụng của xử lý web log. Kết luận chương. CÁC KỸ THUẬT VÀ CÔNG CỤ PHÂN TÍCH WEB LOG. Các kỹ thuật phân tích web log.
Mô hình xử lý web log. Thu thập và tiền xử lý. Các kỹ thuật phân tích web log. Các công cụ và nền tảng phân tích web log.
IBM QRadar SIEM. So sánh các công cụ và nền tảng phân tích web log. Kết luận chương. THỬ NGHIỆM TRIỂN KHAI GIẢI PHÁP PHÂN TÍCH WEB LOG SỬ DỤNG ELK STACK.
Mô hình thử nghiệm xử lý và phân tích web log. Giới thiệu mô hình hệ thống. Quy trình thu thập, xử lý và phân tích web log. Cài đặt ELK Stack và các công cụ kèm theo.
Thử nghiệm và kết quả. Giới thiệu tập dữ liệu web log thử nghiệm. Một số kết quả. Nhận xét, đánh giá.
Kết luận chương.65 DANH MỤC CÁC TÀI LIỆU THAM KHẢO.66 5 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT 6 DANH MỤC CÁC BẢNG Bảng 1.1: Danh sách các tiền tố.2: Các định danh không yêu cầu có tiền tố.3: Các định danh cần phải có tiền tố. Các định dạng dữ liệu sử dụng trong W3C Extended Format. Các trường khả dụng trong W3C Extended Format.1: Kết hợp địa chỉ IP và User Agent.2: Kết quả nhận dạng được người dùng 1.3: Kết quả nhận dạng được người dùng 2.4: Kết quả nhận dạng được người dùng 3.5: Ví dụ trường hợp referrer sai.6: So sánh các công cụ và nền tảng phân tích web log.49 7 DANH MỤC CÁC HÌNH Hình 1.1: Windows log sử dụng công cụ Event Viewer.2: Các bản ghi log sinh ra bởi máy chủ web Microsoft IIS.3: Các khâu của quá trình thu thập, xử lý và phân tích log.4: Kiến trúc điển hình của hệ thống thu thập, xử lý và phân tích log.1: Mô hình xử lý web log.2: Các nhiệm vụ của tiền xử lý dữ liệu log.3: Một ví dụ về nhận dạng phiên dựa trên thời gian.4 : Một ví dụ về nhận dạng phiên dựa trên thời gian.5: Ví dụ về tham chiếu sai do cache.6: Quá trình sử dụng luật kết hợp.7: Ví dụ sử dụng data visualization.8 : Mô tả thu thập dữ liệu và xử lý của Qradar SIEM.9: Giao diện tổng hợp của Splunk.10: Cơ chế hoạt động của ELK Stack.11: Màn hình quản lý các nguồn thu thập log của GrayLog.12: Màn hình báo cáo tổng hợp của Graylog.13: Màn hình quản lý các dạng log của LOGalyze. Mô hình hệ thống xử lý và phân tích log dựa trên ELK.
Mô hình triển khai hệ thống phân tích log thử nghiệm. Một phần bộ lọc grok tích hợp trong Logstash. Elasticsearch đã được cài đặt và chạy thành công. Một số bản ghi của web log mẫu cung cấp bởi ELK.
Một số bản ghi của Microsoft IIS log. Giao diện trang chủ của Kibana. Trạng thái hoạt động của ELK Stack. Luồng log thu thập trong 30 ngày gần đây.
Phân bố log thu thập trong 2 ngày gần đây. Phân bố các loại trình duyệt máy khách truy cập website. Phân bố các loại trình duyệt kèm nơi máy khách truy cập website. Phân bố các loại hệ điều hành máy khách truy cập website.
Phân bố truy cập các địa chỉ URL của các website. Phân bố các cặp đích - nguồn truy cập theo nước. Phân bố nguồn (client) truy cập theo nước. Một phần màn hình Dashboard phân tích web log.
Thống kê lỗi truy cập theo host / URL. Lý do chọn đề tài: Với sự phát triển của công nghệ kỹ thuật số, hành trình mua sắm của người tiêu dùng ngày càng phức tạp. Và với các doanh nghiệp kinh doanh trực tuyến, hiểu hành vi người dùng là điều càng quan trọng. Hiểu được hành vi của người dùng giúp doanh nghiệp xây dựng chiến lược marketing phù hợp, tiếp thị trên mạng xã hội, kích thích nhu cầu tiêu dùng của khách hàng.
Có rất nhiều công cụ giúp các doanh nghiệp phân tích hành vi người dùng, trong số đó phải kể đến các công cụ phân tích web log. Hành vi người dùng có thể được trích xuất từ việc phân tích các file web log. Log(còn được gọi là nhật ký, hoặc dấu vết) là các mục nhập thông tin được tạo ra bởi các ứng dụng hoặc hệ điều hành trong quá trình hoạt động. Hiện nay mọi ứng dụng, hệ thống lớn nhỏ đều có thực hiện ghi log.
Mỗi nhật ký log thường được tạo bởi một hoạt động hoặc sự kiện, vì vậy nó còn được gọi là nhật ký sự kiện. Một số trình tạo nhật ký phổ biến là hệ điều hành, thiết bị mạng (như bộ định tuyến, tường lửa, v.), máy chủ dịch vụ (máy chủ web, máy chủ cơ sở dữ liệu, máy chủ DNS, máy chủ Email, v.) và các chương trình ứng dụng.Những lợi ích mà việc thu thập, xử lý và phân tích log mang lại bao gồm: - Kiểm tra sự tuân thủ các chính sách an ninh; - Hiểu các hành vi của người dùng trực tuyến, trên cơ sở đó tối ưu hóa hệ thống cho phục vụ tốt hơn cho người dùng hoặc quảng cáo trực tuyến. Như vậy, việc xử lý và phân tích log đem lại nhiều lợi ích, đặc biệt trong việc đảm bảo an toàn thông tin và cải thiện chất lượng hệ thống và các dịch vụ kèm theo, như quảng cáo trực tuyến thông qua việc phân tích hành vi người dùng sử dụng log. Ngoài ra, khi hệ thống gặp sự cố, web log cũng là một nguồn cung cấp các dữ liệu quan trọng cho quản trị viên để tìm hiểu nguyên nhân và khắc phục sự cố.
Hiện nay có nhiều kỹ thuật và công cụ khác nhau được sử dụng trong thu thập và phân tích web log. Đây cũng là hướng nghiên cứu của luận văn này với đề tài " Nghiên cứu các kỹ thuật và công cụ phân tích web log". Mục đích của luận văn là nghiên cứu các kỹ thuật và công cụ xử lý và phân tích web log, sau đó áp dụng các 2 kiến thức tìm hiểu được để xây dựng mô hình và thử nghiệm ứng dụng phân tích web log nhằm trích xuất các báo cáo về hành vi truy nhập web của người dùng. Tổng quan về vấn đề nghiên cứu: Việc thu thập, xử lý và phân tích nhật ký truy cập hệ thống nói chung và nhật ký web log nói riêng là công việc không thể thiếu trong việc giám sát hệ thống, phân tích hành vi người dùng, phát hiện bất thường, phát hiện tấn công,phát hiện xâm nhập.[2] Từ dữ liệu nhật ký web thô được thu thập, thông qua quá trình xử lý và phân tích, chúng ta có thể trích xuất thông tin quan trọng về hành vi của người dùng trực tuyến, cũng như các tín hiệu hoặc khả năng xuất hiện của hành vi truy cập bất thường.
Kết quả phân tích hành vi người dùng trực tuyến là cơ sở để tối ưu hóa và nâng cao chất lượng của hệ thống và các dịch vụ đi kèm, như quảng cáo trực tuyến. nhằm đáp ứng tốt nhất yêu cầu của người dùng. Nhiều giải pháp kỹ thuật và các nền tảng, công cụ xử lý, phân tích log đã được nghiên cứu và triển khai. Các giải pháp xử lý và phân tích log thường tập trung thực hiện các phần việc: - Nhận dạng mẫu: nhận dạng các mẫu xuất hiện trong các bản ghi log.
- Chuẩn hóa: chuyển các dạng dữ liệu log về một dạng chuẩn chung cho các khâu xử lý tiếp theo. - Phân loại và gán nhãn: phân loại các bản ghi log và gán nhãn chúng bằng các từ khóa. - Phân tích tương quan: là kỹ thuật thu thập các thông điệp từ các hệ thống khác nhau và tìm tất cả các thông điệp thuộc về cùng một sự kiện. - Phát hiện các bất thường nhân tạo: kỹ thuật cho phép nhận dạng, phát hiện các bất thường mới, hoặc hiếm gặp.
Các công cụ và nền tảng xử lý, phân tích log nói chung và web log nói riêng có thể được chia thành hai nhóm chính [1], bao gồm: nhóm các công cụ xử lý, phân tích log cho đảm bảo an toàn hệ thống, như hệ thống phát hiện xâm nhập OSSEC [6], Splunk [7], IBM Qradar SIEM [8] và các công cụ quản lý log, như Graylog [9], ELK Stack [10] và LOGalyze [11]. Mục đích nghiên cứu: Luận văn nghiên cứu, khảo sát các kỹ thuật và công cụ phân tích web log và triển khai thử nghiệm một công cụ quản lý và phân tích web log. Các hệ thống quản lý và phân tích web log có thể được sử dụng cho phát hiện các bất thường và hành vi truy cập của người dùng trong quản trị hệ thống và đảm bảo an toàn thông tin. Đối tượng và phạm vi nghiên cứu: Đối tượng nghiên cứu Đối tượng nghiên cứu của luận văn là các dạng web log và các kỹ thuật, công cụ phân tích web log.
Phạm vi nghiên cứu Phạm vi nghiên cứu của luận văn là giới hạn một số dạng web log. Phương pháp nghiên cứu: Luận văn sử dụngikết hợp các phươngipháp nghiên cứuisau: Phương pháp nghiên cứu lý thuyết Khảo sát các kỹ thuật và công cụ phân tích web log. Phương pháp nghiên cứu thực nghiệm Triển khai thử nghiệm một hệ thống quản lý và phân tích log mã mở và đánh giá kết quả. TỔNG QUAN VỀ WEB LOG VÀ XỬ LÝ WEB LOG 1.
Tổng quan về web log 1. Khái quát về web log Nhật ký truy cập hay dấu vết truy cập, hay nhật ký (gọi tắt là log) là danh sách các bản ghi mà khi được yêu cầu truy cập tài nguyên hệ thống, hệ thống sẽ ghi lại. Ví dụ: nhật ký truy cập web (gọi tắt là nhật ký web log) chứa tất cả thông tin khi có yêu cầu truy cập tài nguyên của trang web.Tài nguyên của trang web có thể bao gồm các mẫu định dạng, tệp hình ảnh và tệp mã JavaScript. Khi người dùng truy cập trang web để tìm kiếm sản phẩm, máy chủ web sẽ tải xuống thông tin và hình ảnh của sản phẩm và nhật ký truy cập ghi lại các yêu cầu của người dùng đối với tài nguyên thông tin và ảnh của sản phẩm đó.
Nhật ký web chứa các thông tin như tên người dùng, dấu thời gian, yêu cầu truy cập, địa chỉ IP, số byte được chuyển, trạng thái kết quả, URL.Các tệp nhật ký được duy trì bởi các máy chủ web.