Nghiên Cứu Các Kỹ Thuật và Công Cụ Phân Tích Web Log

Luận văn thạc sĩ nghiên cứu nghiên cứu các kỹ thuật và công cụ phân tích web log, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực kỹ thuật.

• Tác giả: Hoàng Thị Huyền Trang
• Người hướng dẫn: TS. Hoàng Xuân Dậu
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên Cứu Các Kỹ Thuật Và Công Cụ Phân Tích Web Log
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Tổng quan về vấn đề nghiên cứu
• 1.3. Mục đích nghiên cứu
• 1.4. Đối tượng và phạm vi nghiên cứu
• 1.5. Phương pháp nghiên cứu
• 2. CHƯƠNG 1: TỔNG QUAN VỀ WEB LOG VÀ XỬ LÝ WEB LOG
• 2.1. Tổng quan về web log
• 2.1.1. Khái quát về web log
• 2.2. Giới thiệu một số dạng web log
• 2.3. Tổng quan về xử lý web log
• 2.3.1. Khái quát về xử lý web log
• 2.3.2. Ứng dụng của xử lý web log
• 2.4. Kết luận chương
• 3. CÁC KỸ THUẬT VÀ CÔNG CỤ PHÂN TÍCH WEB LOG
• 3.1. Các kỹ thuật phân tích web log
• 3.2. Mô hình xử lý web log
• 3.2.1. Thu thập và tiền xử lý
• 3.3. Các công cụ và nền tảng phân tích web log
• 3.3.1. IBM QRadar SIEM
• 3.3.2. So sánh các công cụ và nền tảng phân tích web log
• 3.4. Kết luận chương
• 4. THỬ NGHIỆM TRIỂN KHAI GIẢI PHÁP PHÂN TÍCH WEB LOG SỬ DỤNG ELK STACK
• 4.1. Mô hình thử nghiệm xử lý và phân tích web log
• 4.2. Giới thiệu mô hình hệ thống
• 4.3. Quy trình thu thập, xử lý và phân tích web log
• 4.4. Cài đặt ELK Stack và các công cụ kèm theo
• 4.5. Thử nghiệm và kết quả
• 4.5.1. Giới thiệu tập dữ liệu web log thử nghiệm
• 4.5.2. Một số kết quả
• 4.5.3. Nhận xét, đánh giá
• 4.6. Kết luận chương
• DANH MỤC CÁC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về web log và xử lý web log

Trong bối cảnh công nghệ thông tin phát triển mạnh mẽ, phân tích web log trở thành một công cụ quan trọng trong việc hiểu và tối ưu hóa hành vi người dùng. Web log là các bản ghi thông tin được tạo ra bởi máy chủ web khi người dùng truy cập vào các tài nguyên trực tuyến. Những thông tin này bao gồm địa chỉ IP, thời gian truy cập, yêu cầu truy cập và trạng thái phản hồi từ máy chủ. Việc phân tích dữ liệu web từ các file log giúp các doanh nghiệp nắm bắt được hành vi của người dùng, từ đó đưa ra các chiến lược marketing hiệu quả hơn. Theo nghiên cứu, việc phân tích hành vi người dùng không chỉ giúp tối ưu hóa trải nghiệm người dùng mà còn hỗ trợ trong việc phát hiện các hành vi bất thường, từ đó nâng cao an ninh hệ thống.

1.1. Khái quát về web log

Nhật ký truy cập (web log) là một tập hợp các bản ghi được tạo ra bởi máy chủ web, ghi lại mọi yêu cầu truy cập từ người dùng. Mỗi bản ghi thường chứa thông tin như địa chỉ IP, thời gian truy cập, yêu cầu HTTP và mã trạng thái phản hồi. Các máy chủ web phổ biến như Apache và Microsoft IIS đều hỗ trợ nhiều định dạng nhật ký khác nhau, bao gồm NCSA Common Log Format và W3C Extended Log Format. Việc lựa chọn định dạng phù hợp giúp quản trị viên dễ dàng hơn trong việc phân tích dữ liệu và tối ưu hóa hệ thống. Hơn nữa, các file log này không chỉ cung cấp thông tin về hành vi người dùng mà còn là nguồn dữ liệu quý giá cho việc phát hiện và xử lý sự cố trong hệ thống.

1.2. Ứng dụng của xử lý web log

Việc xử lý web log mang lại nhiều lợi ích thiết thực cho các tổ chức. Đầu tiên, nó giúp phát hiện các hành vi bất thường, từ đó bảo vệ hệ thống khỏi các cuộc tấn công mạng. Thứ hai, thông qua việc phân tích hành vi người dùng, các doanh nghiệp có thể tối ưu hóa trải nghiệm khách hàng, cải thiện chất lượng dịch vụ và tăng cường hiệu quả marketing. Hơn nữa, công cụ phân tích như ELK Stack hay Splunk cho phép thu thập, xử lý và phân tích dữ liệu log một cách hiệu quả, giúp các nhà quản trị dễ dàng theo dõi và đánh giá hiệu suất của hệ thống. Như vậy, việc phân tích dữ liệu log không chỉ là một công cụ hỗ trợ trong quản lý hệ thống mà còn là một phần không thể thiếu trong chiến lược phát triển bền vững của doanh nghiệp.

II. Các kỹ thuật và công cụ phân tích web log

Trong nghiên cứu này, các kỹ thuật phân tích dữ liệu web log được phân loại thành nhiều nhóm khác nhau, bao gồm nhận dạng mẫu, chuẩn hóa dữ liệu, phân loại và gán nhãn. Mỗi kỹ thuật đều có vai trò quan trọng trong việc tối ưu hóa quá trình phân tích web log. Các công cụ như IBM QRadar SIEM và ELK Stack được sử dụng rộng rãi trong việc thu thập và phân tích log. Những công cụ này không chỉ giúp tự động hóa quá trình phân tích mà còn cung cấp các báo cáo chi tiết về hành vi người dùng. Việc áp dụng các công cụ phân tích này giúp các tổ chức tiết kiệm thời gian và nguồn lực, đồng thời nâng cao khả năng phát hiện và xử lý sự cố.

2.1. Các kỹ thuật phân tích web log

Các kỹ thuật phân tích dữ liệu web log bao gồm nhiều phương pháp khác nhau như nhận dạng mẫu và phát hiện bất thường. Nhận dạng mẫu giúp xác định các hành vi truy cập phổ biến, trong khi phát hiện bất thường cho phép phát hiện các hành vi không bình thường có thể chỉ ra các cuộc tấn công hoặc sự cố. Việc áp dụng các kỹ thuật này không chỉ giúp cải thiện an ninh hệ thống mà còn tối ưu hóa trải nghiệm người dùng. Hơn nữa, việc sử dụng các công cụ phân tích như ELK Stack cho phép tự động hóa quy trình này, giúp tiết kiệm thời gian và nguồn lực cho các tổ chức.

2.2. So sánh các công cụ và nền tảng phân tích web log

Trên thị trường hiện nay, có nhiều công cụ phân tích web log khác nhau, mỗi công cụ đều có những ưu điểm và nhược điểm riêng. Ví dụ, IBM QRadar SIEM nổi bật với khả năng phát hiện xâm nhập và quản lý sự kiện, trong khi ELK Stack lại được ưa chuộng nhờ tính linh hoạt và khả năng mở rộng. Việc lựa chọn công cụ phù hợp phụ thuộc vào nhu cầu cụ thể của tổ chức, cũng như quy mô và tính chất của hệ thống. So sánh giữa các công cụ này giúp các nhà quản trị đưa ra quyết định đúng đắn trong việc đầu tư vào công nghệ phân tích log.

III. Thử nghiệm triển khai giải pháp phân tích web log sử dụng ELK Stack

Thử nghiệm triển khai giải pháp phân tích web log sử dụng ELK Stack đã cho thấy hiệu quả rõ rệt trong việc thu thập và phân tích dữ liệu log. Mô hình thử nghiệm được thiết kế để thu thập dữ liệu từ nhiều nguồn khác nhau, sau đó xử lý và phân tích để tạo ra các báo cáo chi tiết về hành vi người dùng. Kết quả thử nghiệm cho thấy khả năng của ELK Stack trong việc xử lý dữ liệu lớn và cung cấp thông tin hữu ích cho việc ra quyết định. Việc áp dụng mô hình này không chỉ giúp nâng cao hiệu quả quản lý hệ thống mà còn cải thiện khả năng phát hiện và xử lý sự cố.

3.1. Mô hình thử nghiệm xử lý và phân tích web log

Mô hình thử nghiệm được xây dựng dựa trên kiến trúc của ELK Stack, bao gồm Elasticsearch, Logstash và Kibana. Mô hình này cho phép thu thập, xử lý và phân tích dữ liệu log một cách hiệu quả. Quá trình thu thập dữ liệu được thực hiện tự động, giúp giảm thiểu thời gian và công sức cho các nhà quản trị. Hơn nữa, việc sử dụng Kibana cho phép trực quan hóa dữ liệu, giúp dễ dàng theo dõi và phân tích hành vi người dùng. Kết quả từ mô hình thử nghiệm cho thấy khả năng của ELK Stack trong việc cung cấp thông tin chi tiết và hữu ích cho việc ra quyết định.

3.2. Kết quả và nhận xét

Kết quả từ thử nghiệm cho thấy ELK Stack có khả năng xử lý và phân tích dữ liệu log một cách nhanh chóng và hiệu quả. Các báo cáo được tạo ra từ quá trình phân tích cung cấp cái nhìn sâu sắc về hành vi người dùng, từ đó giúp các tổ chức đưa ra các quyết định chiến lược. Hơn nữa, việc phát hiện các hành vi bất thường cũng được cải thiện đáng kể, giúp nâng cao an ninh hệ thống. Như vậy, việc triển khai giải pháp phân tích web log sử dụng ELK Stack không chỉ mang lại lợi ích về mặt kỹ thuật mà còn hỗ trợ trong việc tối ưu hóa trải nghiệm người dùng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của công nghệ kỹ thuật số, hành vi người dùng trực tuyến ngày càng trở nên phức tạp và đa dạng. Theo báo cáo của ngành, việc phân tích hành vi người dùng trên các nền tảng trực tuyến đóng vai trò then chốt trong việc xây dựng chiến lược marketing hiệu quả và tối ưu hóa trải nghiệm khách hàng. Nhật ký web (web log) là nguồn dữ liệu quan trọng giúp trích xuất thông tin về hành vi truy cập của người dùng. Nhật ký này được tạo ra bởi các máy chủ web, thiết bị mạng và hệ điều hành, ghi lại các sự kiện truy cập như địa chỉ IP, thời gian truy cập, URL yêu cầu, mã trạng thái HTTP, và nhiều thông tin khác.

Mục tiêu nghiên cứu của luận văn là khảo sát các kỹ thuật và công cụ phân tích web log, từ đó xây dựng và thử nghiệm mô hình phân tích nhằm trích xuất các báo cáo về hành vi truy cập web của người dùng. Phạm vi nghiên cứu tập trung vào các dạng web log phổ biến như NCSA Common Log Format, W3C Extended Log Format và Microsoft IIS Log Format, đồng thời thử nghiệm ứng dụng trên nền tảng ELK Stack trong khoảng thời gian thu thập dữ liệu 30 ngày gần đây tại một số hệ thống máy chủ web thực tế.

Việc phân tích web log không chỉ giúp đảm bảo an toàn thông tin, phát hiện các hành vi bất thường mà còn hỗ trợ tối ưu hóa hệ thống và nâng cao hiệu quả quảng cáo trực tuyến. Theo ước tính, các doanh nghiệp áp dụng phân tích web log có thể cải thiện tỷ lệ chuyển đổi khách hàng lên đến 20% và giảm thiểu thời gian xử lý sự cố hệ thống khoảng 30%. Do đó, nghiên cứu này có ý nghĩa thiết thực trong việc phát triển các giải pháp quản lý và phân tích dữ liệu truy cập web, góp phần nâng cao hiệu quả vận hành và bảo mật hệ thống thông tin.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: lý thuyết về xử lý và phân tích dữ liệu nhật ký (log analysis) và mô hình khai thác dữ liệu (data mining).

1. Lý thuyết xử lý web log: Bao gồm các khái niệm về thu thập, làm sạch, chuẩn hóa và phân tích dữ liệu log. Các định dạng web log phổ biến như NCSA Common Log Format, W3C Extended Log Format và Microsoft IIS Log Format được nghiên cứu chi tiết để hiểu cấu trúc và nội dung dữ liệu. Khái niệm nhận dạng người dùng, nhận dạng phiên truy cập (sessionization) và hoàn thành đường dẫn truy cập (path completion) là các thuật ngữ chuyên ngành quan trọng trong quá trình tiền xử lý dữ liệu.

2. Mô hình khai thác dữ liệu và phân tích hành vi người dùng: Áp dụng các kỹ thuật như phân tích thống kê, phân cụm (clustering), phân lớp (classification), luật kết hợp (association rules) và trực quan hóa dữ liệu (data visualization). Mô hình xử lý web log gồm các bước: tiền xử lý và chuẩn hóa dữ liệu, tìm kiếm mẫu (pattern discovery), phân tích mẫu và dự đoán hành vi người dùng. Các thuật toán học máy và khai thác dữ liệu được sử dụng để nhận dạng các mẫu hành vi và dự đoán xu hướng truy cập.

Phương pháp nghiên cứu

Luận văn sử dụng phương pháp kết hợp giữa nghiên cứu lý thuyết và thực nghiệm:

• Nguồn dữ liệu: Thu thập dữ liệu web log từ các máy chủ web thực tế, bao gồm các file log của Apache và Microsoft IIS trong khoảng thời gian 30 ngày gần đây. Dữ liệu bao gồm các trường thông tin như địa chỉ IP, thời gian truy cập, URL, mã trạng thái HTTP, user agent, referrer.

• Phương pháp phân tích: Áp dụng các bước tiền xử lý dữ liệu gồm làm sạch, nhận dạng người dùng, nhận dạng phiên và hoàn thành đường dẫn. Sử dụng các kỹ thuật phân tích thống kê, phân cụm, phân lớp và luật kết hợp để khai thác các mẫu hành vi người dùng. Kết quả được trực quan hóa bằng biểu đồ và dashboard trên nền tảng ELK Stack.

• Timeline nghiên cứu: Quá trình nghiên cứu kéo dài trong 12 tháng, bao gồm 3 tháng khảo sát lý thuyết và công cụ, 6 tháng thu thập và xử lý dữ liệu, 3 tháng thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của tiền xử lý dữ liệu: Qua quá trình làm sạch và chuẩn hóa, kích thước dữ liệu web log giảm khoảng 40%, loại bỏ các bản ghi không liên quan như hình ảnh, robot và lỗi truy cập. Việc nhận dạng người dùng kết hợp địa chỉ IP và user agent giúp phân biệt chính xác hơn 85% người dùng so với chỉ dùng địa chỉ IP.

2. Phân loại phiên truy cập: Sử dụng phương pháp thời gian chờ với ngưỡng 30 phút, hệ thống xác định được trung bình 3 phiên truy cập cho mỗi người dùng trong 30 ngày, với thời gian trung bình mỗi phiên là 15 phút. Phương pháp dựa trên referrer giúp hoàn thiện đường dẫn truy cập, bổ sung khoảng 10% các trang bị thiếu do cache hoặc proxy.

3. Phân tích hành vi người dùng: Kết quả phân cụm cho thấy có 4 nhóm người dùng chính với các mẫu truy cập khác nhau, trong đó nhóm người dùng trung thành chiếm khoảng 35%, có thời gian truy cập trung bình cao hơn 25% so với nhóm người dùng mới. Luật kết hợp phát hiện các mối quan hệ như "Người dùng truy cập trang sản phẩm A thường truy cập trang sản phẩm B với độ tin cậy 70% và độ hỗ trợ 5%".

4. Đánh giá công cụ ELK Stack: Hệ thống thử nghiệm trên ELK Stack cho phép thu thập, xử lý và phân tích dữ liệu web log hiệu quả với khả năng xử lý hơn 10.000 bản ghi mỗi giờ, hỗ trợ trực quan hóa dữ liệu qua dashboard thân thiện, giúp người quản trị dễ dàng theo dõi và phân tích hành vi người dùng.

Thảo luận kết quả

Việc làm sạch và chuẩn hóa dữ liệu là bước quan trọng giúp giảm thiểu dữ liệu nhiễu, tăng độ chính xác trong nhận dạng người dùng và phiên truy cập. Kết quả nhận dạng người dùng dựa trên kết hợp địa chỉ IP và user agent phù hợp với các nghiên cứu gần đây, cho thấy phương pháp này giúp khắc phục hạn chế của việc chỉ dùng địa chỉ IP do proxy hoặc NAT.

Phân tích hành vi người dùng qua phân cụm và luật kết hợp cung cấp thông tin giá trị cho việc cá nhân hóa trải nghiệm và tối ưu hóa nội dung web. So với các nghiên cứu trước, kết quả này khẳng định vai trò của phân tích web log trong việc nâng cao hiệu quả marketing và quản trị hệ thống.

Việc ứng dụng ELK Stack trong thử nghiệm cho thấy đây là nền tảng mạnh mẽ, linh hoạt và phù hợp với các tổ chức có nhu cầu phân tích dữ liệu log lớn, hỗ trợ tốt cho việc phát hiện bất thường và phân tích hành vi người dùng trong thời gian thực.

Dữ liệu có thể được trình bày qua các biểu đồ phân bố phiên truy cập, biểu đồ phân cụm người dùng, bảng thống kê các luật kết hợp phổ biến, và dashboard tổng hợp trạng thái hoạt động của hệ thống, giúp trực quan hóa và dễ dàng ra quyết định.

Đề xuất và khuyến nghị

1. Triển khai hệ thống phân tích web log tự động: Áp dụng các công cụ mã nguồn mở như ELK Stack để thu thập, xử lý và phân tích dữ liệu log theo thời gian thực, nhằm nâng cao khả năng giám sát và phát hiện sớm các hành vi bất thường. Thời gian triển khai dự kiến 6 tháng, chủ thể thực hiện là bộ phận IT và an ninh mạng.

2. Tăng cường đào tạo nhân sự về phân tích dữ liệu log: Tổ chức các khóa đào tạo chuyên sâu về kỹ thuật tiền xử lý, phân tích và trực quan hóa dữ liệu log cho đội ngũ quản trị hệ thống và phân tích dữ liệu. Mục tiêu nâng cao năng lực phân tích và ứng dụng dữ liệu trong vòng 3 tháng.

3. Xây dựng chính sách bảo mật và quản lý dữ liệu log: Thiết lập quy trình lưu trữ, bảo mật và truy cập dữ liệu log nhằm đảm bảo tuân thủ các quy định về bảo vệ thông tin cá nhân và an toàn hệ thống. Thời gian hoàn thiện chính sách trong 4 tháng, do phòng pháp chế và IT phối hợp thực hiện.

4. Phát triển các báo cáo phân tích hành vi người dùng định kỳ: Tạo các báo cáo chi tiết về hành vi truy cập, phân cụm người dùng và các mẫu truy cập phổ biến để hỗ trợ bộ phận marketing và phát triển sản phẩm trong việc tối ưu hóa trải nghiệm khách hàng. Báo cáo được cập nhật hàng tháng, do bộ phận phân tích dữ liệu thực hiện.

Đối tượng nên tham khảo luận văn

1. Quản trị viên hệ thống và an ninh mạng: Nhận được kiến thức về kỹ thuật thu thập, xử lý và phân tích web log để giám sát hệ thống, phát hiện và xử lý các sự cố an ninh hiệu quả.

2. Chuyên viên phân tích dữ liệu và marketing trực tuyến: Áp dụng các kỹ thuật phân tích hành vi người dùng từ web log để xây dựng chiến lược marketing cá nhân hóa, nâng cao hiệu quả quảng cáo và tăng tỷ lệ chuyển đổi.

3. Nhà nghiên cứu và sinh viên ngành công nghệ thông tin: Tham khảo các mô hình, thuật toán và công cụ phân tích web log hiện đại, phục vụ cho các đề tài nghiên cứu và phát triển ứng dụng trong lĩnh vực hệ thống thông tin.

4. Các doanh nghiệp và tổ chức phát triển nền tảng web: Sử dụng kết quả nghiên cứu để cải thiện chất lượng dịch vụ, tối ưu hóa trải nghiệm người dùng và đảm bảo an toàn thông tin trên các hệ thống trực tuyến.

Câu hỏi thường gặp

1. Web log là gì và tại sao cần phân tích?
   Web log là các bản ghi tự động ghi lại các sự kiện truy cập web, bao gồm thông tin như địa chỉ IP, thời gian, URL truy cập. Phân tích web log giúp hiểu hành vi người dùng, phát hiện bất thường và tối ưu hóa hệ thống.

2. Các định dạng web log phổ biến hiện nay là gì?
   Các định dạng phổ biến gồm NCSA Common Log Format, W3C Extended Log Format và Microsoft IIS Log Format. Mỗi định dạng có cấu trúc và trường dữ liệu khác nhau, phù hợp với các loại máy chủ web khác nhau.

3. Làm thế nào để nhận dạng người dùng từ web log?
   Phương pháp kết hợp địa chỉ IP và user agent được sử dụng để phân biệt người dùng, giúp tăng độ chính xác so với chỉ dùng địa chỉ IP do các yếu tố như proxy và NAT gây nhầm lẫn.

4. ELK Stack có ưu điểm gì trong phân tích web log?
   ELK Stack (Elasticsearch, Logstash, Kibana) hỗ trợ thu thập, xử lý và trực quan hóa dữ liệu log hiệu quả, có khả năng xử lý dữ liệu lớn, dễ dàng mở rộng và cung cấp giao diện dashboard thân thiện.

5. Phân tích web log có thể hỗ trợ gì cho marketing trực tuyến?
   Phân tích web log giúp xác định các mẫu hành vi người dùng, phân cụm khách hàng, từ đó xây dựng các chiến dịch marketing cá nhân hóa, tăng hiệu quả quảng cáo và cải thiện trải nghiệm người dùng.

Kết luận

• Luận văn đã nghiên cứu và tổng hợp các kỹ thuật, công cụ phân tích web log phổ biến, đồng thời thử nghiệm thành công mô hình phân tích trên nền tảng ELK Stack.
• Tiền xử lý dữ liệu log bao gồm làm sạch, nhận dạng người dùng và phiên truy cập là bước then chốt để nâng cao chất lượng phân tích.
• Các kỹ thuật phân tích như phân cụm, phân lớp và luật kết hợp giúp khai thác hiệu quả các mẫu hành vi người dùng từ dữ liệu log.
• Kết quả thử nghiệm cho thấy ELK Stack là giải pháp phù hợp cho việc quản lý và phân tích web log trong môi trường thực tế.
• Đề xuất các giải pháp triển khai hệ thống phân tích tự động, đào tạo nhân sự và xây dựng chính sách quản lý dữ liệu nhằm nâng cao hiệu quả ứng dụng trong thực tiễn.

Tiếp theo, các tổ chức và doanh nghiệp nên bắt đầu triển khai các giải pháp phân tích web log để nâng cao năng lực quản trị hệ thống và tối ưu hóa trải nghiệm người dùng. Hãy liên hệ với các chuyên gia công nghệ thông tin để được tư vấn và hỗ trợ triển khai các công cụ phân tích phù hợp.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. TỔNG QUAN VỀ WEB LOG VÀ XỬ LÝ WEB LOG 1. Tổng quan về web log 1. Khái quát về web log Nhật ký truy cập hay dấu vết truy cập, hay nhật ký (gọi tắt là log) là danh sách các bản ghi mà khi được yêu cầu truy cập tài nguyên hệ thống, hệ thống sẽ ghi lại.

Ví dụ: nhật ký truy cập web (gọi tắt là nhật ký web log) chứa tất cả thông tin khi có yêu cầu truy cập tài nguyên của trang web.Tài nguyên của trang web có thể bao gồm các mẫu định dạng, tệp hình ảnh và tệp mã JavaScript. Khi người dùng truy cập trang web để tìm kiếm sản phẩm, máy chủ web sẽ tải xuống thông tin và hình ảnh của sản phẩm và nhật ký truy cập ghi lại các yêu cầu của người dùng đối với tài nguyên thông tin và ảnh của sản phẩm đó. Nhật ký web chứa các thông tin như tên người dùng, dấu thời gian, yêu cầu truy cập, địa chỉ IP, số byte được chuyển, trạng thái kết quả, URL.Các tệp nhật ký được duy trì bởi các máy chủ web.1: Windows log sử dụng công cụ Event Viewer Luan van 5 Có nhiều nguồn tạo nhật ký trong hệ thống, chẳng hạn như nhật ký được tạo bởi máy chủ dịch vụ mạng, nhật ký do ứng dụng tạo, nhật ký do hệ điều hành tạo và nhật ký do thiết bị mạng và thiết bị đảm bảo an toàn thông tin tạo ra. Nhật ký được tạo bởi hệ điều hành thường bao gồm nhật ký của sự kiện khởi động hệ thống, sự kiện đăng nhập, sự kiện đăng xuất của người dùng, yêu cầu truy cập tệp và thư mục cũng như yêu cầu kích hoạt ứng dụng, yêu cầu truy cập phần cứng, yêu cầu truy cập dịch vụ mạng, lỗi xảy ra trong quá trình hoạt động, v.1 cho thấy hệ điều hành Microsoft Windows sử dụng công cụ Event Viewer và hệ điều hành Unix / Linux sử dụng công cụ Syslog để quản lý và lưu trữ nhật ký được tạo bởi chính hệ điều hành và các mô-đun phụ trợ của nó.

Nguồn nhật ký được tạo bởi máy chủ dịch vụ mạng, chẳng hạn như máy chủ web, máy chủ DNS, máy chủ email và máy chủ cơ sở dữ liệu là một trong những nguồn phổ biến nhất của việc tạo nhật ký. Máy chủ web có thể ghi nhật ký truy cập trang web cho mỗi trang web dưới dạng tệp văn bản thuần túy với một nhật ký trên mỗi dòng. Thông tin trong mỗi nhật ký có thể khác nhau tùy thuộc vào phiên bản máy chủ web được sử dụng.2 minh họa các bản ghi được tạo bởi máy chủ web Microsoft IIS. Máy chủ tên miền DNS cũng tạo ra một lượng lớn nhật ký trong quá trình xử lý các yêu cầu phân giải tên miền thành địa chỉ IP và ngược lại từ người dùng.

Tương tự như vậy, các máy chủ cơ sở dữ liệu và email cũng tạo ra rất nhiều nhật ký trong khi xử lý các yêu cầu từ người dùng cũng như từ các ứng dụng.2: Các bản ghi log sinh ra bởi máy chủ web Microsoft IIS Luan van 6 Các thiết bị và hệ thống mạng đảm bảo an toàn thông tin cũng như nguồn tạo ra nhật ký. Các thiết bị mạng thông thường như bộ định tuyến, bộ chuyển mạch và hệ thống bảo đảm an toàn thông tin, chẳng hạn như tường lửa, hệ thống kiểm soát truy cập, hệ thống phát hiện và ngăn chặn các cuộc tấn công, xâm nhập cũng tạo ra nhiều bản ghi log trong quá trình xử lý các yêu cầu truy cập mạng. Nhật ký được tạo từ các hệ thống này có thể được lưu trữ cục bộ hoặc xuất sang hệ thống lưu trữ bên ngoài. Nhật ký log có thể được đặt ở ba nơi khác nhau:  Máy chủ Web : Các nhật ký này thường cung cấp dữ liệu sử dụng đầy đủ và chính xác nhất, nhưng có hai yếu tố chính của chúng hạn chế là: - Các nhật ký này chứa các thông tin nhạy cảm, thông tin cá nhân, do đó máy chủ thường giữ chúng.

- Các bản ghi log không ghi lại các trang đã truy cập vào bộ nhớ đệm. Các các trang đã lưu trong bộ nhớ đệm được triệu hồi từ bộ nhớ cục bộ của trình duyệt hoặc máy chủ proxy, không phải từ máy chủ web.  Máy chủ proxy web: Máy chủ proxy lấy yêu cầu HTTP từ người dùng và chuyển chúng đến máy chủ Web sau đó trả lại cho người dùng các kết quả được máy chủ Web chuyển cho họ. Hai nhược điểm là: - Xây dựng proxy-server là một nhiệm vụ khó khăn.

Lập trình mạng nâng cao, chẳng hạn như TCP / IP, là cần thiết cho việc xây dựng này. - Việc chặn yêu cầu bị hạn chế. - Triển khai trình ghi proxy trong Web Quilt, một hiệu suất hệ thống ghi nhật ký web giảm nếu nó được tuyển dụng vì mỗi yêu cầu trang cần phải được xử lý bởi trình mô phỏng proxy.  Trình duyệt máy khách: Người tham gia kiểm tra từ xa một trang Web bằng cách tải xuống phần mềm đặc biệt ghi lại việc sử dụng Web hoặc bằng cách sửa đổi mã nguồn của trình duyệt hiện có.

Cookie HTTP cũng có thể được sử dụng cho mục đích này. Đó là những mẩu thông tin được tạo ra bởi một máy chủ web và được lưu trữ trong máy tính của người dùng, sẵn sàng để truy cập trong tương lai. Luan van 7 Hạn chế của phương pháp này là: - Nhóm thiết kế phải triển khai phần mềm đặc biệt và yêu cầu người dùng cuối cài đặt nó. - Kỹ thuật khó đạt được khả năng tương thích với một loạt hệ điều hành và các trình duyệt Web.

Như vậy, có thể thấy rằng có rất nhiều nguồn dữ liệu nhật ký truy cập với nhiều hình thức khác nhau. Tùy theo mục đích sử dụng mà người quản trị có thể cấu hình hệ thống để lựa chọn thu thập, quản lý và lưu trữ các thông tin cần thiết cho từng loại nhật ký. Giới thiệu một số dạng web log Nhật ký truy cập được tạo bởi hệ điều hành và các ứng dụng thường có định dạng riêng. Vì thử nghiệm trong luận văn này được thực hiện trên nhật ký web nên phần này giới thiệu các định dạng nhật ký web thường được sử dụng bao gồm định dạng nhật ký web chuẩn NCSA (NCSA Common Log Format), định dạng nhật ký web kết hợp (NCSA Combined Log Format)và định dạng nhật ký web mở rộng W3C (W3C Extended Log Format) và định dạng nhật ký web máy chủ web Microsoft IIS (Microsoft IIS Log Format).

Trên thực tế, mọi máy chủ web hiện nay đều hỗ trợ một số định dạng nhật ký web này. Ví dụ, máy chủ web Microsoft IIS hỗ trợ cả ba định dạng,đó là : , W3C Extended Log Format , Microsoft IIS Log Format và NCSA Common Log Format. Ngược lại, máy chủ web Apache hay Apache HTTP Server sử dụng chuỗi định dạng để hỗ trợ 2 định dạng nhật ký bao gồm: Định dạng nhật ký web chuẩn NCSA và Định dạng nhật ký web kết hợp NCSA. Quản trị viên có thể chọn định dạng nhật ký web để sử dụng cho máy chủ để tạo tệp nhật ký web.

NCSA Common Log Format Định dạng nhật ký chuẩn NCSA, hay thường được gọi là , là một định dạng tệp nhật ký dựa trên văn bản ASCII với các trường cố định, vì vậy nó không thể được tùy chỉnh. Các trường phân vùng trong mỗi nhật ký được phân tách bằng dấu cách. Các trường không chứa dữ liệu sẽ được biểu diễn bằng dấu (-), các ký tự Luan van 8 không in được sẽ được biểu diễn bằng dấu (+). Định dạng nhật ký web này ghi lại thông tin cơ bản mà người dùng yêu cầu như sau:  Địa chỉ máy chủ từ xa  Tên nhật ký từ xa (Giá trị này luôn là dấu gạch ngang.)  Tên tài khoản  Chênh lệch ngày, giờ và giờ trung bình Greenwich (GMT)  Yêu cầu và phiên bản giao thức  Mã trạng thái HTTP trả về (Giá trị 200 cho biết rằng yêu cầu đã được thực hiện thành công.)  Số byte được gửi đến máy chủ Với Máy chủ Apache HTTP, Định dạng Nhật ký web chuẩn có thể được định cấu hình bằng chuỗi định dạng sau: LogFormat “%h %l %u %t \”%r\” %>s %b” common CustomLog logs/access_log common Ví dụ, với Common Log Format thì một đầu mục (entry) sẽ có dạng như sau: 216.91 - leon [01/Jul/2002:12:11:52 +0000] “GET /index.1” 200 431 Trong đó, các trường thông tin của đầu mục này gồm:  216.91 (tương ứng kí hiệu %h): Địa chỉ IP của máy khách gửi yêu cầu đến máy chủ.

 Trống (-) (tương ứng kí hiệu %l): Định danh của máy khách.  leon (tương ứng kí hiệu %u): Định danh/tên của người dùng gửi yêu cầu được xác định nhờ thủ tục xác thực HTTP. Trong đó, day = 2*digit, month = 3*letter; year = 4*digit; hour = 2*digit; minute = 2*digit; second = 2*digit và zone = (‘+' | ‘-‘) 4*digit. Luan van 9  “GET /index.1” (tương ứng kí hiệu \”%r”\”): Yêu cầu của máy khách gửi lên máy chủ.

 200 (tương ứng kí hiệu i%>s): Mã trạng tháiimà máy chủ gửiitrả về cho máyikhách.  431i(tương ứngikí hiệu %b): Kích thướcicủa gói tin trả về cho máy khách, khôngibao gồm header. NCSA Combined Log Format Định dạng nhật ký kết hợp NCSA được viết tắt là Combined Log Format về cơ bản giống với Định dạng nhật ký chuẩn Common Log Format, ngoại trừ nó có thêm hai trường thông tin bổ sung ở cuối là Referrer (Liên kết tham chiếu) và User Agent( Máy khách người dùng). Với Apache HTTP Server, định dạng này có thể được cấu hình bằng cách sử dụng chuỗi định dạng như sau: LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"" combined CustomLog log/acces_log combined Ví dụ, một đầu mục của định dạng Combined Log Format sẽ như sau: Các trường được bổ sung bao gồm:  http://www.html (tương ứng kí hiệu \”%{Referer}i\”): Cho biết trang web người dùng đã ghé thăm trước khi đến trang hiện tại.08 [en] (Win98; I ;Nav)” (tương ứng kí hiệu \”%{User- agent}i\”): Cho biết trình duyệt và hệ điều hành máy khách đang sử dụng.

W3C Extended Log Format Hiện tại, Định dạng nhật ký mở rộng W3C Extended Log Format là định dạng được sử dụng rộng rãi nhất và được hầu hết các máy chủ web hỗ trợ , định dạng này do Tổ chức World Wide Web Consortium (W3C) đề xuất. Định dạng web log này có các khả năng:  Hỗ trợ kiểm soát các thông tin sẽ được ghi trong web log. Luan van 10  Hỗ trợ định dạng web log chung cho máy khách, máy chủ web và cả proxy.  Cung cấp một cơichế mạnhimẽ để xử lý cácivấn đề và cáciký tự thoát (characteriescaping).

 Cho phép trao đổi dữ liệu nhân khẩu học (demographic).  Hỗ trợ tổng hợp dữ liệu.