MỞ ĐẦU. Lý do chọn đề tài. Mục tiêu nghiên cứu. Đối tƣợng và phạm vi nghiên cứu.
Phƣơng pháp nghiên cứu. Ý nghĩa khoa học và thực tiễn. 4 Chƣơng 1: TỔNG QUAN VỀ CHUYỂN ĐỔI TRI THỨC VÀ CÔNG CỤ PARSER. Giới thiệu về quản lý tri thức .1 Khái quát về Tri thức và quản lý tri thức.
Quy trình quản lý tri thức. Công nghệ quản lý tri thức. Lợi ích của việc quản lý tri thức. Tổng quan về ontology.
Giới thiệu về Ontology. Ứng dụng Ontology. Phân loại Ontology. Ngôn ngữ Ontology.
Tổng quan về Log Parser. Giới thiệu Log Paser [24]. Máy chủ web – web server. Các đặc tính của web server.
Cơ chế hoạt động của máy chủ web. Các loại web server phổ biến hiện nay. Nhật ký máy chủ web (Web Server Log). Các loại nhật ký máy chủ web.
Giới thiệu máy chủ web IIS. Chức năng của máy chủ web IIS. Giới thiệu máy chủ web Apache. Hoạt động của máy chủ web Apache.
Tổng kết Chƣơng I. 43 Chƣơng 2: PHÂN TÍCH CÚ PHÁP FILE LOG DỰA VÀO ONTOLOGY VÀ PARSER. Phân tích cú pháp. Tổng quan phân tích cú pháp [19].
Các phƣơng pháp phân tích cú pháp [19]. Tổng quan về phân tích cú pháp - Parser. Cấu trúc của Parser. Hoạt động của Parser.
Mô hình hoạt động của Phân tích cú pháp dựa vào Ontology. Kiến trúc máy chủ Web. Cấu trúc của File Log. Xây dựng Ontology.
Xác định mục đích sử dụng Ontology. Xây dựng các lớp của Ontology. Định nghĩa các thuộc tính, ràng buộc về thuộc tính và quan hệ cho lớp. Tạo các thực thể cho lớp.
Kết luận Chƣơng 2. 63 Chƣơng 3: CÀI ĐẶT, THỰC NGHIỆM VÀ ĐÁNH GIÁ. Cấu hình máy tính. Lệnh truy vấn SPARQL.
Thiết kế mô hình. Sử dụng Protégé thiết kế Ontology cho Log IIS webserver. Triển khai thực nghiệm. Đánh giá mô hình Ontology dựa trên mô hình OntoQA [18].
Đánh giá Parser. 85 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN .Kết luận chung .Hƣớng phát triển đề tài. 89 DANH MỤC TÀI LIỆU THAM KHẢO. 90 PHỤ LỤC QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (bản sao) DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Ký hiệu STT Tên tiếng Anh Ý nghĩa viết tắt Hypertext Transfer Giao thức truyền tải siêu văn 1 HTTP Protocol bản 2 CNTT Information Technology Công nghệ thông tin 3 CSDL Database Cơ sở dữ liệu Internet Information 4 IIS Dịch vụ thông tin Internet Services Extensible Markup 5 XML Ngôn ngữ đánh dấu mở rộng Language 6 LSWS LiteSpeed Web Server Máy chủ Web LiteSpeed Computer-Generated 7 CGI Máy tính tạo ra hình ảnh Imagery Simple Mail Transfer giao thức truyền tải thƣ tín 8 SMTP Protocol đơn giản 9 POP Post Office Protocol Giao thức Bƣu điện Đƣờng dẫn truy cập đến các Uniform Resource 10 URL tài nguyên trên mạng Locator Internet.
Resource Description 11 RDF Khung mô tả tài nguyên Framework Resource Description Lƣợc đồ khung mô tả tài 12 RDFS Framework Schema nguyên 13 OWL Ontology Web Language Ngôn ngữ web Ontology 14 WWW World Wide Web Dịch vụ Web Simple Logfile Clustering Công cụ phân cụm tệp nhật 15 SLCT Tool ký đơn giản Word vocabulary 16 Cấu trúc từ vựng từ construction Cluster candidates 17 Cụm ứng viên xây dựng construction 18 Log template generation Tạo mẫu nhật ký Iterative Partitioning Log Khai thác nhật ký phân vùng 19 IPLoM Mining lặp lại 20 LKE Log Key Extraction Trích xuất khóa nhật ký Application Programming 21 API Giao diện lập trình ứng dụng Interface Các giá trị đƣợc phân tách 22 CSV Comma Separated Values bằng dấu phẩy Các giá trị đƣợc phân tách 23 TSV Tab-Separated Values bằng tab Simple Mail Transfer Giao thức truyền tải thƣ tín 24 SMTP Protocol đơn giản DANH MỤC CÁC BẢNG Bảng 1. Các lớp và thuộc tính của OWL. Cấu trúc của tệp Log IIS. Các thuật ngữ quan trọng trong Ontology.
Các thuộc tính và quan hệ cho lớp. Các ràng buộc về thuộc tính và quan hệ .2 Thời gian chuyển đổi dữ liệu trong thực nghiệm 1 .3 Thời gian chuyển đổi dữ liệu trong thực nghiệm 2. 87 DANH MỤC CÁC HÌNH VẼ Hình 1. Mô hình dữ liệu, thông tin và tri thức.
Sơ đồ từ dữ liệu đến tri thức[14]. Các bƣớc quản lý tri thức. Phân loại Ontology. Mối quan hệ giữa các thành phần trong triple.
So sánh giữa RDF và RDFS. Mô hình web server [17]. Mô hình hoạt động của web server [17]. Web server Apache.
IIS Control Panel. Web server Nginx. Web server LiteSpeed. Cơ chế hoạt động của IIS.
Kiến trúc máy chủ Apache. Cấu trúc của một Log Parser. Mô hình hoạt động của Parser. Mô hình hoạt động của các thành phần trong Parser.
Mô hình xử lý dữ liệu Ontology [21]. Mô hình truy xuất dữ liệu Ontology [21]. Mô hình hoạt động của Parser dựa vào Ontology. Các thành phần của một máy chủ web.
Ví dụ một file log IIS. Các lớp và cấu trúc phân cấp. Mô tả Ontology của Log IIS webserver. Các thực thể của lớp.
Cài đặt Python. Cấu hình máy tính dùng để chạy truy vấn. Mô hình các lớp. Sơ đồ Ontograf của Ontology.
Individuals by class. Dữ liệu Log ban đầu. Triển khai bằng GoogleColab. Cài đặt các Module hỗ trợ.
Import các thƣ viện. Khởi tạo Ontology. Đọc và bóc tách các trƣờng từ file Log đƣa vào Ontology. Kết quả thu đƣợc.
Truy vấn dữ liệu. Kết quả truy vấn dữ liệu. Kiểm tra dữ liệu sau khi chuyển đổi trên Protégé. So sánh độ chính xác trong việc thực hiện chuyển đổi của Parser Log IIS với các Parser khác.
So sánh thời gian thực hiện của Parser Log IIS với các Parser khác. Lý do chọn đề tài Với tình hình phát triển nhanh chóng của công nghệ thông tin ngày nay, thì bất cứ một doanh nghiệp nào cũng cần một hệ thống thông tin chứ không chỉ đơn giản là dùng máy tính nữa. Để vận hành và quản lý hệ thống CNTT đó thì doanh nghiệp (hoặc cá nhân) cần phải có máy chủ (server). Máy chủ là một chƣơng trình máy tính hoặc một thiết bị cung cấp chức năng cho các chƣơng trình hoặc thiết bị khác, đƣợc gọi là "máy khách".
Đây kiến trúc đƣợc gọi là mô hình client-server, và một tính toán tổng thể duy nhất đƣợc phân phối qua nhiều quy trình hoặc các thiết bị. Máy chủ có thể cung cấp các chức năng khác nhau, thƣờng đƣợc gọi là "dịch vụ", chẳng hạn nhƣ chia sẻ dữ liệu hoặc tài nguyên giữa nhiều khách hàng hoặc thực hiện tính toán cho khách hàng. Một máy chủ có thể phục vụ nhiều khách hàng và một khách hàng có thể sử dụng nhiều máy chủ. Một tiến trình máy khách có thể chạy trên cùng một thiết bị hoặc có thể kết nối qua mạng với một máy chủ trên một thiết bị khác[1].
Một số máy chủ điển hình nhƣ: máy chủ cơ sở dữ liệu , máy chủ tệp , máy chủ thƣ , máy chủ in , máy chủ web , máy chủ trò chơi và máy chủ ứng dụng Vậy Máy chủ web là gì? Máy chủ web (Tiếng anh gọi là Web server) là phần mềm máy chủ hoặc phần cứng dành riêng để chạy phần mềm nói trên, có thể đáp ứng các yêu cầu của máy khách World Wide Web. Nói chung, một máy chủ web có thể chứa một hoặc nhiều trang web. Một máy chủ web xử lý các yêu cầu mạng đến qua HTTP và một số giao thức liên quan khác. Chức năng chính của máy chủ web là lƣu trữ, xử lý và phân phối các trang web cho khách hàng[3].
Giao tiếp giữa của máy tính ngƣời dùng và máy chủ thực hiện thông qua giao thức HTTP. Nội dung phân phối chính từ máy chủ web là các nội dung 2 định dạng HTML, bao gồm hình ảnh, style sheets, các đoạn mã script hỗ trợ các nội dung văn bản thô. Dễ hiểu hơn web server chính là máy chủ, đƣợc thiết kế với các siêu tính năng dùng để chứa các dữ liệu cho một phần mạng lƣới máy tính trên internet. Tất cả những hoạt động dịch vụ trên internet nào đều phải có máy chủ này mới hoạt động đƣợc[4].
Các máy chủ web phổ biến bao gồm Máy chủ HTTP Apache (Web server đƣợc cài đặt rộng rãi nhất), Máy chủ thông tin Internet (IIS) của Microsoft và nhiều hãng khác cho phép các khách (Client) truy cập và xem thông tin đƣợc cung cấp bởi máy chủ Web (Web Server)[7]. Để làm cho web server hoạt động ổn định nếu không có một ngƣời quản trị sever hay giám sát thì sẽ không có một trang web server tốt và ổn định. Ngày nay, việc thực hiện giám sát các máy chủ web là một hành động thực sự cần thiết và quan trọng, có thể giúp cho các quản trị hệ thống theo dõi các hoạt động của ngƣời sử dụng nhằm cải thiện khả năng quản lý hệ thống, quản lý ngƣời dùng, quản lý các vấn đề về cân bằng tải cũng nhƣ để phát hiện ra các cuộc tấn công. Thông thƣờng, việc giám sát, theo dõi các máy chủ web dựa vào nhật ký file dữ liệu ghi lại.
Những file dữ liệu ghi lại của hệ thống máy chủ web đƣợc lƣu trữ thành 1 hoặc nhiều file log. Log là hệ thống cho phép bạn xem lại các sự kiện đã xảy ra trong hệ thống một cách chi tiết cụ thể nhƣ: user, time, computer, services, thời gian, ngƣời dùng đăng nhập, địa chỉ IP,… Những file này thƣờng không thể truy cập đƣợc đối với ngƣời dùng web nói chung, chỉ dành cho quản trị viên web hoặc ngƣời quản trị khác. Một phân tích thống kê nhật ký máy chủ có thể đƣợc sử dụng để kiểm tra các mẫu lƣu lƣợng truy cập theo thời gian trong ngày, ngày trong tuần, liên kết giới thiệu hoặc tác nhân ngƣời dùng. Quản trị trang web hiệu quả, tài nguyên lƣu trữ đầy đủ và tinh chỉnh nỗ lực bán hàng có thể đƣợc hỗ trợ bằng cách phân tích nhật ký máy chủ web.
3 Hạn chế của hệ thống log trong việc quản lý là rất khó xem để có thể hiểu sự kiện đó ghi những gì hoặc sự kiện đó đang bị lỗi gì và làm sao để giải quyết những vấn đề đó. Trong nghiên cứu này, tôi xây dựng một ứng dựng phân tích log để làm căn cứ xây dựng các chƣơng trình để giải quyết các lỗi thƣờng xảy ra trên máy chủ web.