Luận văn: Giải pháp tự động phát hiện sự cố hệ thống dùng ELK

Luận văn thạc sĩ: Giải pháp tự động phát hiện sự cố hệ thống sử dụng ELK (Elasticsearch, Logstash, Kibana). Nghiên cứu chuyên sâu, hiệu quả cao.

• Tác giả: Trần Văn Linh
• Người hướng dẫn: PGS. Nguyễn Hà Nam
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên cứu giải pháp tự động phát hiện sự cố hệ thống dựa trên công nghệ ELK (ElasticSearch, Logstash và Kibana)
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC HÌNH VẼ
• 1. CHƯƠNG I: GIỚI THIỆU BÀI TOÁN VÀ LỰA CHỌN CÔNG NGHỆ
• 1.1. Một số khái niệm
• 1.2. Giới thiệu bài toán
• 1.3. Lựa chọn công nghệ
• 1.4. Tìm hiểu nền tảng công nghệ ELK
• 1.5. Giới thiệu ELK
• 2. CHƯƠNG II: PHÂN TÍCH, THIẾT KẾ, XÂY DỰNG HỆ THỐNG QUẢN LÝ LOG TẬP TRUNG CHO TẬP ĐOÀN BẢO VIỆT
• 2.1. Hiện trạng hạ tầng CNTT Bảo Việt
• 2.2. Hiện trạng dịch vụ
• 2.3. Hiện trạng hạ tầng máy chủ
• 2.4. Hiện trạng nền tảng hệ điều hành và phần mềm
• 2.5. Hiện trạng mô hình hạ tầng hệ thống CNTT
• 2.6. Hiện trạng quản lý, giám sát hệ thống
• 2.7. Kiến trúc giải pháp
• 2.8. Mô hình tổng thể giải pháp
• 2.9. Mô hình luồng dữ liệu
• 2.10. Mô hình trao đổi dữ liệu với các hệ thống khác
• 3. CHƯƠNG III: XÂY DỰNG THỬ NGHIỆM HỆ THỐNG QUẢN LÝ LOG TẠI BẢO VIỆT
• 3.1. Môi trường thử nghiệm
• 3.2. Mô hình và cấu hình thử nghiệm
• 3.3. Kết quả đạt được
• 3.4. Đánh giá kết quả
• 3.5. Các vấn đề còn tồn tại và hướng phát triển
• 3.5.1. Vấn đề sử dụng nhiều tài nguyên máy chủ
• 3.5.2. Vấn đề thất lạc dữ liệu log
• 3.5.3. Hướng phát triển giải quyết vấn đề
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới Thiệu Luận Văn Thạc Sĩ Về ELK Stack Trong SEO

Luận văn này đi sâu vào việc nghiên cứu và triển khai một giải pháp tự động để phát hiện sự cố hệ thống. Sử dụng bộ công cụ ELK stack (Elasticsearch, Logstash, và Kibana), chúng ta sẽ khám phá cách phân tích log và giám sát hệ thống một cách hiệu quả. Trong thời đại số, việc đảm bảo tính ổn định và độ tin cậy hệ thống là vô cùng quan trọng, đặc biệt là với các dữ liệu lớn và các ứng dụng thời gian thực. Phương pháp này không chỉ giúp giảm thiểu thời gian chết mà còn cải thiện hiệu suất tổng thể của hệ thống. Luận văn cũng tập trung vào việc tận dụng các kỹ thuật mô hình hóa dữ liệu và học máy (machine learning) để phát hiện bất thường và dự đoán các sự cố tiềm ẩn. Giải pháp này đặc biệt hữu ích trong môi trường cloud computing và an ninh mạng, nơi mà lượng dữ liệu cần xử lý là rất lớn và tốc độ phản ứng là yếu tố then chốt. Công trình nghiên cứu này được xây dựng trên cơ sở lý thuyết vững chắc, kết hợp với kinh nghiệm thực tiễn trong việc triển khai ELK stack tại các doanh nghiệp lớn. "Đề tài tập trung nghiên cứu giải pháp công nghệ ELK do công nghệ này hài hòa giữa chi phí đầu tư và khả năng đáp ứng các tiêu chí như mã nguồn mở, hỗ trợ mở rộng theo chiều ngang (Clusters), có một nền tảng tìm kiếm mạnh mẽ (ElasticSearch), hỗ trợ phân tích số liệu thu thập được (Analytic), quản lý logs tập trung, tìm kiếm và thông báo lỗi một cách tự động."

1.1. Tổng Quan Về Công Nghệ ELK Trong Phân Tích Log

Công nghệ ELK (Elasticsearch, Logstash, và Kibana) là một bộ công cụ mã nguồn mở mạnh mẽ, được sử dụng rộng rãi trong việc thu thập, xử lý, lưu trữ và phân tích dữ liệu log. Elasticsearch đóng vai trò là một công cụ tìm kiếm và phân tích dữ liệu lớn phân tán, có khả năng xử lý và truy vấn lượng lớn dữ liệu trong thời gian thực. Logstash là một công cụ ETL (Extract, Transform, Load) linh hoạt, cho phép thu thập dữ liệu từ nhiều nguồn khác nhau, chuyển đổi dữ liệu thành định dạng phù hợp và gửi đến Elasticsearch. Kibana cung cấp giao diện trực quan để khám phá, trực quan hóa và phân tích dữ liệu được lưu trữ trong Elasticsearch. Sự kết hợp của ba thành phần này tạo ra một giải pháp toàn diện cho việc giám sát hệ thống, phát hiện sự cố, và phân tích hiệu năng.

1.2. Tầm Quan Trọng Của Tự Động Phát Hiện Sự Cố Hệ Thống

Trong bối cảnh hệ thống CNTT ngày càng phức tạp, việc tự động phát hiện sự cố trở nên vô cùng quan trọng. Các phương pháp thủ công thường tốn thời gian, dễ bỏ sót và khó mở rộng. Giải pháp tự động giúp giám sát liên tục, phát hiện sớm các vấn đề tiềm ẩn, và giảm thiểu thời gian chết của hệ thống. Điều này đặc biệt quan trọng đối với các doanh nghiệp hoạt động 24/7, nơi mà sự gián đoạn dù nhỏ nhất cũng có thể gây ra thiệt hại lớn. Tự động phát hiện sự cố cũng giúp cải thiện hiệu quả của đội ngũ kỹ thuật, cho phép họ tập trung vào các vấn đề phức tạp hơn thay vì mất thời gian cho việc phân tích log thủ công.

II. Thách Thức Khi Triển Khai ELK Cho Giám Sát Hệ Thống

Việc triển khai ELK stack để giám sát hệ thống và phát hiện sự cố không phải lúc nào cũng dễ dàng. Một trong những thách thức lớn nhất là khối lượng dữ liệu lớn cần xử lý. Các hệ thống hiện đại tạo ra lượng log khổng lồ, đòi hỏi ELK stack phải có khả năng mở rộng và xử lý hiệu quả. Một thách thức khác là sự đa dạng của các định dạng log. Dữ liệu log có thể đến từ nhiều nguồn khác nhau, với các định dạng và cấu trúc khác nhau. Logstash cần được cấu hình để phân tích và chuẩn hóa dữ liệu này. Ngoài ra, việc đảm bảo an ninh cho ELK stack cũng là một vấn đề quan trọng. Elasticsearch cần được bảo vệ khỏi các cuộc tấn công và truy cập trái phép. Cuối cùng, việc đào tạo và duy trì đội ngũ kỹ thuật có đủ kỹ năng để quản lý ELK stack cũng là một thách thức không nhỏ. "Thách thức khi thực hiện bài toán quản lý log tập trung tại Tập đoàn Bảo Việt: Số lượng máy chủ là rất lớn và đa dạng nền tảng, có những thiết bị rất đặc thù: Window Server, Linux, HP-UX, Solaris, VMWare, …- Số lượng phần mềm cũng rất lớn và đa dạng: Database, Phần mềm lớp giữa, Web Server, Application Server, Http Server, …- Việc tích hợp dữ liệu log phải ít ảnh hưởng nhất đến hoạt động và hiệu năng của dịch vụ."

2.1. Xử Lý Dữ Liệu Lớn Trong ELK Bí Quyết Nằm Ở Đâu

Để xử lý dữ liệu lớn trong ELK, cần chú trọng đến việc tối ưu hóa cấu hình của Elasticsearch. Điều này bao gồm việc phân bổ đủ tài nguyên (CPU, bộ nhớ, ổ cứng) cho các node trong cluster, sử dụng các kỹ thuật ánh xạ (mapping) và phân đoạn (sharding) phù hợp, và tối ưu hóa các truy vấn. Ngoài ra, việc sử dụng Logstash để lọc và chuẩn hóa dữ liệu trước khi đưa vào Elasticsearch cũng giúp giảm tải cho hệ thống. Các kỹ thuật như nén dữ liệu và lưu trữ dữ liệu theo thời gian cũng có thể được sử dụng để giảm thiểu chi phí lưu trữ và cải thiện hiệu suất.

2.2. Đa Dạng Định Dạng Log Cách Logstash Giải Quyết Bài Toán Này

Logstash cung cấp nhiều plugin đầu vào (input plugins) và bộ lọc (filter plugins) để xử lý các định dạng log khác nhau. Plugin grok cho phép phân tích các định dạng log dựa trên các biểu thức chính quy (regular expressions). Các plugin khác như json, csv, và xml giúp phân tích các định dạng dữ liệu có cấu trúc. Việc sử dụng các bộ lọc mutate cho phép chuyển đổi, làm sạch, và chuẩn hóa dữ liệu. Quan trọng nhất, cần phải xây dựng các pipeline Logstash linh hoạt và dễ bảo trì để đáp ứng với sự thay đổi của các định dạng log.

2.3. Đảm Bảo An Ninh Mạng Cho ELK Stack Những Lưu Ý Quan Trọng

An ninh mạng là một yếu tố quan trọng cần được xem xét khi triển khai ELK stack. Cần cấu hình Elasticsearch để yêu cầu xác thực (authentication) và ủy quyền (authorization) cho tất cả các truy cập. Sử dụng TLS/SSL để mã hóa dữ liệu khi truyền qua mạng. Hạn chế quyền truy cập vào các API của Elasticsearch chỉ cho những người dùng và ứng dụng được ủy quyền. Thường xuyên cập nhật ELK stack với các bản vá an ninh. Sử dụng tường lửa (firewall) để bảo vệ ELK stack khỏi các cuộc tấn công từ bên ngoài.

III. Phương Pháp Tự Động Phát Hiện Sự Cố Dựa Trên ELK

Phương pháp tự động phát hiện sự cố dựa trên ELK bao gồm việc xây dựng các quy tắc và ngưỡng (thresholds) để phát hiện bất thường trong dữ liệu log. Các quy tắc này có thể dựa trên các mẫu (patterns) trong log, các giá trị thống kê (statistics), hoặc các thuật toán học máy (machine learning). Kibana cung cấp các công cụ để trực quan hóa dữ liệu và xây dựng các dashboard để giám sát hệ thống. Khi một quy tắc được kích hoạt, hệ thống có thể gửi cảnh báo (alerts) qua email, SMS, hoặc các kênh khác. Các cảnh báo này giúp đội ngũ kỹ thuật nhanh chóng phản ứng với các vấn đề tiềm ẩn. "Nhiều doanh nghiệp đang thực hiện công việc này một cách thủ công – một nhóm cán bộ phụ trách trực hạ tầng sẽ thực hiện đọc log của từng hệ thống riêng lẻ và tìm kiếm theo các từ khóa về lỗi có thể xảy ra, khi từ khóa được tìm thấy, cán bộ trực hạ tầng thực hiện gửi thư điện tử (email) thông báo tới cán bộ quản trị dịch vụ để khắc phục lỗi. Việc tìm kiếm lỗi và gửi email thông báo theo cách thủ công này dẫn tới việc chậm trễ và thiếu sót trong quá trình phát hiện và xử lý lỗi, ảnh hưởng trực tiếp đến hoạt động kinh doanh của doanh nghiệp."

3.1. Xây Dựng Quy Tắc Phát Hiện Sự Cố Trong Elasticsearch

Các quy tắc phát hiện sự cố có thể được xây dựng bằng cách sử dụng ngôn ngữ truy vấn của Elasticsearch (Elasticsearch Query DSL). Các truy vấn này có thể tìm kiếm các mẫu cụ thể trong log, ví dụ như các thông báo lỗi, các ngoại lệ (exceptions), hoặc các sự kiện bất thường. Các quy tắc cũng có thể dựa trên các giá trị thống kê, ví dụ như số lượng yêu cầu (requests), thời gian phản hồi (response time), hoặc mức sử dụng tài nguyên (resource utilization). Elasticsearch cung cấp các hàm (functions) để tính toán các giá trị thống kê này trong thời gian thực.

3.2. Sử Dụng Kibana Để Trực Quan Hóa Dữ Liệu Và Giám Sát Hệ Thống

Kibana cung cấp nhiều loại biểu đồ (charts) và bảng (tables) để trực quan hóa dữ liệu trong Elasticsearch. Các biểu đồ này có thể được sử dụng để giám sát các chỉ số (metrics) quan trọng của hệ thống, ví dụ như số lượng yêu cầu, thời gian phản hồi, mức sử dụng CPU, và mức sử dụng bộ nhớ. Kibana cũng cho phép tạo các dashboard tùy chỉnh để hiển thị các thông tin quan trọng nhất một cách tập trung. Các dashboard này có thể được chia sẻ với các thành viên khác trong đội ngũ kỹ thuật.

3.3. Cấu Hình Cảnh Báo Alerting Khi Phát Hiện Sự Cố

Elasticsearch và Kibana cung cấp các công cụ để cấu hình cảnh báo khi phát hiện sự cố. Các cảnh báo này có thể được gửi qua email, SMS, hoặc các kênh khác như Slack hoặc PagerDuty. Các cảnh báo có thể được cấu hình để kích hoạt khi một quy tắc được thỏa mãn, hoặc khi một giá trị thống kê vượt quá một ngưỡng nhất định. Các cảnh báo cần phải cung cấp đủ thông tin để đội ngũ kỹ thuật có thể nhanh chóng xác định và giải quyết vấn đề.

IV. Ứng Dụng Thực Tế Phát Hiện Sự Cố Tại Bảo Việt

Luận văn này đã được áp dụng thực tế tại Tập đoàn Bảo Việt để phát hiện sự cố trong các hệ thống CNTT. Giải pháp đã giúp giảm thiểu thời gian chết của hệ thống, cải thiện hiệu quả của đội ngũ kỹ thuật, và tăng cường tính an ninh mạng. Kết quả cho thấy ELK stack là một công cụ mạnh mẽ và hiệu quả cho việc giám sát hệ thống và phát hiện sự cố trong môi trường doanh nghiệp lớn. "Tại Tập đoàn Bảo Việt, Trung tâm Công nghệ thông tin cung cấp hàng trăm dịch vụ Công nghệ thông tin cho các đơn vị thành viên phục vụ nghiệp vụ kinh doanh. Số lượng máy chủ và phần mềm lên tới con số hàng nghìn. Kiểm soát được mọi diễn biến, thay đổi của hệ thống từng phút, từng giờ sẽ giúp đội ngũ kỹ thuật phát hiện sớm những rủi ro tiềm ẩn có thể gây sự cố gián đoạn dịch vụ, ảnh hưởng tới kết quả kinh doanh của các công ty thành viên và toàn Tập đoàn. Do đó việc nghiên cứu và xây dựng một hệ thống quản lý log tập trung cho các hệ thống của Tập đoàn nhằm mục đích phát hiện sớm được các rủi ro tiềm ẩn là vấn đề hết sức cần thiết và cấp bách mà theo tác giả không chỉ cần thiết cho riêng Tập đoàn Bảo Việt mà còn cho bất cứ doanh nghiệp nào sử dụng các dịch vụ Công nghệ thông tin vào phục vụ sản xuất kinh doanh."

4.1. Triển Khai ELK Stack Tại Hạ Tầng CNTT Của Bảo Việt

Việc triển khai ELK stack tại Bảo Việt đòi hỏi sự tùy chỉnh để phù hợp với kiến trúc hệ thống hiện có. Cần phải cấu hình Logstash để thu thập dữ liệu log từ các nguồn khác nhau, bao gồm các máy chủ Windows, Linux, và các thiết bị mạng. Cần phải xây dựng các pipeline Logstash để phân tích và chuẩn hóa dữ liệu log từ các ứng dụng khác nhau, bao gồm các ứng dụng web, ứng dụng cơ sở dữ liệu, và các ứng dụng hệ thống. Cần phải tối ưu hóa cấu hình của Elasticsearch để xử lý lượng lớn dữ liệu log.

4.2. Xây Dựng Các Quy Tắc Phát Hiện Sự Cố Cho Các Hệ Thống Của Bảo Việt

Các quy tắc phát hiện sự cố cần phải được xây dựng dựa trên kiến thức về các hệ thống và ứng dụng của Bảo Việt. Cần phải xác định các mẫu (patterns) trong log, các giá trị thống kê (statistics), và các ngưỡng (thresholds) có liên quan đến các sự cố tiềm ẩn. Cần phải làm việc với các chuyên gia hệ thống và ứng dụng để xác định các quy tắc phù hợp. Các quy tắc cần phải được kiểm tra và tinh chỉnh thường xuyên để đảm bảo tính chính xác và hiệu quả.

4.3. Đánh Giá Hiệu Quả Của Giải Pháp Phát Hiện Sự Cố Tự Động

Hiệu quả của giải pháp phát hiện sự cố tự động cần phải được đánh giá bằng cách so sánh số lượng sự cố và thời gian chết của hệ thống trước và sau khi triển khai giải pháp. Cần phải đo lường các chỉ số (metrics) như số lượng cảnh báo (alerts), thời gian phản hồi (response time), và mức độ hài lòng của người dùng. Cần phải thu thập phản hồi từ đội ngũ kỹ thuật và người dùng để cải thiện giải pháp.

V. Kết Luận Hướng Phát Triển Cho Nghiên Cứu Về ELK

Nghiên cứu này đã chứng minh rằng ELK stack là một giải pháp hiệu quả cho việc tự động phát hiện sự cố trong các hệ thống CNTT. Tuy nhiên, vẫn còn nhiều hướng phát triển tiềm năng cho nghiên cứu này. Một hướng là tích hợp các thuật toán học máy (machine learning) để cải thiện khả năng phát hiện bất thường và dự đoán các sự cố tiềm ẩn. Một hướng khác là mở rộng phạm vi giám sát để bao gồm các hệ thống đám mây (cloud systems) và các ứng dụng di động (mobile applications). Ngoài ra, việc phát triển các công cụ để tự động tạo và quản lý các quy tắc phát hiện sự cố cũng là một hướng đi đầy hứa hẹn. "Để có thể cung cấp dịch vụ Công nghệ thông tin với chất lượng cao nhất, ngoài đội ngũ cán bộ có trình độ chuyên môn tốt để phát triển và vận hành các dịch vụ công nghệ thông tin thì doanh nghiệp cũng cần phải có các giải pháp để giúp giảm thiểu sự cố, rủi ro gây gián đoạn dịch vụ."

5.1. Tích Hợp Học Máy Để Phát Hiện Bất Thường

Các thuật toán học máy (machine learning) có thể được sử dụng để học các mẫu (patterns) trong dữ liệu log và phát hiện các hành vi bất thường. Các thuật toán này có thể được huấn luyện (trained) trên dữ liệu lịch sử (historical data) và sử dụng để dự đoán các sự cố tiềm ẩn. Các thuật toán phát hiện bất thường có thể giúp giảm thiểu số lượng cảnh báo sai (false positives) và cải thiện độ chính xác của hệ thống phát hiện sự cố.

5.2. Mở Rộng Phạm Vi Giám Sát Sang Môi Trường Đám Mây

Ngày càng nhiều doanh nghiệp chuyển sang sử dụng các dịch vụ đám mây (cloud services). Do đó, việc mở rộng phạm vi giám sát để bao gồm các hệ thống đám mây là rất quan trọng. Cần phải thu thập dữ liệu log từ các dịch vụ đám mây khác nhau, bao gồm các dịch vụ IaaS (Infrastructure as a Service), PaaS (Platform as a Service), và SaaS (Software as a Service). Cần phải xây dựng các pipeline Logstash để phân tích và chuẩn hóa dữ liệu log từ các dịch vụ đám mây.

Trích đoạn nội dung tài liệu

IH QU GI H NỘI TRƢỜNG IH NG NGHỆ ------------------------ TRẦN VĂN LINH NGHIÊN ỨU GIẢI PHÁP TỰ ỘNG PHÁT HIỆN SỰ C HỆ TH NG DỰ TRÊN NG NGHỆ ELK (ELASTICSEARCH, LOGSTASH V KIBANA) LUẬN VĂN TH S NG NH HỆ TH NG TH NG TIN Hà Nội - 2019 TIEU LUAN MOI download : [e-mail] IH QU GI H NỘI TRƢỜNG IH NG NGHỆ ---------------------- TRẦN VĂN LINH NGHIÊN ỨU GIẢI PHÁP TỰ ỘNG PHÁT HIỆN SỰ C HỆ TH NG DỰ TRÊN NG NGHỆ ELK (EL STI SE R H, LOGST SH V KIB N ) Ngành: Hệ thống thông tin Chuyên ngành: Hệ thống thông tin Mã số: 8480104.01 LUẬN VĂN TH S NG NH HỆ TH NG TH NG TIN GIẢNG VIÊN HƢỚNG N: PGS. Nguyễn Hà Nam Hà Nội - 2019 TIEU LUAN MOI download : [e-mail] 2 LỜI CẢM ƠN Để có thể hoàn thiện được luận văn thạc sĩ của mình, trước tiên, tôi xin bày tỏ lòng biết ơn sâu nhất tới thầy – PGS. Nguyễn Hà Nam (bộ môn Các hệ thống thông tin – trường Đại học Công nghệ – Đại học Quốc gia Hà Nội). Sự gần gũi và nhiệt tình hướng dẫn của thầy là nguồn động lực rất lớn đối với tôi trong suốt thời gian thực hiện luận văn.

Tôi cũng xin được gửi lời cảm ơn chân thành nhất tới tất cả các thầy, cô trong bộ môn Các hệ thống thông tin, cũng như các thầy, cô trong khoa Công nghệ thông tin – trường Đại học Công nghệ – Đại học Quốc gia Hà Nội đã nhiệt tình giảng dạy, cung cấp cho chúng tôi những kiến thức, kinh nghiệm không chỉ trong học tập mà còn trong cuộc sống hàng ngày. Đồng thời tôi cũng xin được gửi lời cảm ơn đến cha mẹ, người thân trong gia đình, các bạn học viên, đồng nghiệp đã giúp đỡ, động viên, tạo điều kiện tốt nhất cho tôi trong suốt khóa học tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội để tôi có thể hoàn thiện tốt luận văn thạc sĩ của mình. Hà Nội, tháng năm Học viên Trần Văn Linh TIEU LUAN MOI download : [e-mail] 3 LỜI M O N Tôi xin cam đoan luận văn tốt nghiẹp “Nghiên cứu giải pháp tự động phát hiện sự cố hệ thống dựa trên công nghệ ELK (ElasticSearch, Logstash và Kibana) là công trình nghiên cứu thực sự của bản thân, đuợc thực hiẹn trên co sở nghiên cứu l thuyết, kiến thức chuyên ngành, nghiên cứu khảo sát tình hình thực tiễn và duới sự huớng dẫn khoa học của PGS. Nguyễn Hà Nam.

Các kết quả được viết chung với các tác giả khác đều được sự đồng của tác giả trước khi đưa vào luận văn. Những phần tham chiếu, trích dẫn trong luận văn đều được nêu r trong phần tài liẹu tham khảo. Các số liẹu, kết quả trình bày trong luận văn là hoàn toàn trung thực. Nếu sai tôi xin ch u hoàn toàn trách nhiẹm và ch u mọi k luạt của khoa và nhà truờng đề ra.

Hà Nội, tháng năm 201 Học viên Trần Văn Linh TIEU LUAN MOI download : [e-mail] 4 MỤC LỤC LỜI CẢM ƠN .4 DANH MỤ Á TỪ VIẾT TẮT .6 DANH MỤ HÌNH VẼ .8 HƢƠNG I: GIỚI THIỆU B I TOÁN V LỰA CH N NG NGHỆ. Một số khái niệm. Giới thiệu bài toán. Lựa chọn công nghệ.

Tìm hiểu nền tảng công nghệ ELK. Giới thiệu ELK .41 HƢƠNG II: PHÂN TÍ H, THIẾT KẾ, XÂY ỰNG HỆ TH NG QUẢN LÝ LOG TẬP TRUNG CHO TẬP O N BẢO VIỆT. Hiện trạng hạ tầng CNTT Bảo Việt. Hiện trạng d ch vụ.

Hiện trạng hạ tầng máy chủ. Hiện trạng nền tảng hệ điều hành và phần mềm. Hiện trạng mô hình hạ tầng hệ thống CNTT. Hiện trạng quản l , giám sát hệ thống.

Kiến trúc giải pháp. Mô hình tổng thể giải pháp. Mô hình luồng dữ liệu. Mô hình trao đổi dữ liệu với các hệ thống khác .50 HƢƠNG III: XÂY ỰNG THỬ NGHIỆM HỆ TH NG QUẢN LÝ LOG T I BẢO VIỆT.

Môi trường thử nghiệm. Mô hình và cấu hình thử nghiệm. Kết quả đạt được. Đánh giá kết quả.

Các vấn đề còn tồn tại và hướng phát triển .63 TIEU LUAN MOI download : skknchat@gmail. Vấn đề sử dụng nhiều tài nguyên máy chủ. Vấn đề thất lạc dữ liệu log. Hướng phát triển giải quyết vấn đề .65 T I LIỆU THAM KHẢO .67 TIEU LUAN MOI download : [e-mail] 6 DANH MỤ Á TỪ VIẾT TẮT CSDL Cơ sở dữ liệu ELK ElasticSearch, Logstash, Kibana ETL Extract, Transform, Load ESB Enterprise Service Bus EAI Enterprise application integration EDR Enterprise data replication VSM Vector Space Model CNTT Công nghệ thông tin BI Business Inteligence TIEU LUAN MOI download : [e-mail] 7 DANH MỤ HÌNH VẼ Hình 1.1 : Một số nền tảng công nghệ được sử dụng để quản lý log .2 : Mô hình Massive Parallel Processing .3 : Mô hình cụm Cluster của ElasticSearch .4 : So sánh các thành phần của ElasticSearch với Cơ sở dữ liệu quan hệ .5 : Biểu đồ Tearm Frequency của mô hình BM25 và TF/IDF .6 : Tiến trình phân tích từ tố (Analysis) trong ElasticSearch .7 : Giới thiệu logstash .8 : Tiến trình ETL .9 : Các tiến trình hoạt động của Logstash .10 : Cơ chế hoạt động Pull và Push của Logstash.11 : Giới thiệu Kibana .1 : Cơ cấu tổ chức và mô hình dịch vụ tại Tập đoàn Bảo Việt.2 : Hiện trạng mô hình hạ tầng CNTT tại Bảo Việt .3 : Mô hình tổng thể giải pháp .4 : Mô hình hoạt động của Logstash .5 : Mô hình luồng dữ liệu giải pháp.6 : Mô hình trao đổi dữ liệu với các hệ thống khác .1: Mô hình hệ thống dịch vụ BVCare .2 : Mô hình cấu hình thử nghiệm giải pháp ELK cho dịch vụ BVCare .3 : Sơ đồ khối luồng xử lý dữ liệu log với Logstash .4 : Sơ đồ khối bước “Lọc và chuẩn hóa dữ liệu log” thực hiện trong Logstash .5 : Email cảnh báo hết dung lượng lưu trữ .6 : Biểu đồ thống kê mã lỗi gặp phải với hệ thống BVCare .7 : Email cảnh báo địa chỉ lạ kết nối tới cơ sở dữ liệu hệ thống BVCare.8 : Biểu đồ thống kê địa chỉ và người dùng kết nối tới cơ sở dữ liệu BVCare .9 : Mô hình hướng phát triển của giải pháp .64 TIEU LUAN MOI download : [e-mail] 8 MỞ ẦU Trong thời đại công nghệ số, các d ch vụ mua bán, trao đổi truyền thống dần được thay thế bởi thương mại điện tử.

Đặc biệt với các giao d ch tài chính như chuyển tiền ngân hàng, mua bán các hợp đồng bảo hiểm, chứng khoán đều được thực hiện trên internet thông qua các d ch vụ công nghệ thông tin mà các tổ chức tài chính, ngân hàng, bảo hiểm xây dựng để cung cấp cho khách hàng. Chất lượng d ch vụ công nghệ thông tin của một tổ chức, doanh nghiệp mang nghĩa sống còn và là lợi thế cạnh tranh không hề nhỏ cho doanh nghiệp trên thương trường; đặc biệt đối với các doanh nghiệp hoạt động trong lĩnh vực tài chính, bảo hiểm, ngân hàng, khi mà các hệ thống phải hoạt động liên tục 24/7 để đáp ứng nhu cầu sử dụng d ch vụ của khách hàng. Khi chất lượng d ch vụ công nghệ thông tin được nâng cao, trải nghiệm của người dùng tốt thì sẽ thu hút và giữ được khách hàng và ngược lại. Trong quá trình hoạt động, hệ thống công nghệ thông tin của doanh nghiệp có thể gặp sự cố bất cứ lúc nào.

Các tổ chức phải đối mặt với sự cố ngừng hoạt động d ch vụ và các mối đe dọa bảo mật khác nhau, việc giám sát toàn bộ nền tảng ứng dụng là điều cần thiết để hiểu r nguồn gốc của mối đe dọa hoặc nguyên nhân xảy ra sự cố, cũng như để xác minh các sự kiện, log và dấu vết để hiểu hành vi của hệ thống tại thời điểm đó và dự đoán cũng như có hành động khắc phục k p thời. Giám sát và phân tích dữ liệu log là rất quan trọng đối với bất kỳ tổ chức hoạt động CNTT nào để xác đ nh các nỗ lực xâm nhập trái phép, theo d i hiệu suất ứng dụng, cải thiện sự hài lòng của khách hàng, tăng cường bảo mật chống lại các cuộc tấn công mạng, thực hiện phân tích nguyên nhân gốc và phân tích hành vi, hiệu suất, đo lường và số liệu dựa trên phân tích dữ liệu log. Việc phát hiện và xử l sớm các lỗi dẫn tới nguy cơ xảy ra sự cố hệ thống có nghĩa rất quan trọng đối với chất lượng d ch vụ mà doanh nghiệp cung cấp ra. Nhiều doanh nghiệp đang thực hiện công việc này một cách thủ công – một nhóm cán bộ phụ trách trực hạ tầng sẽ thực hiện đọc log của từng hệ thống riêng lẻ và tìm kiếm theo các từ khóa về lỗi có thể xảy ra, khi từ khóa được tìm thấy, cán bộ trực hạ tầng thực hiện gửi thư điện tử (email) thông báo tới cán bộ quản tr d ch vụ để khắc phục lỗi.

Việc tìm kiếm lỗi và gửi email thông báo theo cách thủ công này dẫn tới việc chậm trễ và thiếu sót trong quá trình phát hiện và xử l lỗi, ảnh hưởng trực tiếp đến hoạt động kinh doanh của doanh nghiệp. Bài toán đặt ra là cần phải tự động hóa công việc này để phát hiện và thông báo lỗi tới cán bộ quản tr một cách nhanh nhất để giảm thiểu tối đa thời gian ảnh hưởng đến khả năng cung cấp d ch vụ của doanh nghiệp. Mục tiêu của đề tài là tập trung vào nghiên cứu, xây dựng giải pháp công nghệ để giải quyết bài toán trên cho doanh nghiệp. Giải quyết được bài toán này mang nghĩa hết sức to lớn cho doanh nghiệp, nó không những phục vụ cho các hoạt động TIEU LUAN MOI download : [e-mail] 9 kinh doanh của doanh nghiệp mà còn tăng v thế, uy tín của doanh nghiệp khi chất lượng các d ch vụ mà doanh nghiệp cung cấp được nâng cao.

Có khá nhiều nền tảng công nghệ đáp ứng được cho bài toán quản l log, có thể kể ra một số nền tảng nổi trội như Splunk, Graylog, Loggly, Solarwind hoặc bản thân nội tại các hệ thống như hệ điều hành Window, Linux, Database,… cũng có phần quản l logs của riêng mình. Tuy nhiên điểm yếu của các nền tảng công nghệ kể trên hoặc là không hỗ trợ quản l tập trung, không có nền tảng tìm kiếm đủ mạnh, không hỗ trợ mở rộng, không hỗ trợ phân tích logs hoặc khi sử dụng phải trả một khoản chi phí rất cao (phần mềm thương mại).