Tổng quan nghiên cứu

Trong kỷ nguyên kinh tế số, hơn 85% các doanh nghiệp trực tuyến phụ thuộc vào việc khai thác dữ liệu tương tác để thấu hiểu hành vi khách hàng và tối ưu hóa hệ thống vận hành. Mỗi ngày, các máy chủ dịch vụ mạng ghi nhận hàng tỷ sự kiện truy cập, tạo nên khối lượng dữ liệu khổng lồ dưới dạng nhật ký máy chủ (Web Log). Tuy nhiên, dữ liệu nhật ký thô thường ở dạng bán cấu trúc hoặc phi cấu trúc, trong đó dữ liệu nhiễu và các yêu cầu không liên quan chiếm từ 40% đến 60% tổng dung lượng lưu trữ. Điều này đặt ra thách thức lớn cho các quản trị viên hệ thống và chuyên gia phân tích dữ liệu trong việc trích xuất thông tin có giá trị.

Luận văn thạc sĩ kỹ thuật với đề tài nghiên cứu các kỹ thuật và công cụ phân tích Web Log được thực hiện nhằm giải quyết bài toán chuẩn hóa quy trình khai phá dữ liệu web, từ khâu thu thập, tiền xử lý đến phân tích chuyên sâu. Mục tiêu cụ thể của nghiên cứu bao gồm việc hệ thống hóa các định dạng nhật ký chuẩn quốc tế, đánh giá các thuật toán khai phá mẫu hành vi người dùng, và xây dựng mô hình thực nghiệm phân tích tập trung. Nghiên cứu được triển khai trong phạm vi thời gian từ năm 2021 đến năm 2022 tại Học viện Công nghệ Bưu chính Viễn thông, tập trung khảo sát các định dạng log phổ biến như NCSA Common, NCSA Combined, W3C Extended và Microsoft IIS Log. Kết quả nghiên cứu mang lại ý nghĩa thực tiễn to lớn khi giúp giảm 70% thời gian điều tra sự cố hệ thống, nâng cao hiệu suất phát hiện bất thường an ninh mạng lên 85%, đồng thời cải thiện hiệu quả chiến dịch tiếp thị số thêm 30% nhờ việc hiểu rõ hành trình khách hàng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên khung lý thuyết khai phá dữ liệu sử dụng web (Web Usage Mining) kết hợp mô hình xử lý 4 giai đoạn tiêu chuẩn: tiền xử lý và chuẩn hóa dữ liệu, khám phá mẫu hình (Pattern Discovery), phân tích mẫu hình (Pattern Analysis), và dự đoán hành vi người dùng.

Trong giai đoạn tiền xử lý, luận văn áp dụng lý thuyết phân tách phiên làm việc (Sessionization) thông qua các thuật toán heuristic: phương pháp giới hạn tổng thời gian phiên $h_1$ với ngưỡng thời gian chuẩn $\theta = 30$ phút, phương pháp giới hạn thời gian xem trang đơn lẻ $h_2$ với ngưỡng $\delta = 10$ phút, và phương pháp liên kết tham chiếu $h\text{-ref}$. Để khắc phục hiện tượng mất dấu vết do bộ nhớ đệm proxy và nút quay lại (Back button) trên trình duyệt, lý thuyết hoàn thành đường dẫn (Path Completion) được tích hợp dựa trên phân tích cấu trúc liên kết website và trường Referrer.

Trong giai đoạn khám phá mẫu hình, nghiên cứu ứng dụng lý thuyết luật kết hợp (Association Rules) dựa trên hai chỉ số toán học là độ hỗ trợ (Support) và độ tin cậy (Confidence), kết hợp kỹ thuật phân lớp (Classification) bằng mô hình học máy có giám sát (Cây quyết định, Naive Bayes, K-NN) và kỹ thuật phân cụm người dùng (Clustering) không giám sát. Các khái niệm nền tảng được chuẩn hóa gồm: bản ghi nhật ký sự kiện, định dạng mở rộng W3C Extended Format, phiên giao dịch (User Transaction), và lượt xem trang (PageView).

Phương pháp nghiên cứu

Nghiên cứu kết hợp chặt chẽ giữa phương pháp nghiên cứu lý thuyết và phương pháp thực nghiệm hệ thống. Nguồn dữ liệu thực nghiệm được trích xuất từ tập dữ liệu gồm 100.000 bản ghi nhật ký máy chủ web Microsoft IIS và Apache Server trong khoảng thời gian theo dõi liên tục 30 ngày.

Phương pháp chọn mẫu được áp dụng là phương pháp lấy mẫu phi ngẫu nhiên có chủ đích (purposive sampling) kết hợp chọn mẫu theo chuỗi thời gian liên tục. Phương pháp này đảm bảo tập dữ liệu bao quát đầy đủ các chu kỳ truy cập cao điểm, ngày thường, ngày nghỉ, và giữ nguyên vẹn tính liên tục của các phiên người dùng.

Lý do lựa chọn phương pháp phân tích thực nghiệm trên hệ sinh thái ELK Stack (gồm Beats, Logstash, Elasticsearch và Kibana) xuất phát từ khả năng mở rộng phân tán mạnh mẽ, tốc độ lập chỉ mục theo thời gian thực đạt hàng nghìn bản ghi mỗi giây, và khả năng tùy biến bộ lọc Grok linh hoạt. Toàn bộ quá trình nghiên cứu và thử nghiệm được hoàn thành theo đúng tiến độ trong 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực nghiệm trên tập dữ liệu nhật ký web đã mang lại bốn phát hiện trọng tâm:

  1. Giai đoạn tiền xử lý và làm sạch dữ liệu đã loại bỏ thành công 42,5% các bản ghi rác không mang giá trị phân tích hành vi, bao gồm các tệp tài nguyên tĩnh (hình ảnh, css, mã nhúng quảng cáo), các yêu cầu tự động từ robot thu thập dữ liệu (web crawler), và các bản ghi lỗi phát sinh ngoài ý muốn. Việc loại bỏ này giúp giảm 50% tải xử lý cho hệ thống lưu trữ chỉ mục.
  2. Kỹ thuật nhận dạng người dùng kết hợp địa chỉ IP và chuỗi User-Agent kết hợp với thuật toán Heuristic $h_1$ ($\theta \le 30$ phút) đạt độ chính xác phân tách phiên lên tới 91,2%, tăng 28% so với phương pháp truyền thống chỉ định danh qua địa chỉ IP đơn thuần trong môi trường mạng dùng chung proxy hoặc NAT.
  3. Khai phá luật kết hợp trên dữ liệu giao dịch đã trích xuất được các quy tắc hành vi rõ nét với độ hỗ trợ 4% và độ tin cậy đạt 70% đối với các nhóm sản phẩm bổ trợ; đồng thời mô hình phân lớp chỉ ra rằng 46% người dùng đặt hàng thuộc phân khúc độ tuổi từ 18 đến 23 tại khu vực địa lý phía Bắc.
  4. Triển khai đường ống ELK Stack với bộ lọc Grok cho phép phân tích luồng dữ liệu 30 ngày với thời gian phản hồi truy vấn dưới 1,5 giây trên toàn bộ 100.000 bản ghi, phân loại chuẩn xác 100% các mã phản hồi HTTP trạng thái thành công (200), chuyển hướng (301, 302), lỗi máy khách (404) và lỗi máy chủ (500).

Thảo luận kết quả

Hiệu quả vượt trội của quy trình tiền xử lý bắt nguồn từ việc giải quyết triệt để sự cố bộ nhớ đệm thông qua thuật toán Path Completion. Khi người dùng bấm nút quay lại hoặc truy cập lại trang từ bộ nhớ đệm của máy chủ proxy, máy chủ web gốc không nhận được yêu cầu mới. Tuy nhiên, bằng cách đối chiếu trường Referrer với lịch sử duyệt trang, hệ thống đã tái lập chính xác lộ trình điều hướng hoàn chỉnh.

+-------------------------------------------------------------------------+
|                  PHÂN BỐ TRÌNH DUYỆT TRUY CẬP (KIBANA)                  |
+-------------------+--------------------+--------------------------------+
| Trình duyệt       | Tỷ lệ phần trăm    | Số lượng phiên tương ứng       |
+-------------------+--------------------+--------------------------------+
| Google Chrome     | 62,0%              | 62.000 bản ghi                 |
| Mozilla Firefox   | 24,0%              | 24.000 bản ghi                 |
| Apple Safari      | 14,0%              | 14.000 bản ghi                 |
+-------------------+--------------------+--------------------------------+

Dữ liệu phân tích thực nghiệm được trực quan hóa trên bảng điều khiển Kibana Dashboard thông qua các biểu đồ đa chiều. Biểu đồ tròn thể hiện phân bố trình duyệt khách truy cập (Chrome chiếm 62%, Firefox chiếm 24%, Safari chiếm 14%), trong khi biểu đồ cột thể hiện phân bố hệ điều hành (Windows chiếm ưu thế với 68%). Bản đồ nhiệt (Heat Map) phân bố lưu lượng theo 24 khung giờ cho thấy mật độ truy cập cao nhất tập trung từ 20 giờ đến 22 giờ hàng ngày.

So với các giải pháp quản lý sự kiện và an ninh thông tin thương mại đắt đỏ như Splunk hay IBM QRadar SIEM tiêu tốn hàng nghìn USD chi phí bản quyền hàng năm, hệ thống ELK Stack mã nguồn mở chứng minh hiệu năng xử lý tương đương, đáp ứng toàn diện cả hai mục tiêu: giám sát an toàn thông tin và phân tích trải nghiệm người dùng số.

Đề xuất và khuyến nghị

Dựa trên các kết quả nghiên cứu lý thuyết và thực nghiệm, luận văn đề xuất 4 nhóm giải pháp kỹ thuật cụ thể:

  1. Chuẩn hóa cấu hình ghi log máy chủ: Kích hoạt định dạng W3C Extended Log Format trên toàn bộ máy chủ web Microsoft IIS và Apache, bắt buộc cấu hình đầy đủ các trường cs(User-Agent), cs(Referer), time-taken, sc-status và sc-bytes. Mục tiêu đạt 100% độ đồng nhất dữ liệu log thu thập từ nhiều nguồn. Thời gian hoàn thành trong vòng 30 ngày, do đội ngũ Quản trị hệ thống thực hiện.
  2. Tối ưu hóa đường ống tiền xử lý tự động: Triển khai bộ lọc Grok trên Logstash kết hợp với danh sách nhận dạng tệp robots.txt để tự động loại bỏ các yêu cầu crawler độc hại và tệp rác ngay tại thời điểm thu thập dữ liệu. Mục tiêu giảm 35% dung lượng lưu trữ trên cụm Elasticsearch trong vòng 60 ngày, do Kỹ sư dữ liệu phụ trách.
  3. Thiết lập cảnh báo an ninh thời gian thực: Xây dựng hệ thống quy tắc ngưỡng trên Kibana Alerting nhằm kích hoạt cảnh báo tức thời khi tỷ lệ phát sinh mã lỗi HTTP 404 hoặc 500 vượt ngưỡng 15% tổng lưu lượng trong khung thời gian 5 phút. Mục tiêu rút ngắn 80% thời gian phát hiện tấn công mạng, triển khai trong quý 1, do Đội ngũ An toàn thông tin (SOC) vận hành.
  4. Ứng dụng khai phá mẫu vào tối ưu hóa chuyển đổi: Tích hợp kết quả khai phá luật kết hợp và phân cụm hành vi vào hệ thống gợi ý liên kết trang web (Recommender System), cá nhân hóa nội dung hiển thị theo luồng nhấp chuột của người dùng. Mục tiêu nâng tỷ lệ chuyển đổi đơn hàng trực tuyến từ 12% lên 25% trong vòng 12 tháng, do Phòng Tiếp thị số phối hợp Đội ngũ Phát triển Web thực hiện.

Đối tượng nên tham khảo luận văn

Tài liệu luận văn này mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng chính:

  1. Kỹ sư Quản trị Hệ thống và Mạng (System/DevOps Engineers): Nắm bắt phương pháp cấu hình, tập trung hóa và giám sát nhật ký truy cập phân tán, sử dụng hệ sinh thái ELK Stack để theo dõi tải hệ thống và phát hiện sự cố máy chủ theo thời gian thực.
  2. Chuyên viên An toàn Thông tin và Giám sát An ninh (SOC Analysts): Khai thác các kỹ thuật phân tích tương quan sự kiện, truy vết dấu vết truy cập bất thường, phát hiện hành vi xâm nhập trái phép và trích xuất bằng chứng số phục vụ công tác điều tra an ninh mạng.
  3. Chuyên viên Phân tích Dữ liệu và Tiếp thị Số (Data Analysts & Marketers): Ứng dụng các giải thuật khai phá dữ liệu web, phân tích phiên và đường dẫn người dùng để thấu hiểu hành vi khách hàng trực tuyến, từ đó tối ưu hóa giao diện website và nâng cao hiệu suất SEO.
  4. Học viên Cao học và Sinh viên ngành Hệ thống Thông tin, Khoa học Máy tính: Sử dụng làm tài liệu tham khảo nghiên cứu về quy trình khai phá dữ liệu sử dụng web, các kỹ thuật tiền xử lý dữ liệu thô và phương pháp triển khai giải pháp thực nghiệm trên nền tảng mã nguồn mở.

Câu hỏi thường gặp

Phân tích Web Log có ưu điểm gì vượt trội so với các công cụ phân tích phía máy khách như Google Analytics? Web Log thu thập trực tiếp toàn bộ dữ liệu ở tầng máy chủ (Server-side), do đó không bị ảnh hưởng khi người dùng tắt JavaScript, chặn cookie hoặc dùng tiện ích chặn quảng cáo. Hệ thống ghi nhận chính xác 100% các cuộc tấn công mạng, lỗi mã nguồn và hoạt động của bot tự động mà công cụ phía máy khách không thể ghi lại.

Tại sao bước hoàn thành đường dẫn (Path Completion) lại bắt buộc trong tiền xử lý log? Khi người dùng bấm nút quay lại trang trước hoặc nội dung đã được lưu trong bộ nhớ đệm của máy chủ proxy trung gian, yêu cầu sẽ không được gửi về máy chủ gốc. Kỹ thuật Path Completion phân tích trường Referrer và cấu trúc website để bổ sung các mắt xích bị thiếu, đảm bảo tính toàn vẹn của chuỗi hành vi.

Thuật toán phân tách phiên Heuristic dựa trên thời gian hoạt động như thế nào? Thuật toán phân tách phiên dựa trên nguyên tắc ước lượng thời gian ngắt quãng giữa các yêu cầu. Nếu khoảng cách giữa hai yêu cầu liên tiếp vượt quá ngưỡng 10 phút hoặc tổng thời gian một chuỗi thao tác vượt quá 30 phút, hệ thống sẽ tự động đóng phiên cũ và khởi tạo phiên làm việc mới cho người dùng.

Làm cách nào để định danh chính xác người dùng duy nhất khi họ dùng chung địa chỉ IP Public? Hệ thống sử dụng kỹ thuật định danh đa yếu tố bằng cách kết hợp địa chỉ IP với chuỗi User-Agent (trình duyệt, hệ điều hành), trường Referrer và sơ đồ liên kết trang web. Sự khác biệt về thông số thiết bị và lộ trình duyệt trang cho phép phân biệt chính xác từng cá nhân riêng biệt.

Nền tảng ELK Stack đóng vai trò gì trong kiến trúc xử lý dữ liệu log? ELK Stack cung cấp giải pháp toàn diện khép kín: Beats làm nhiệm vụ thu thập log từ máy chủ nguồn, Logstash thực hiện chuẩn hóa và lọc dữ liệu bằng bộ lọc Grok, Elasticsearch lập chỉ mục và lưu trữ phân tán hiệu năng cao, còn Kibana cung cấp giao diện trực quan hóa dữ liệu qua biểu đồ thời gian thực.

Kết luận

  • Luận văn đã hệ thống hóa toàn diện cơ sở lý thuyết về 4 định dạng Web Log tiêu chuẩn quốc tế và xây dựng quy trình khai phá dữ liệu web 4 giai đoạn chuẩn mực.
  • Đề xuất và ứng dụng thành công các giải thuật tiền xử lý chuyên sâu, giúp lọc sạch 42,5% dữ liệu nhiễu và nâng độ chính xác nhận dạng phiên làm việc lên mức 91,2%.
  • Ứng dụng hiệu quả các mô hình khai phá dữ liệu như luật kết hợp (độ tin cậy 70%), phân lớp và phân cụm để giải mã chi tiết hành vi và đặc điểm nhân khẩu học của người dùng trực tuyến.
  • Triển khai thành công mô hình thực nghiệm quản lý và phân tích log tập trung trên nền tảng mã nguồn mở ELK Stack với thời gian truy vấn dưới 1,5 giây trên 100.000 bản ghi.
  • Đóng góp giải pháp công nghệ có tính ứng dụng thực tiễn cao, phục vụ hiệu quả cho cả hai bài toán: đảm bảo an toàn thông tin hệ thống và tối ưu hóa hoạt động tiếp thị số.

Trong lộ trình 12 tháng tiếp theo, giải pháp sẽ tiếp tục được nâng cấp với các mô hình học sâu (Deep Learning) nhằm tự động hóa quá trình phát hiện bất thường an ninh mạng. Hãy kết nối và liên hệ với nhóm nghiên cứu để cùng trao đổi, khai thác các tài nguyên học thuật và triển khai giải pháp phân tích dữ liệu nhật ký web chuyên sâu cho tổ chức của bạn.