Tổng quan nghiên cứu

Dữ liệu sử dụng web, hay còn gọi là dữ liệu truy cập web (web log), là nguồn thông tin phong phú phản ánh quá trình tương tác của người dùng với các trang web. Theo báo cáo của ngành, dung lượng dữ liệu web log có thể lên tới hàng trăm megabyte mỗi ngày, thậm chí hàng gigabyte sau vài tuần hoặc tháng lưu trữ. Việc khai phá luật kết hợp từ dữ liệu sử dụng web nhằm phát hiện các mẫu truy cập phổ biến, từ đó giúp các doanh nghiệp và nhà phát triển web hiểu rõ thói quen, xu hướng người dùng để tối ưu hóa cấu trúc website, chiến lược quảng cáo và nâng cao trải nghiệm người dùng.

Mục tiêu nghiên cứu của luận văn là đề xuất và phát triển một phương pháp khai phá luật kết hợp hiệu quả từ dữ liệu sử dụng web dựa trên chiến lược Chia để trị (Divide and Conquer). Phạm vi nghiên cứu tập trung vào dữ liệu web log thu thập từ các máy chủ web thực tế tại Việt Nam trong khoảng thời gian từ năm 2012, với dung lượng dữ liệu lớn và có tính liên tục phát sinh theo thời gian. Nghiên cứu có ý nghĩa quan trọng trong việc giảm thiểu chi phí tính toán, nâng cao hiệu quả khai phá dữ liệu trong điều kiện dữ liệu đầu vào lớn và thay đổi liên tục, đồng thời mở rộng khả năng áp dụng cho các hệ thống tính toán song song.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

  • Luật kết hợp (Association Rules): Là mối quan hệ giữa các tập mục (itemsets) trong cơ sở dữ liệu giao dịch, được đánh giá qua hai chỉ số chính là độ hỗ trợ (support) và độ tin cậy (confidence). Luật kết hợp mạnh được xác định khi độ hỗ trợ và độ tin cậy vượt ngưỡng cho trước.

  • Tập phổ biến (Frequent Itemsets): Là các tập mục có độ hỗ trợ lớn hơn hoặc bằng ngưỡng tối thiểu (minsup). Việc tìm tập phổ biến là bước tiền đề để sinh ra các luật kết hợp.

  • Chiến lược Chia để trị (Divide and Conquer): Phân chia tập dữ liệu lớn thành các phần nhỏ hơn để xử lý độc lập, sau đó kết hợp kết quả để thu được kết quả tổng thể. Chiến lược này giúp giảm chi phí tính toán và tận dụng hiệu quả bộ nhớ.

  • Thuật toán Apriori: Thuật toán kinh điển trong khai phá luật kết hợp, dựa trên nguyên lý rằng tập con của tập phổ biến cũng là tập phổ biến. Apriori sinh các tập ứng viên theo cấp độ và lọc dựa trên độ hỗ trợ.

  • Phương pháp khai phá song song: Các thuật toán phân phối độ hỗ trợ, phân phối dữ liệu và phân phối tập ứng viên được sử dụng để khai thác sức mạnh của hệ thống nhiều bộ xử lý, tăng tốc quá trình khai phá.

Các khái niệm chính bao gồm: tập mục (itemset), độ hỗ trợ, độ tin cậy, tập phổ biến cục bộ và toàn cục, phiên truy cập (user session), và các phương pháp heuristic phân định phiên truy cập.

Phương pháp nghiên cứu

  • Nguồn dữ liệu: Dữ liệu thực nghiệm được thu thập từ máy chủ web của Phòng Đào tạo - Trường Đại học Hàng hải Việt Nam, gồm 4 tập tin log trong 4 ngày liên tiếp với tổng dung lượng khoảng 150MB và hơn 600.000 bản ghi truy cập.

  • Tiền xử lý dữ liệu: Bao gồm phân tách trường dữ liệu, lọc các bản ghi không phản ánh hành vi người dùng (ví dụ các yêu cầu tải tập tin đồ họa), gán nhãn thời gian (time stamp), và phân định các phiên truy cập dựa trên phương pháp heuristic hướng thời gian với ngưỡng timeout 30 phút.

  • Phương pháp phân tích: Áp dụng chiến lược Chia để trị để chia nhỏ dữ liệu thành các phần riêng biệt, xử lý độc lập bằng thuật toán Apriori để tìm tập phổ biến cục bộ, sau đó kết hợp các tập phổ biến cục bộ để tìm tập phổ biến toàn cục. Thuật toán sinh luật kết hợp mạnh được áp dụng trên tập phổ biến toàn cục.

  • Timeline nghiên cứu: Nghiên cứu thực hiện trong năm 2012, với các bước từ thu thập dữ liệu, tiền xử lý, phát triển mô hình, cài đặt thuật toán, đến thực nghiệm và đánh giá hiệu năng.

  • Cỡ mẫu và chọn mẫu: Sử dụng toàn bộ dữ liệu truy cập web log trong 4 ngày liên tiếp, đảm bảo tính đại diện và đủ lớn để đánh giá hiệu quả mô hình.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu quả của chiến lược Chia để trị trong xử lý dữ liệu lớn:
    Khi dữ liệu đầu vào vượt quá khả năng xử lý của hệ thống, việc chia nhỏ dữ liệu thành các phần vừa với bộ nhớ giúp xử lý hiệu quả hơn. Ví dụ, với bộ dữ liệu có hơn 600.000 bản ghi, chiến lược này cho phép xử lý từng phần nhỏ, tránh treo hệ thống do thiếu bộ nhớ.

  2. Tiết kiệm thời gian khai phá khi dữ liệu phát sinh liên tục:
    Mô hình cho phép tận dụng kết quả khai phá trước đó, chỉ khai phá phần dữ liệu mới phát sinh. Thực nghiệm cho thấy, khi xử lý bộ dữ liệu thứ hai (1087 phiên truy cập), hệ thống dựa trên Chia để trị chỉ cần xử lý thêm khoảng 60% dữ liệu so với khai phá lại toàn bộ, giảm thời gian xử lý đáng kể.

  3. So sánh hiệu năng với các mô hình khác:

    • Hệ thống khai phá luật kết hợp cổ điển (Apriori) và hệ thống khai phá song song với 2 bộ xử lý có hiệu năng thấp hơn khi dữ liệu phát sinh liên tục.
    • Hệ thống dựa trên Chia để trị vượt trội hơn cả về thời gian xử lý khi dữ liệu tăng lên, đặc biệt với bộ dữ liệu thứ ba và thứ tư, thời gian xử lý giảm xuống còn khoảng 30% so với các hệ thống còn lại.

  4. Khả năng mở rộng và linh hoạt:
    Mô hình có thể mở rộng cho hệ thống nhiều bộ xử lý song song, hoạt động dị bộ, không cần mạng truyền thông tốc độ cao, dễ cài đặt và chi phí thấp.

Thảo luận kết quả

Nguyên nhân chính của hiệu quả trên là do mô hình Chia để trị tận dụng được tính độc lập của các phần dữ liệu con, giảm thiểu việc xử lý lại toàn bộ dữ liệu khi có phát sinh mới. So với các giải thuật song song truyền thống, mô hình không yêu cầu đồng bộ hóa liên tục giữa các bộ xử lý, tránh được hiện tượng chờ đợi và giảm tải mạng truyền thông.

Kết quả thực nghiệm được trình bày qua các biểu đồ so sánh thời gian xử lý với các ngưỡng độ hỗ trợ khác nhau, minh họa rõ ràng sự vượt trội của mô hình Chia để trị khi dữ liệu tăng và phát sinh liên tục. Bảng số liệu chi tiết cũng cho thấy sự giảm đáng kể về thời gian xử lý khi áp dụng mô hình này.

Tuy nhiên, mô hình còn tồn tại hạn chế về thuật toán kết hợp các tập phổ biến cục bộ, gây phát sinh nhiều tập mục thừa, làm tăng chi phí xử lý bước cuối. Đây là điểm cần cải tiến trong nghiên cứu tiếp theo.

Đề xuất và khuyến nghị

  1. Cải tiến thuật toán kết hợp tập phổ biến cục bộ:
    Phát triển thuật toán tối ưu hơn để giảm thiểu tập mục thừa, nâng cao hiệu năng xử lý tập phổ biến toàn cục, giảm thời gian và tài nguyên tính toán.

  2. Áp dụng mô hình cho hệ thống tính toán phân tán:
    Mở rộng mô hình Chia để trị cho các hệ thống phân tán với nhiều bộ xử lý, tận dụng tối đa tài nguyên phần cứng, đồng thời giảm chi phí đầu tư hạ tầng mạng.

  3. Tích hợp các phương pháp heuristic phân định phiên truy cập nâng cao:
    Kết hợp thêm các phương pháp heuristic hướng cấu trúc để phân định phiên truy cập chính xác hơn, nâng cao chất lượng dữ liệu đầu vào, từ đó cải thiện kết quả khai phá.

  4. Phát triển giao diện và công cụ hỗ trợ trực quan:
    Xây dựng công cụ trực quan hóa kết quả khai phá luật kết hợp, giúp người dùng dễ dàng phân tích, ra quyết định dựa trên các mẫu truy cập phổ biến.

  5. Định kỳ cập nhật và khai phá dữ liệu:
    Thiết lập quy trình khai phá dữ liệu định kỳ, tận dụng mô hình Chia để trị để cập nhật nhanh chóng các mẫu truy cập mới, phục vụ kịp thời cho các chiến lược kinh doanh và phát triển website.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin, Hệ thống Thông tin:
    Luận văn cung cấp kiến thức chuyên sâu về khai phá dữ liệu sử dụng web, luật kết hợp và chiến lược Chia để trị, phù hợp làm tài liệu tham khảo cho các đề tài nghiên cứu và học tập.

  2. Chuyên gia phát triển hệ thống khai phá dữ liệu và phân tích web:
    Mô hình và thuật toán đề xuất giúp cải thiện hiệu năng khai phá dữ liệu lớn, hỗ trợ xây dựng các hệ thống phân tích hành vi người dùng trên web hiệu quả.

  3. Nhà quản lý và phát triển website thương mại điện tử:
    Các kết quả khai phá luật kết hợp giúp hiểu rõ thói quen truy cập, từ đó tối ưu cấu trúc website, vị trí quảng cáo, nâng cao trải nghiệm khách hàng và tăng doanh thu.

  4. Chuyên viên marketing và phân tích dữ liệu:
    Luận văn cung cấp công cụ và phương pháp để phân tích xu hướng người dùng, hỗ trợ xây dựng các chiến dịch quảng cáo, tiếp thị dựa trên dữ liệu thực tế.

Câu hỏi thường gặp

  1. Khai phá luật kết hợp là gì và tại sao quan trọng trong phân tích dữ liệu web?
    Khai phá luật kết hợp là quá trình tìm ra các mối quan hệ phổ biến giữa các trang web được truy cập cùng nhau trong phiên truy cập. Điều này giúp hiểu thói quen người dùng, tối ưu hóa website và chiến lược quảng cáo. Ví dụ, nếu người dùng truy cập trang A thường truy cập trang B, ta có thể đặt quảng cáo liên quan trên trang A để tăng hiệu quả.

  2. Chiến lược Chia để trị giúp gì trong khai phá dữ liệu lớn?
    Chiến lược này chia nhỏ dữ liệu lớn thành các phần nhỏ hơn để xử lý độc lập, giảm tải bộ nhớ và chi phí tính toán. Khi dữ liệu phát sinh mới, chỉ cần xử lý phần mới mà không phải khai phá lại toàn bộ, tiết kiệm thời gian đáng kể.

  3. Phân định phiên truy cập người dùng được thực hiện như thế nào?
    Thường sử dụng phương pháp heuristic hướng thời gian với ngưỡng timeout (ví dụ 30 phút). Nếu khoảng cách giữa hai yêu cầu truy cập liên tiếp của cùng một người dùng vượt quá ngưỡng này, bắt đầu phiên truy cập mới. Phương pháp này giúp phân tách chính xác các lần viếng thăm website.

  4. Mô hình khai phá song song truyền thống khác gì so với mô hình Chia để trị đề xuất?
    Mô hình truyền thống yêu cầu đồng bộ hóa liên tục giữa các bộ xử lý, cần mạng truyền thông tốc độ cao và phức tạp trong cài đặt. Mô hình Chia để trị hoạt động dị bộ, không cần đồng bộ liên tục, dễ cài đặt và chi phí thấp hơn, phù hợp với nhiều môi trường.

  5. Làm thế nào để giảm thiểu tập mục thừa trong quá trình kết hợp tập phổ biến cục bộ?
    Cần cải tiến thuật toán kết hợp để loại bỏ sớm các tập mục không phải là tập phổ biến toàn cục. Ngoài ra, có thể áp dụng cơ chế trao đổi thông tin giữa các bộ xử lý trong quá trình xử lý cục bộ để hạn chế sinh ra tập mục thừa, nâng cao hiệu quả xử lý.

Kết luận

  • Đề xuất thành công mô hình khai phá luật kết hợp từ dữ liệu sử dụng web dựa trên chiến lược Chia để trị, giải quyết hiệu quả vấn đề dữ liệu lớn và thay đổi liên tục.
  • Mô hình cho phép chia nhỏ dữ liệu, xử lý độc lập, tận dụng kết quả khai phá trước đó, giảm đáng kể chi phí tính toán và thời gian xử lý.
  • Thực nghiệm trên dữ liệu thực tế từ máy chủ web cho thấy mô hình vượt trội so với các mô hình khai phá cổ điển và song song truyền thống.
  • Mô hình có khả năng mở rộng cho hệ thống nhiều bộ xử lý song song, dễ cài đặt, chi phí thấp và linh hoạt trong lựa chọn thuật toán khai phá.
  • Hướng nghiên cứu tiếp theo tập trung cải tiến thuật toán kết hợp tập phổ biến cục bộ và nâng cao hiệu quả phân định phiên truy cập để hoàn thiện mô hình.

Hành động tiếp theo: Áp dụng mô hình vào các hệ thống thực tế, phát triển công cụ hỗ trợ trực quan và mở rộng nghiên cứu về khai phá dữ liệu web trong các lĩnh vực thương mại điện tử và phân tích hành vi người dùng.