MỞ ĐẦU Hệ thống kho dữ liệu cung cấp các công cụ xử lý phân tích trực tuyến (OLAP) để tương tác phân tích dữ liệu đa chiều ở các mức độ chi tiết khác nhau. Các công cụ OLAP thường sử dụng khối dữ liệu và mô hình dữ liệu đa chiều để cung cấp quyền truy cập linh hoạt vào dữ liệu tóm tắt. Ví dụ: một khối dữ liệu có thể lưu trữ các biện pháp được tính toán trước (như đếm () và tổng doanh số ()) cho nhiều kết hợp kích thước dữ liệu (như mặt hàng, khu vực và khách hàng). Người dùng có thể đặt ra các truy vấn OLAP trên dữ liệu.
Họ cũng có thể tương tác khám phá dữ liệu theo cách đa chiều thông qua các hoạt động OLAP như xem chi tiết (để xem thêm dữ liệu chuyên ngành như tổng doanh số trên mỗi thành phố) hoặc cuộn lên (để xem dữ liệu ở mức tổng quát hơn mức độ như tổng doanh số mỗi quốc gia). Mặc dù khái niệm khối dữ liệu ban đầu được dành cho OLAP, nhưng nó cũng hữu ích cho việc khai thác dữ liệu. Khai thác dữ liệu đa chiều là một cách tiếp cận để khai thác dữ liệu tích hợp phân tích dữ liệu dựa trên OLAP với các kỹ thuật khám phá kiến thức. Nó là còn được gọi là khai thác dữ liệu đa chiều thăm dò và khai thác phân tích trực tuyến (TUỔI).
Nó tìm kiếm các mẫu thú vị bằng cách khám phá dữ liệu theo nhiều chiều không gian. Điều này cho phép người dùng tự do tập trung linh hoạt vào bất kỳ tập hợp con thú vị nào kích thước. Người dùng có thể tương tác truy sâu xuống hoặc cuộn lên các mức độ trừu tượng khác nhau để tìm mô hình phân loại, cụm, quy tắc dự đoán và ngoại lệ. Chương này tập trung vào công nghệ khối dữ liệu.
Đặc biệt, chúng tôi nghiên cứu các phương pháp cho tính toán khối dữ liệu và phương pháp để phân tích dữ liệu đa chiều. Tính toán trước một khối dữ liệu (hoặc các phần của khối dữ liệu) cho phép truy cập nhanh các dữ liệu tóm tắt. Với tính đa chiều cao của hầu hết các dữ liệu, phân tích đa chiều có thể chạy vào tắc nghẽn hiệu suất. Do đó, điều quan trọng là nghiên cứu tính toán khối dữ liệu kỹ thuật.
May mắn thay, công nghệ khối dữ liệu cung cấp nhiều phương pháp hiệu quả và có thể mở rộng để tính toán khối. Nghiên cứu các phương pháp này cũng sẽ giúp hiểu biết của chúng tôi và phát triển hơn nữa các phương thức có thể mở rộng cho các tác vụ khai thác dữ liệu khác như khám phá các mẫu thường xuyên (Chương 6 và 7). 3 Em bắt đầu trong Phần 5.1 với các khái niệm sơ bộ cho tính toán khối. Chúng tóm tắt khái niệm khối dữ liệu như một mạng các khối lập phương và mô tả các dạng khối cơ bản vật chất hóa.
Các chiến lược chung cho tính toán khối được đưa ra.2 sau đây với một cái nhìn sâu sắc về các phương pháp cụ thể để tính toán khối dữ liệu. Tập hợp mảng nhiều đường phương pháp được chi tiết cho tính toán khối đầy đủ. Phương pháp tính toán khối lập phương, bao gồm BUC, Star-Cubing và việc sử dụng các mảnh vỏ hình khối, sẽ được thảo luận.3, em nghiên cứu xử lý truy vấn dựa trên khối. Các kỹ thuật mô tả xây dựng về các phương pháp tính toán tiêu chuẩn được trình bày trong Phần 5.
sẽ là các khối lấy mẫu để trả lời truy vấn OLAP trên dữ liệu lấy mẫu (ví dụ: dữ liệu khảo sát, đại diện cho một mẫu hoặc tập hợp con của quần thể dữ liệu mục tiêu quan tâm). Ngoài ra, sẽ có các cách tính các khối xếp hạng cho truy vấn top-k (xếp hạng) hiệu quả xử lý trong các tập dữ liệu quan hệ lớn.4 là mô tả nhiều cách khác nhau để thực hiện phân tích dữ liệu đa chiều sử dụng các khối dữ liệu. Các khối dự đoán được giới thiệu, tạo điều kiện cho mô hình dự đoán trong không gian đa chiều. Đánh giá về các khối đa diện, tính toán các truy vấn phức tạp liên quan đến nhiều tập hợp phụ thuộc ở nhiều mức độ chi tiết 5.1 Tính toán khối dữ liệu: Các khái niệm sơ bộ Các khối dữ liệu tạo điều kiện cho việc xử lý phân tích trực tuyến dữ liệu đa chiều.
"Nhưng bằng cách nào chúng ta có thể tính toán các khối dữ liệu trước để chúng tiện dụng và sẵn sàng cho xử lý truy vấn? Phần này tương phản với vật liệu hóa khối đầy đủ (nghĩa là tiền mã hóa) so với các chiến lược khác nhau cho vật chất hóa khối một phần. Để hoàn thiện, chúng tôi bắt đầu với việc xem xét các thuật ngữ cơ bản liên quan đến các khối dữ liệu. Chúng tôi cũng giới thiệu một khối ký hiệu ô rất hữu ích để mô tả các phương pháp tính toán khối dữ liệu.1 Vật liệu hóa khối: Full Cube, Iceberg Cube, Đóng Cube và Cube Shell.1 cho thấy khối dữ liệu 3 chiều cho các kích thước A, B và C và thước đo tổng hợp, M. Các biện pháp thường được sử dụng bao gồm đếm (), sum (), min (), max () và tổng doanh số ( ).
Một khối dữ liệu là một mạng các khối. Mỗi hình khối đại diện cho một nhóm theo. ABC là cơ sở hình khối, chứa cả ba kích thước. Ở đây, số đo tổng hợp, M, được tính cho mỗi kết hợp có thể có của ba chiều.
Hình khối cơ sở là ít khái quát nhất trong tất cả các khối trong khối dữ liệu. Hình khối tổng quát nhất là apex cuboid, thường được đại diện là tất cả. Nó chứa một giá trị mà nó tổng hợp đo M cho tất cả các bộ lưu trữ trong khối lập phương cơ sở. Để đi sâu vào khối dữ liệu, chúng tôi di chuyển từ đỉnh hình khối trở xuống trong mạng tinh thể.
Để cuộn lên, chúng tôi di chuyển từ khối lập phương hướng lên Đối với mục đích thảo luận của chúng tôi trong chương này, chúng tôi sẽ luôn sử dụng thuật ngữ khối dữ liệu để chỉ một mạng các khối chứ không phải là một khối riêng lẻ.1 Mạng của các khối lập phương tạo thành khối dữ liệu 3 chiều với các kích thước A, B và C cho một số biện pháp tổng hợp, M. Một tế bào trong khối lập phương là một tế bào cơ sở. Một tế bào từ một khối lập phương không phải là một tổng hợp tế bào. Một ô tổng hợp tổng hợp trên một hoặc nhiều thứ nguyên, trong đó mỗi ô tổng hợp kích thước được biểu thị bằng một trong ký hiệu ô.
Giả sử chúng ta có một chiều n khối dữ liệu., an, biện pháp) là một ô từ một trong các khối lập phương lên khối dữ liệu. Chúng tôi nói rằng a là một tế bào m chiều (nghĩa là, từ một chiều m hình khối) nếu 5 chính xác giá trị m (m ≤ n) trong số {a1, a2, ., an} không phải là. Nếu m = n, thì a là một tế bào cơ sở; mặt khác, nó là một ô tổng hợp (tức là, trong đó m <n).1 Các ô cơ sở và tổng hợp. Xem xét một khối dữ liệu với kích thước tháng, thành phố và nhóm khách hàng, và các biện pháp bán hàng.
(Tháng một, ∗, ∗, 2800) và (∗, Chicago, ∗, 1200) là Tế bào 1-D; (Jan,, Business, 150) là một ô 2 chiều; và (Jan, Chicago, Business, 45) là 3-D tế bào. Ở đây, tất cả các ô cơ sở là 3-D, trong khi các ô 1-D và 2-D là các ô tổng hợp. Một mối quan hệ hậu duệ tổ tiên có thể tồn tại giữa các tế bào. Trong một chiều n khối dữ liệu, một ô i-D a = (a1, a2, ., an, đoa) là tổ tiên của một ô j-D b = (b1, b2, ., bn, đob) và b là hậu duệ của a, nếu và chỉ khi (1) i <j và (2) cho 1 ≤ k n, ak = bk bất cứ khi nào ak =.
Cụ thể, ô a được gọi là cha của ô b và b là con của a, nếu và chỉ khi j = i + 1.2 Tế bào tổ tiên và hậu duệ. Tham khảo ví dụ 5.1, ô 1-D a = (Jan,,, 2800) và ô 2- D b = (Jan,, Business, 150) là tổ tiên của ô 3-c c = (Jan, Chicago, Kinh doanh, 45); c là hậu duệ của cả a và b; b là cha mẹ của c; và c là một con của b. Để đảm bảo OLAP nhanh, đôi khi bạn cần phải tính toán trước toàn bộ khối (nghĩa là tất cả các ô của tất cả các khối cho một khối dữ liệu nhất định). Một phương pháp tính toán khối đầy đủ được đưa ra trong Mục 5.
Tuy nhiên, tính toán khối đầy đủ là theo cấp số nhân của số kích thước. Đó là, một khối dữ liệu có kích thước n chứa 2n khối. Thậm chí còn cónhiều hình khối hơn nếu chúng tôi xem xét phân cấp khái niệm cho mỗi thứ nguyên.1 Ngoài ra, kích thước của mỗi hình khối phụ thuộc vào số lượng kích thước của nó. Do đó, tiền mã hóa của khối đầy đủ có thể đòi hỏi số lượng bộ nhớ lớn và thường quá mức.
Tuy nhiên, thuật toán tính toán khối đầy đủ là rất quan trọng. Hình khối cá nhân có thể được lưu trữ trên bộ lưu trữ thứ cấp và truy cập khi cần thiết. Ngoài ra, chúng ta có thể sử dụng các thuật toán như vậy để tính các khối nhỏ hơn, bao gồm một tập hợp con của tập đã cho kích thước hoặc phạm vi nhỏ hơn của các giá trị có thể có đối với một số kích thước. Trong những trường hợp này, khối nhỏ hơn là một khối đầy đủ cho tập hợp con có kích thước và / hoặc giá trị kích thước.
Một sự hiểu biết thấu đáo về các phương pháp tính toán khối đầy đủ sẽ giúp chúng tôi phát triển các phương pháp hiệu quả để tính toán các phần khối. 6 Do đó, điều quan trọng là khám phá các phương pháp có thể mở rộng để tính toán tất cả các khối lập phương tạo thành một khối dữ liệu, nghĩa là cho vật chất hóa đầy đủ. Những phương pháp này phải tính đến số lượng hạn chế của bộ nhớ chính có sẵn cho tính toán hình khối, tổng kích thước của dữ liệu được tính toán khối lập phương, cũng như thời gian cần thiết cho tính toán như vậy. Vật chất hóa một phần của các khối dữ liệu cung cấp một sự đánh đổi thú vị giữa lưu trữ không gian và thời gian đáp ứng cho OLAP.