chương 1 đã trình bày, cấu trúc của CSDL có ưu điểm là chặt chẽ do phải thoả mãn các dạng chuẩn (các ràng buộc) và ưu điểm này có lợi khi quản trị dữ liệu nhưng đối với khai phá dữ liệu thì đó là nhược điểm vì do quá chặt chẽ nên làm chậm quá trình khai phá, rút trích dữ liệu và càng khó khăn hơn trên khối lượng dữ liệu rất lớn là đặc trưng trong khai phá dữ liệu (data mining). Vì vậy kho dữ liệu (Data warehouse) ra đời nhằm giúp hỗ trợ tối đa cho quá trình khai phá dữ liệu. Thông thường, một kho dữ liệu được xem như một CSDL mà được duy trì tách biệt từ những CSDL tác nghiệp (operational database) của tổ chức. Nó thường được tích hợp với một hệ thống ứng dụng đa dạng để hỗ trợ xử lý thông tin và phân tích dữ liệu bằng cách cung cấp một nền tảng đồng nhất cho việc hợp nhất, lịch sử hoá dữ liệu.Inmon, một nhà kiến trúc hàng đầu của việc xây dựng data warehouse, thì Data warehouse được định nghĩa như một “tập hợp dữ liệu hướng - 9 - đối tượng, tích hợp, có tính ổn định, thay đổi theo thời gian hỗ trợ cho việc ra quyết định”.
Cấu trúc của kho dữ liệu Cấu trúc kho dữ liệu được xây dựng dựa trên các hệ quản trị CSDL quan hệ, có chức năng giống như một kho lưu trữ thông tin trung tâm. Trong đó, dữ liệu tác nghiệp và phần xử lý được tách riêng khỏi quá trình xử lý kho dữ liệu. Kho lưu trữ trung tâm được bao quanh bởi các thành phần được thiết kế để làm cho kho dữ liệu có thể hoạt động, quản lý và truy nhập được từ người dùng đầu cuối cũng như từ các nguồn dữ liệu. Cấu trúc kho dữ liệu Hình 2.2 cho ta thấy kho dữ liệu bao gồm bảy phần: 1.
Dữ liệu nguồn (là các ứng dụng tác nghiệp hoặc các CSDL tác nghiệp) và các công cụ chiết xuất, làm sạch và chuyển đổi dữ liệu. Kho dữ liệu trung tâm (Metadata). Kho dữ liệu trong DBMS bao gồm các kỹ thuật xây kho dữ liệu. Các công cụ truy vấn (query), báo cáo (reporting), phân tích trực tuyến (OLAP) và khai phá dữ liệu (data mining).
Đây chính là các cách khai phá kho dữ liệu để đem lại những tri thức. Quản trị kho dữ liệu. Hệ thống phân phối thông tin. Thành phần thứ 4 (kho dữ liệu theo chủ đề (Data mart)) là thành phần mà đề tài quan tâm và sẽ xây dựng để giải quyết các vấn đề, là nơi các dữ liệu được khoanh vùng theo chủ đề tới một giới hạn nào đó và có thể được thay đổi cho phù hợp với nhu cầu của từng bộ phận người dùng.
Một kho dữ liệu có thể được phân tích thành nhiều kho dữ liệu chủ đề và ngược lại một tập hợp các kho dữ liệu theo chủ đề có thể tạo thành một kho dữ liệu[4]. Data mart được lưu trữ ở nhiều dạng như: bảng tính chẳng hạn như excel, hay ở dạng view được truy vấn từ CSDL trong hệ quản trị CSDL hoặc dựa trên hệ thống OLAP (đây là mô hình đề tài sử dụng) Hình 2. Sơ đồ data mart trên cơ sở hệ thống OLAP[5] Lược đồ data mart phổ biến là dạng hình sao (Star Schema) với mô hình là một bảng chi phối lớn ở giữa, được gọi là bảng sự kiện (fact table) và nhiều kết nối đến các bảng còn lại (xem hình 2. Các bảng - 11 - còn lại, được gọi là các bảng chiều (dimension table), mỗi bảng chỉ có một liên kết đến bảng sự kiện.
Mỗi dòng trong bảng sự kiện bao gồm nhiều ô (con trỏ), một ô trỏ đến một bảng chiều để cung cấp toạ độ đa chiều của nó, và lưu trữ các độ đo cho các toạ độ này. Mỗi bảng chiều bao gồm các cột tương đương với các thuộc tính của chiều. Các bảng chiều mô tả và bổ sung thông tin cho bảng sự kiện [4]. Lược đồ data mart dạng hình sao [5] 2.
Hệ thống Business Intelligence (BI) 2. Khái niệm BI có thể được định nghĩa là một tập các mô hình toán học và các phương pháp phân tích nhằm khai phá dữ liệu có sẵn để tạo ra thông tin và tri thức hữu ích cho quá trình ra quyết định [6]. Kiến trúc của BI Kiến trúc của BI (hình 2.5) bao gồm 3 thành phần chính [6]: Các nguồn dữ liệu (Data sources: operational systems, external data,.): là nơi tích hợp và thu thập các dữ liệu được lưu trữ trong các nguồn dữ liệu cấp thấp khác nhau, không đồng nhất về nguồn gốc và loại. Các nguồn dữ liệu đa phần được thu thập từ các hệ thống tác nghiệp nhưng cũng có thể bao gồm các tài liệu phi cấu trúc như email và các dữ liệu nhận được từ các nhà cung cấp bên ngoài.
Do đó, vấn đề quan trọng là làm sao để thống nhất và tích hợp các nguồn dữ liệu khác nhau này. Kho dữ liệu và kho dữ liệu theo chủ đề (Data warehouse và data marts như logistics, marketing,…): sử dụng các công cụ khai phá và chuyển đổi như ETL (Extract – Transform – Load) để lưu trữ các nguồn dữ liệu khác nhau vào một - 12 - CSDL chung nhằm hỗ trợ phân tích kinh doanh. Các CSDL đó thường được gọi là data warehouse và data marts. Các phương pháp BI: dữ liệu được trích xuất, xử lý lần cuối sau đó dùng để phục vụ cho các mô hình toán học và các phương pháp phân tích nhằm hỗ trợ việc ra quyết định.
Trong một hệ thống BI, một số ứng dụng hỗ trợ ra quyết định có thể được thực hiện như: o Phân tích các khối đa chiều (Multidimensional cubes) o Phân tích chuỗi thời gian (Time series) o Khai phá dữ liệu (Data mining) o Mô hình tối ưu hóa (Optimization models) Hình 2. Kiến trúc của BI 2. Phương pháp khai phá luật kết hợp dựa trên thuật toán Apriori 2. Một số khái niệm Cho bảng số liệu A gồm n dòng với N thuộc tính X 1 , X 2 , ., X N , X , Y là hai tập con của X 1 , X 2 ,.
Gọi E X và E Y lần lượt là các biểu thức điều kiện trên X và Y. Tỷ lệ giữa số dòng trong bảng A thoả E X trên tổng số dòng n được gọi là độ phổ biến của E X , ký hiệu Support E X . Độ phổ biến Support E X còn được hiểu là xác suất E X được thoả trong bảng A, ký hiệu P E X . Phép kéo theo logic E X E Y (đọc là “nếu thoả E X thì thoả E Y ”) được gọi là một luật kết hợp (associated rule) trên bảng A.
- 13 - Độ phổ biến của luật kết hợp E X E Y , ký hiệu Support E X E Y , được xác định bởi: Support E X E Y Support E X E Y . Độ tin cậy (confidence), hay xác suất, của luật E X E Y , ký hiệu Conf E X E Y , được xác định bởi xác suất E Y xảy ra với điều kiện E X đã xảy ra: Conf E X E Y P E Y E X P E Y E X P E X Support E X E Y Support E X Nhận xét : với luật d E X E Y , khi Conf d và Support d lớn, ta nói rằng luật d rất đúng, nghĩa là nếu xét một dòng t bất kỳ trong bảng A, nếu t thoả E X thì ta sẽ có cơ may để t thoả E Y là rất lớn, và bởi vì Support d cũng lớn, nên ta có thể dùng luật này như một mô hình dự báo cho các dòng t ở những thể hiện khác của bảng A. Thuật toán tổng quát xác định luật kết hợp Cho bảng dữ liệu A gồm N thuộc tính: X 1 , X 2 ,. x 1m là tập các giá trị rời rạc của X1 ; 1 V2 x 21 x 22 .
x 2m2 là tập các giá trị rời rạc của X 2 ;. x Nm N là tập các giá trị rời rạc của X. N Thuật toán tổng quát để xác định tất cả các luật kết hợp trên A có dạng: Input: - Bảng dữ liệu A. - Các ngưỡng minsupp, minconf: độ phổ biến và độ tin cậy tối thiểu.
Output: - Các luật kết hợp có dạng E X E Y , với X, Y là các tập con của X 1 , X 2 , ., N N , và Conf E X E Y minconf , - 14 - Support E X E Y minsupp. Xử lý: Với mọi X , Y là các tập con của X 1 , X 2 ,. Tính Conf E X E Y , Support E X E Y , với E X và E Y là các biểu thức điều kiện có dạng E X : " X k1 t1 , X k 2 t 2 ,. - Nếu Conf E X E Y minconf và Support E X E Y minsupp thì chọn luật này.
Nhận xét: Khi A có N thuộc tính thì số tập con có thể có là 2N , do đó, số cặp tập con X , Y cần phải xét là 2 2N 2N1. Thuật toán Apriori Input và Output: giống như của thuật toán tổng quát ở 2. Xử lý: Giai đoạn 1: Xác định L là tập các điều kiện phổ biến. Bước 2: Xác định Cp là tập hợp các tập con của I có p phần tử, C p X I, X p.
Nếu Cp thì kết thúc giai đoạn 1 của thuật toán và trả về L.