PHẦN MỞ ĐẦU .4 CHƢƠNG 1 TỔNG QUAN VỀ KHO DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU.1 Kho dữ liệu .1 Định nghĩa kho dữ liệu .2 Đặc tính của kho dữ liệu .3 Mục tiêu của kho dữ liệu .4 Mô hình của kho dữ liệu .5 Kiến trúc của kho dữ liệu.6 Lợi ích của kho dữ liệu .7 Ứng dụng của kho dữ liệu .2 Khai phá dữ liệu .1 Định nghĩa khai phá dữ liệu .2 Quá trình khai phá dữ liệu .3 Kiến trúc hệ thống khai phá dữ liệu .4 Kĩ thuật khai phá dữ liệu .5 Các dạng dữ liệu có thể khai phá .6 Ứng dụng khai phá dữ liệu .3 Kết luận chƣơng 1 .17 CHƢƠNG 2 TÌM HIỂU DB2, INFOSPHERE WAREHOUSE & COGNOS .1 IBM DB2 Express-C.1 Tổng quan về IBM DB2 Express-C .18 Phạm Đức Dũng - HTTT.B - K12 Khóa luận tốt nghiệp Tìm hiểu InfoSphere & Cognos - Ứng dụng khai phá dữ liệu 2.2 Những điểm mới nổi bật của DB2 Express-C .3 Các máy chủ của DB2 .4 Máy khách DB2 .5 Môi trường của DB2 .6 Các công cụ của DB2 .2 IBM InfoSphere Warehouse .1 Tổng quan về InfoSphere Warehouse .2 Các thành phần của InfoSphere Warehouse .3 Kiến trúc cài đặt InfoSphere Warehouse trên nhiều máy tính .4 Khai phá dữ liệu trong InfoSphere Warehouse .3 IBM Cognos Business Intelligence .1 Giới thiệu về IBM Cognos BI .2 Công cụ OLAP của IBM Cognos BI .3 Các chức năng của IBM Cognos BI .4 Chức năng tạo báo cáo .4 Tích hợp KPDL trong InfoSphere Warehouse và tạo báo cáo Cognos .5 Kết luận chƣơng 2 .44 CHƢƠNG 3 ỨNG DỤNG LUẬT KẾT HỢP TRONG BÀI TOÁN PHÂN TÍCH GIỎ HÀNG HÓA .1 Mô tả bài toán .2 Luật kết hợp trong khai phá dữ liệu .1 Khái niệm luật kết hợp .2 Khai phá luật kết hợp .3 Một số thuật toán khai phá luật kết hợp .3 Tạo cơ sở dữ liệu bằng IBM DB2 .4 Thực hiện khai phá dữ liệu bằng IBM InfoSphere Warehouse .1 Kết nối cơ sở dữ liệu .2 Kích hoạt cơ sở dữ liệu .60 Phạm Đức Dũng - HTTT.B - K12 Khóa luận tốt nghiệp Tìm hiểu InfoSphere & Cognos - Ứng dụng khai phá dữ liệu 3.3 Khai phá dữ liệu.4 Tạo thủ tục .5 Tạo báo cáo bằng IBM Cognos .1 Tạo siêu dữ liệu bằng Cognos Framework Manager .2 Đóng gói dữ liệu và xuất bản.3 Tạo một báo cáo Cognos .6 Kết luận chƣơng 3 .89 PHẦN KẾT LUẬN .90 DANH MỤC TÀI LIỆU THAM KHẢO .91 Phạm Đức Dũng - HTTT.B - K12 Khóa luận tốt nghiệp Tìm hiểu InfoSphere & Cognos - Ứng dụng khai phá dữ liệu DANH MỤC CÁC BẢNG, SƠ ĐỒ, HÌNH Bảng 2.1 Các thông tin được mô tả trong nhật kí.1 Một số kí hiệu dùng trong thuật toán Apriori .2 Cấu trúc bảng RETAIL .3 Cấu trúc bảng RETAIL_NAMES .4 Cấu trúc bảng RETAIL_TAX .5 Cấu trúc bảng RETAIL_TAXNAMES .1 Lược đồ dữ liệu hình sao .2 Lược đồ dữ liệu hình bông tuyết .3 Kiến trúc kho dữ liệu .4 Quá trình khai phá dữ liệu .5 Kiến trúc hệ thống khai phá dữ liệu .1 Các ấn bản máy chủ của DB2.2 Các máy khách DB2 và trình điều khiển .3 Môi trường của DB2.4 Các công cụ của DB2 .5 Trung tâm điều khiển của DB2 .6 Cửa sổ nhập lệnh của DB2 .7 Trình trợ giúp SQL Assits Wizard .8 Trung tâm tác vụ Task Center .9 Nhật kí cơ sở dữ liệu.10 Trung tâm tình trạng .11 Kiến trúc thành phần chức năng của InfoSphere Warehouse .12 InfoSphere WarehouseDesign Studio .13 InfoSphere Warehouse Administration Console .14 Các chức năng của Administration Console .15 Kiến trúc InfoSphere cài đặt trên nhiều máy tính .32 Phạm Đức Dũng - HTTT.B - K12 Khóa luận tốt nghiệp Tìm hiểu InfoSphere & Cognos - Ứng dụng khai phá dữ liệu Hình 2.16 Nền tảng duy nhất cho việc ra quyết định .17 Mô hình kiến trúc của IBM Cognos BI .18 Các giải pháp OLAP .19 Giao diện của IBM Cognos BI Manager .20 Giao diện làm việc của Framework Manager .21 Màn hình khởi động của IBM Cognos Report Studio .22 Giao diện làm việc cuả Report Studio .1 Cơ sở dữ liệu DWESAMP trong Control Center của DB2 .2 Danh sách các lược đồ có trong cơ sở dữ liệu DWESAMP .3 Danh sách các bảng có trong cơ sở dữ liệu DWESAMP .4 Các bảng mới được tạo ra .5 Dữ liệu thuộc bảng RETAIL .6 Dữ liệu thuộc các bảng RETAIL_NAMES, RETAIL_TAX và RETAIL_TAXNAMES .7 Giao diện làm việc của Design Studio .8 Cửa sổ New Connection .9 Data Source Explorer .10 Enable the database for Data Mining .11 Data Mining Models .12 Các bảng được tạo ra thuộc lược đồ IDMMX .13 Tạo một dự án Data Warehousing .14 Tạo một luồng khai phá rỗng.15 Bảng Palette chứa các toán tử khai phá .16 Thiết lập các giá trị cài đặt khai phá .17 Thiết lập các ánh xạ tên .18 Thiết lập thuộc tính của các cột .19 Luồng khai phá hoàn chỉnh .20 Luồng khai phá bên trong Design Studio .21 Kết quả thực thi luồng khai phá .68 Phạm Đức Dũng - HTTT.B - K12 Khóa luận tốt nghiệp Tìm hiểu InfoSphere & Cognos - Ứng dụng khai phá dữ liệu Hình 3.22 Các quy luật kết hợp .23 Bảng RETAIL_RULES lưu trữ trong CSDL DWESAMP .24 Tạo dự án Data Development .25 Lựa chọn kết nối CSDL .26 Tạo một thủ tục mới .27 Định nghĩa tham số đầu vào .28 Sinh câu lệnh SQL của luồng khai phá .29 Trang soạn thảo thủ tục .30 Thủ tục đã được triển khai tới cơ sở dữ liệu.31 Lựa chọn nguồn cho siêu dữ liệu .32 Lựa chọn các đối tượng làm siêu dữ liệu .33 Định nghĩa mối quan hệ giữa các bảng .34 Định nghĩa tham số đầu vào của thủ tục .35 Lựa chọn các tập hàm có sẵn .36 Xuất bản gói phần mềm .37 Lựa chọn gói phần mềm cần tạo báo cáo .38 Trang soạn thảo của Report Studio .40 Trang soạn thảo của Report Studio .41 Chọn tham số đầu vào .42 Báo cáo các luật kết hợp .43 Thực hiện truy vấn ngược.44 Định nghĩa truy vấn ngược .45 Định nghĩa giá trị của tham số truyền vào.46 Báo cáo doanh thu sau khi thực hiện truy vấn ngược .47 Nhập giá trị cho tham số .88 Phạm Đức Dũng - HTTT.B - K12 Khóa luận tốt nghiệp Tìm hiểu InfoSphere & Cognos - Ứng dụng khai phá dữ liệu KÍ HIỆU CÁC CỤM TỪ VIẾT TẮT Tên viết tắt Diễn giải BI Bussiness Intelligence - Kinh doanh thông minh Ck Candidate sets - Tập các k-itemset ứng viên conf Confidence - Độ tin cậy CSDL Cơ sở dữ liệu D Cơ sở dữ liệu giao dịch Di Phần tử thứ I của cơ sở dữ liệu D EIS Executive Information System - Hệ thống thông tin điều hành ERP Enterprise Resource Planning - Kế hoạch hóa nguồn lực doanh nghiệp IDE Integrated development environment - Môi trường phát triển tích hợp ISVs Independent software vendor - Các nhà cung cấp phần mềm độc lập IT Information technology - Công nghệ thông tin Item Tập mục k-itemset Tập mục gồm k mục KPDL Khai phá dữ liệu Lk Tập các k-itemset phổ biến minconf Minimum confidence - Độ tin cậy tối thiểu minsup Minimun support - Độ hỗ trợ tối thiểu OLAP Online Analytical Processing - Xử lý phân tích trực tuyến OLTP Online transaction processing - Xử lý giao dịch trực tuyến SOA Service-oriented architecture - Kiến trúc hướng dịch vụ sup Support - Độ hỗ trợ T Transaction - Giao dịch X⟹Y Luật kết hợp (X là tiền đề, Y là hệ quả) Phạm Đức Dũng - HTTT.B - K12 Khóa luận tốt nghiệp Tìm hiểu InfoSphere & Cognos - Ứng dụng khai phá dữ liệu CHƢƠNG 1 TỔNG QUAN VỀ KHO DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU Tóm tắt nội dung: Mục tiêu của chương này nhằm trình bày những kiến thức tổng quan về kho dữ liệu và khai phá dữ liệu. Giúp chúng ta có cái nhìn bao quát trước khi nghiên cứu các chương sau.1 Kho dữ liệu 1.1 Định nghĩa kho dữ liệu Kho dữ liệu (Data Warehouse) là kho lưu trữ dữ liệu bằng thiết bị điện tử của một tổ chức. Các kho dữ liệu được thiết kế để hỗ trợ việc phân tích dữ liệu và lập báo cáo. Định nghĩa cổ điển này về kho dữ liệu tập trung vào việc lưu trữ dữ liệu.
Tuy nhiên, các thành phần cho việc lấy và phân tích, trích rút, biến đổi, nạp dữ liệu, và quản lý dữ liệu cũng được coi là các thành phần cốt yếu của một hệ thống kho dữ liệu. Một cách cơ bản, kho dữ liệu cung cấp dữ liệu có tính lịch sử cho các ứng dụng hỗ trợ quyết định. Những ứng dụng như vậy bao gồm báo cáo, xử lý phân tích trực tuyến (OLAP - Online Analytical Processing), hệ thống thông tin điều hành (EIS - Executive Information System) và khai thác dữ liệu. Định nghĩa do W.
Inmon đề xướng: Kho dữ liệu (Data Warehouse) được hiểu là một tập hợp các dữ liệu tương đối ổn định, cập nhật theo thời gian, được tích hợp theo hướng chủ đề nhằm hỗ trợ quá trình tạo quyết định về mặt quản lý.2 Đặc tính của kho dữ liệu 1.1 Hƣớng chủ đề Dữ liệu được tổ chức theo các chủ đề phục vụ cho tổ chức dễ dàng xác định được những thông tin cần thiết trong từng hoạt động của mình. Ví dụ trong doanh nghiệp, kho dữ liệu được tổ chức thành các chủ để như khách hàng, sản phẩm, bán hàng,. Tuy nhiên, kho dữ liệu khác các CSDL thông thường là chỉ lưu các dữ liệu có tính tổng hợp, tập trung vào việc mô hình hóa và phân tích dữ liệu để phục vụ cho quá trình phân Phạm Đức Dũng - HTTT.B - K12 Trang 1/92 Khóa luận tốt nghiệp Tìm hiểu InfoSphere & Cognos - Ứng dụng khai phá dữ liệu tích và hỗ trợ ra quyết định chứ không tập trung vào các hoạt động hay các xử lý giao dịch hàng ngày. Kho dữ liệu cung cấp một khung nhìn đơn giản và súc tích xung quanh các sự kiện của các chủ đề.2 Tích hợp Khái niệm tích hợp có nghĩa là kho dữ liệu có khả năng thu thập dữ liệu từ nhiều nguồn dữ liệu đa dạng như cơ sở dữ liệu quan hệ, các tập tin dạng văn bản, các bảng ghi giao dịch trực tuyến,.
và trộn ghép với nhau tạo thành một thể thống nhất. Việc tích hợp dữ liệu có tác dụng đảm bảo sự đồng nhất trong các quy ước đặt tên, cấu trúc mã hóa, đơn vị đo, thuộc tính,…giữa các nguồn dữ liệu khác nhau.3 Bền vững Kho dữ liệu là một lưu trữ vật lý của dữ liệu được chuyển đổi từ môi trường tác nghiệp. Dữ liệu trong kho là dữ liệu chỉ đọc và chỉ có thể tra cứu, không được sửa đổi bởi người sử dụng cuối. Kho dữ liệu chỉ cho phép người dùng nạp thêm dữ liệu vào và truy cập tới các vùng trong nó.