Chương 1: Nội dung chủ yếu giới thiệu lý thuyết chung về kho dữ liệu - phƣơng pháp tổ chức, thiết kế CSDL và xây dựng kho dữ liệu. Nhấn mạnh trong việc thiết kế CSDL vật lý của kho dữ liệu bằng việc sử dụng thuật toán A* và các luật của Thumb để chọn khung nhìn và chỉ số tối ƣu việc bảo trì kho dữ liệu. Chương 2: Trình bày về mô hình dữ liệu đa chiều và các dạng chuẩn dữ liệu đa chiều trong mô hình CSDL đa chiều sử dụng trong OLAP. Chương 3: Trình bày những lý thuyết cơ bản về công nghệ OLAP trong việc hỗ trợ ra quyết định, cách tổ chức lƣu trữ dữ liệu, việc chỉ số hóa khung nhìn để tối ƣu tốc độ truy vấn.
Chương 4: Xây dựng một ứng dụng sử dụng các công cụ và công nghệ của Oracle nhằm mô tả cho việc ứng dụng công nghệ OLAP trong việc hỗ trợ ra quyết định. TIEU LUAN MOI download : skknchat@gmail.com 7 CHƢƠNG I – KHO DỮ LIỆU Các doanh nghiệp, tổ chức kinh tế - xã hội đều đang phải đối đầu với sự thay đổi của thị trƣờng, sự thay đổi hoàn thiện của các chính sách kinh tế xã hội. Để có thể đƣa ra một quyết định đúng đắn, trƣớc hết phải có khả năng nhanh chóng truy nhập đƣợc tới các thông tin mà doanh nghiệp, tổ chức có sẵn. Đối với một doanh nghiệp, tổ chức, muốn có một quyết định đúng đắn, cần nghiên cứu cả những dữ liệu trong quá khứ và hiện tại, nhằm phân tích và xác định ra các xu hƣớng có thể ở hiện tại và tƣơng lai.
Để phục vụ phân tích dữ liệu cần đƣợc tập trung lại và do đó sẽ tạo ra những CSDL khổng lồ. Cách tổ chức dữ liệu có hiệu quả nhất để trợ giúp nhu cầu truy nhập thông tin hỗ trợ ra quyết định là tổ chức thành các kho dữ liệu. Khái niệm kho dữ liệu 1.1 Định nghĩa kho dữ liệu Kho dữ liệu (Data warehouse-DW) là một tập hợp các CSDL tích hợp, hướng chuyên đề, được thiết kế cho việc truy vấn và phân tích hơn là xử lý giao dịch để hỗ trợ cho chức năng trợ giúp quyết định, mà mỗi đơn vị dữ liệu đều liên quan tới một khoảng thời gian cụ thể [2]. Kích thƣớc của kho dữ liệu thƣờng rất lớn, đƣợc tổ chức, lƣu trữ và phân tích phục vụ cho việc cung cấp các thông tin liên quan đến nghiệp vụ của tổ chức.
Kho dữ liệu phục vụ cho việc phân tích với kết quả mang tính thông tin cao. Các hệ thống thông tin thu thập, xử lý dữ liệu loại này còn gọi là hệ xử lý phân tích trực tuyến - OLAP. Một kho lƣu trữ dữ liệu thƣờng đƣợc sử dụng nhƣ là các thông tin cơ sở cho một hệ thống hỗ trợ quyết định. Nó đƣợc thiết kế để khắc phục những vấn đề vấp phải khi một doanh nghiệp hay tổ chức cố gắng thực hiện chiến lƣợc phân tích có sử dụng cùng CSDL mà đƣợc sử dụng cho xử lý giao dịch trực tuyến - OLTP 1.2 Đặc điểm dữ liệu của kho dữ liệu 1.1 Dữ liệu hướng chuyên đề Kho dữ liệu đƣợc thiết kế để giúp cho việc phân tích dữ liệu.
Ví dụ để biết nhiều hơn về dữ liệu bán hàng của tổ chức, doanh nghiệp có thể xây dựng một kho dữ liệu tập trung vào chuyên đề bán hàng. Sử dụng kho dữ liệu này có thể trả lời đƣợc các TIEU LUAN MOI download : skknchat@gmail.com 8 câu hỏi có liên quan đến bán hàng nhƣ: “Khu vực nào tiêu thụ sản phẩm là Video nhiều nhất trong quí I năm 2003”. Đây là khả năng cho phép định nghĩa kho dữ liệu theo các chuyên đề, tạo ra kho dữ liệu hƣớng chuyên đề.2 Dữ liệu có tính tích hợp Tính tích hợp thể hiện ở chỗ: dữ liệu tập hợp trong kho dữ liệu đƣợc thu thập từ nhiều nguồn và trộn ghép với nhau tạo thành một thể thống nhất. Một kho dữ liệu là một khung nhìn thông tin mức toàn tổ chức, doanh nghiệp, thống nhất các khung nhìn khác nhau thành một khung nhìn của một vùng chuyên đề.
Ví dụ, hệ thống OLTP truyền thống đƣợc xây dựng trên một vùng nghiệp vụ. Một hệ thống bán hàng và một hệ thống tiếp thị có thể có chung một dạng thông tin về khách hàng, nhƣng các vấn đề về tài chính cần một khung nhìn khác cho thông tin về khách hàng. Một kho dữ liệu sẽ có một khung nhìn toàn thể về một khách hàng. Khung nhìn đó bao gồm các phần dữ liệu khác nhau từ tài chính và tiếp thị.3 Dữ liệu chỉ đọc, không biến động Dữ liệu trong kho dữ liệu là dữ liệu chỉ đọc và chỉ có thể đƣợc kiểm tra, không đƣợc sửa đổi bởi ngƣời sử dụng cuối.
Thông tin trong kho dữ liệu đƣợc tải vào sau khi dữ liệu trong hệ thống điều hành đƣợc cho là quá cũ. Không biến động thể hiện ở chỗ: dữ liệu đƣợc lƣu trữ lâu dài trong kho dữ liệu. Mặc dù có thêm dữ liệu mới nhập vào nhƣng dữ liệu cũ trong kho vẫn không bị xoá, điều đó cho phép cung cấp thông tin về một khoảng thời gian dài, cung cấp đủ số liệu cần thiết cho các mô hình nghiệp vụ phân tích, thống kê, dự báo.4 Dữ liệu gắn với thời gian và có tính lịch sử Một kho chứa dữ liệu bao hàm một khối lƣợng lớn dữ liệu lịch sử. Dữ liệu đƣợc lƣu trữ thành một loạt các bản sao, mỗi bản ghi phản ánh những giá trị của dữ liệu tại một thời điểm nhất định thể hiện một khung nhìn của một vùng chuyên đề trong một giai đoạn.
Do vậy cho phép khôi phục lại lịch sử và so sánh một cách chính xác các giai đoạn khác nhau. Yếu tố thời gian đóng vai trò nhƣ một phần của khoá để bảo đảm tính đơn nhất của mỗi hàng và cung cấp đặc trƣng về thời gian cho dữ liệu. TIEU LUAN MOI download : skknchat@gmail.5 Dữ liệu tổng hợp và chi tiết Dữ liệu chi tiết là thông tin mức thấp nhất đƣợc lƣu trữ trong kho dữ liệu. Dữ liệu tác nghiệp là thông tin mức thấp nhất của tổ chức, doanh nghiệp.
Dữ liệu tác nghiệp thuần tuý không đƣợc lƣu trữ trong kho dữ liệu. Dữ liệu tổng hợp là dữ liệu đƣợc gộp lại qua nhiều giai đoạn khác nhau. Các dữ liệu tổng hợp mang thông tin tổng hợp ở mức cao.3 Kho dữ liệu và hệ xử lý giao dịch trực tuyến Dữ liệu phát sinh từ các hoạt động hàng ngày đƣợc thu thập, xử lý để phục vụ công việc nghiệp vụ cụ thể của một tổ chức thƣờng đƣợc gọi là dữ liệu tác nghiệp và hoạt động thu thập xử lý loại dữ liệu này đƣợc gọi là xử lý giao dịch trực tuyến (Online Transaction Processing - OLTP).1 Đặc điểm của hệ thống OLPT Các hệ thống OLTP có các đặc điểm sau: - Trợ giúp nhiều ngƣời sử dụng đồng thời trong việc thêm và sửa đổi dữ liệu. - Diễn tả trạng thái thay đổi bắt buộc của tổ chức nhƣng không lƣu lại lịch sử.
- Chứa đựng những số lƣợng lớn các dữ liệu, bao gồm dữ liệu tổng quát để kiểm soát sự thực hiện. - Đƣợc điều chỉnh để đáp ứng nhanh tới sự thực hiện tích cực. - Cung cấp cơ sở hạ tầng công nghệ để trợ giúp các thao tác thƣờng ngày của một tổ chức. Chính từ những đặc điểm này, nếu chúng ta sử dụng CSDL xử lý giao dịch trực tuyến cho phân tích trực tuyến thì thƣờng gặp những khó khăn sau: - Các yêu cầu phân tích, tổng kết những khối lƣợng lớn dữ liệu, ảnh hƣởng tới khả năng của hệ thống.
- Sự thực hiện của hệ thống khi đáp ứng những yêu cầu phân tích phức tạp có thể chậm hoặc không ổn định, cung cấp sự hỗ trợ không đầy đủ cho những ngƣời sử dụng trong phân tích trực tuyến. - Sự thay đổi dữ liệu thƣờng xuyên gây trở ngại cho tính tin cậy của thông tin phân tích. - An ninh trở nên phức tạp hơn khi sự phân tích trực tuyến đƣợc kết hợp với xử lý giao dịch trực tuyến TIEU LUAN MOI download : skknchat@gmail.2 Sự khác nhau giữa kho dữ liệu và OLTP Kho dữ liệu và hệ OLTP xây dựng phục vụ cho nhu cầu khác nhau. Sự khác nhau cơ bản giữa hai hệ thống này là dạng chuẩn của dữ liệu, kho dữ liệu thƣờng không sử dụng dạng chuẩn 3NF, còn trong các hệ thống OLTP thƣờng sử dụng chuẩn 3NF.
Sau đây là sự khác nhau tiêu biểu giữa kho dữ liệu và các hệ thống OLTP [9]: Kho dữ liệu OLTP Công Kho dữ liệu đƣợc thiết kế để phù Các hệ thống OLTP chỉ hỗ trợ cho các việc hợp với các truy vấn đặc biệt. thao tác sử dụng đã đƣợc định nghĩa thực Ngƣời dùng không cần quan tâm trƣớc. Các ứng dụng có thể đƣợc thiết hiện đến khối lƣợng công việc thực hiện kế chỉ hỗ trợ các thao tác đó. của kho nhƣ thế nào, vì vậy kho dữ liệu phải đƣợc tối ƣu cho các khả năng thao tác truy vấn đa dạng và phong phú Sửa đổi Kho dữ liệu đƣợc cập nhật định kỳ, Trong các hệ thống OLTP, ngƣời sử dữ liệu thƣờng xuyên qua các công cụ dụng cuối thƣờng đƣa ra các thông báo chuyển đổi sử dụng các kỹ thuật sửa đổi dữ liệu cá nhân của mình trong sửa đổi trên dữ liệu lớn, dữ liệu CSDL.Cơ sở dữ liệu OLTP luôn đƣợc gộp.
Ngƣời sử dụng cuối không cập nhật, phản ánh trạng thái hiện tại trực tiếp cập nhật dữ liệu. của mỗi giao dịch nghiệp vụ Thiết Các kho dữ liệu thƣờng đƣợc thiết Các hệ thống OLTP thƣờng sử dụng kế lƣợc kế phi chuẩn hoặc các lƣợc đồ cục lƣợc đồ chuẩn hoá cho toàn bộ hệ đồ bộ đƣợc phi chuẩn nhằm để tối ƣu thống để tối ƣu thực hiện các công việc tốc độ thực hiện truy vấn dữ liệu cập nhật hàng ngày và đảm bảo tính kiên định của dữ liệu Thao Một truy vấn tiêu biểu trong kho dữ Một thao tác OLTP chỉ truy nhập đến tác tiêu liệu quét qua hàng ngàn hoặc hàng một nhóm ít các bản ghi dữ liệu biểu triệu bản ghi dữ liệu Dữ liệu Các kho dữ liệu thƣờng lƣu dữ liệu Các hệ rhống OLTP thuờng chỉ lƣu dữ lịch sử nhiều tháng, năm phục vụ cho việc liệu hiện hành của vài tuần, tháng, năm phân tích số liệu lịch sử phục vụ cho xử lý giao dịch hiện tại TIEU LUAN MOI download : skknchat@gmail. Kiến trúc và các thành phần cấu thành kho dữ liệu 2.1 Kiến trúc kho dữ liệu Các kho dữ liệu và các kiến trúc kho không phải luôn luôn là giống nhau mà phụ thuộc vào hoàn cảnh cụ thể của tổ chức, doanh nghiệp.