Đặt vấn đề Trong thời đại của nền kinh tế tri thức mà chúng ta đang sống, mọi hoạt động của chúng ta muốn đạt hiệu quả cao thì nhất thiết phải có được thông tin, tri thức cần thiết một cách nhanh chóng và chính xác. Thông tin có thể có được ở mọi nơi, mọi thời điểm và từ nhiều dạng khác nhau. Mục tiêu của các tổ chức, các xí nghiệp là phải phục vụ tốt theo yêu cầu của khách hàng, giành được ưu thế trong cạnh tranh để phát triển. Để có thể quản lý được các hoạt động của xí nghiệp, người quản lý không chỉ cần biết cái gì đang xảy ra mà còn phải biết được lý do tại sao.
Trong giai đoạn xử lý dữ liệu tự động nhờ những kỹ thuật của công nghệ thông tin, các xí nghiệp đã xây dựng được nhiều ứng dụng để trả lời nhanh các câu hỏi "Những cái gì đã xảy ra?". Các hệ thống thông tin hiện tại sẽ giúp cho các nhà quản lý hiểu được "tại sao những điều đó lại xảy ra?" và để giành được lợi thế trong cạnh tranh, đáp ứng yêu cầu thay đổi thường xuyên của người sử dụng thì các xí nghiệp phải đoán biết được "Những gì có thể sẽ xảy ra tiếp theo?". Để có thể trả lời những câu hỏi trên thì cần có các phương pháp, công cụ để tổ chức, xử lý khai thác tốt dữ liệu. Những mục tiêu trên không dễ gì có được bởi vì dữ liệu ngày một nhiều, lưu trữ ở nhiều dạng không tương thích với nhau, thậm chí còn ở những dạng phi cấu trúc.
Người sử dụng thường xuyên gặp phải những khó khăn như: không tìm thấy hoặc không lấy ra được dữ liệu cần thiết, không thể hiểu và sử dụng được dữ liệu tìm thấy, tổng hợp dữ liệu rất khó khăn và chậm chạm, mất nhiều thời gian, v. Ngày nay, Internet đã mở ra nhiều khả năng và triển vọng cho các doanh nghiệp, cung cấp cho chúng ta nhiều phạm trù thông tin phong phú, rất cần thiết cho các hoạt động. WWW cung cấp đủ các thông tin về mọi lĩnh vực của xã hội loài người, từ các công trình nghiên cứu, kết quả học tập, thông tin quảng cáo, du lịch, thương mại điện tử,v.Tuy nhiên, một vấn đề đặt ra là làm thế nào để tổ chức, khai thác được những khối lượng dữ liệu khổng lồ và đa dạng đó. Sự phát triển nhanh chóng của Internet không chỉ cung cấp cho chúng ta một lượng thông tin khổng lồ mà Internet ngày càng gắn liền với nhiều hoạt LUAN VAN CHAT LUONG download - 6 - : add luanvanchat@agmail.com động của con người.
Rất nhiều hoạt động của chúng ta có thể thực hiện được một cách thuận tiện và nhanh chóng hơn thông qua Internet. Thương mại điện tử là một trong những hoạt động điển hình. Việc mua bán, trao đổi hàng hoá và nhiều dịch vụ khác được thực hiện trên Internet đã đem lại rất nhiều thuận tiện cho cả người mua và người bán. Hoạt động này đã và đang phát triển trên thế giới và chắc chắn sẽ phát triển mạnh mẽ tại Việt Nam trong một tương lai không xa.
Qua thực tế nhận thấy cần phải có một công nghệ cơ sở dữ liệu mới nhằm giải quyết được những bất cập mà phương pháp truyền thống hiện tại không thoả mãn được. Công nghệ mới này không chỉ đáp ứng được các nhu cầu của người dùng mà còn đòi hỏi phải tạo ra một môi trường dùng chung, tích hợp được các hệ thống CSDL đã có. Xuất phát từ những đặc điểm chung và tính thời sự nêu trên, tôi đã chọn đề tài "Xử lý phân tích trực tuyến OLAP và ứng dụng trong khai thác kho dữ liệu" mong được đóng góp một phần nhỏ bé trong việc nghiên cứu giải pháp tích hợp dữ liệu từ nhiều nguồn khác nhau về lưu trữ trong một kho dữ liệu và sử dụng công cụ xử lý phân tích trực tuyến OLAP để khai thác thông tin một cách có hiệu quả và nhanh chóng, trợ giúp các nhà quản lý, các nhà lãnh đạo đưa ra những quyết định đúng đắn, kịp thời cho các chiến lược phát triển của họ. Mục tiêu của luận văn Mục tiêu của đề tài là nghiên cứu công nghệ kho dữ liệu và xử lý phân tích trực tuyến OLAP để khai thác kho nhằm cung cấp thông tin nhanh chóng và chính xác cho các nhà lãnh đạo và quản lý, bao gồm các vấn đề chính sau đây: - Nghiên cứu công nghệ kho dữ liệu, giải pháp tích hợp và tận dụng các nguồn dữ liệu có sẵn để tạo thành kho, các khái niệm cơ bản của kho dữ liệu, các kiểu dữ liệu, mô hình và kiến trúc kho dữ liệu.
- Nghiên cứu một phương pháp khai thác kho dữ liệu - xử lý phân tích trực tuyến OLAP, sử dụng mô hình khối dữ liệu đa chiều để xây dựng và lưu trữ dữ liệu đã được tổng hợp phục vụ cho việc khai thác được nhanh chóng và thuận tiện. LUAN VAN CHAT LUONG download - 7 - : add luanvanchat@agmail.com - Ứng dụng lý thuyết đã nghiên cứu để xây dựng kho dữ liệu thương mại điện tử và các khối dữ liệu đa chiều để phân tích, xử lý và lưu trữ các dữ liệu tổng hợp, phục vụ cho việc khai thác thông tin nhanh chóng và hiệu quả. - Nghiên cứu cách khai thác thông tin trong khối dữ liệu đa chiều bằng cách tạo lập và thực hiện truy vấn trên khối; hiển thị kết quả phân tích dưới nhiều hình thức trực quan, sinh động, uyển chuyển nhằm hỗ trợ có hiệu quả cho công tác quản lý, điều hành của ban lãnh đạo. Bố cục của luận văn Luận văn gồm 4 chương: Chƣơng 1: Trình bày khái quát chung về công nghệ kho dữ liệu: các khái niệm cơ bản, các kiểu dữ liệu, kiến trúc và mô hình kho dữ liệu.
Chƣơng 2: Trình bày một công cụ khai thác kho dữ liệu - xử lý phân tích trực tuyến OLAP: khái niệm chung về OLAP, mô hình và kiến trúc khối OLAP, sự phân loại OLAP. Chƣơng 3: Giới thiệu khái quát hệ thống thương mại điện tử, tìm hiểu yêu cầu, phân tích, thiết kế kho dữ liệu thương mại điện tử; đưa ra giải pháp và giới thiệu công cụ để xây dựng và khai thác kho dữ liệu. Chƣơng 4: Trình bày các bước thực hiện việc xây dựng, cài đặt kho dữ liệu và tạo dựng khối OLAP nhờ công cụ Enterprise Manager và Analysis Services được tích hợp trong Microsoft SQL Server 2000; khai thác và hiển thị dữ liệu của khối bằng MDX và OLAPBrowserPro. LUAN VAN CHAT LUONG download - 8 - : add luanvanchat@agmail.com CHƢƠNG 1.
KHO DỮ LIỆU 1.1 TỔNG QUAN VỀ KHO DỮ LIỆU (DATAWAREHOUSE) 1.1 Sự ra đời và phát triển công nghệ kho dữ liệu Ngày nay thông tin đóng vai trò rất quan trọng trong môi trường nghiệp vụ, sự thành công hay thất bại của nghiệp vụ liên quan đến việc có thể sử dụng hiệu quả thông tin được hay không. Sự thay đổi nhanh chóng trong môi trường hoạt động nghiệp vụ đòi hỏi phải truy cập được ngay thông tin cần thiết. Rất ít tổ chức có đủ lượng thông tin cần thiết, thậm chí vẫn thiếu những thông tin cơ bản nhất, mặc dù họ đang “chìm ngập trong dữ liệu”. Vấn đề đặt ra là làm thế nào để có được những thông tin cần thiết từ các dữ liệu đó? Trước hết, chúng ta cần phân biệt được điểm khác biệt cơ bản giữa dữ liệu và thông tin.
Dữ liệu bao gồm các sự kiện, văn bản đồ hoạ, âm thanh, đoạn phim có một giá trị nào đó đối với người sử dụng chúng và được lưu trữ xử lý trong máy tính. Thông tin là dữ liệu đã được xử lý theo cách mà chúng ta có thể làm tăng hàm lượng tri thức cho người sử dụng nó [5]. Do các doanh nghiệp tự chuyển đổi để có thể cạnh tranh trong môi trường biến đổi liên tục, thế giới thông tin trong con mắt những nhà quản lý và lãnh đạo cũng thay đổi theo. Trong thế giới thực, các ranh giới luôn biến đổi, bị xoá bỏ và xây dựng lại.
Trước kia mục tiêu chính là phân lớp, cấu trúc thì ngày nay là tính năng động, chuyển đổi. Cùng với sự phát triển của công nghệ thông tin, các hệ thống tác nghiệp ngày càng phát triển cả về chất lượng và số lượng, hỗ trợ đắc lực trong công tác quản lý và điều hành trên từng lĩnh vực khác nhau. Mỗi hệ thống được xây dựng độc lập trên một lĩnh vực, phục vụ một mục đích nào đó của người sử dụng. Trong các hệ thống đó, đa phần cơ sở dữ liệu (CSDL) được lưu trữ dưới dạng mô hình CSDL quan hệ và dữ liệu không được lưu trữ dưới dạng tổng hợp.
Một thực tế đặt ra và cũng là một bức xúc của người lãnh đạo là khi lượng thông tin lưu trữ ngày càng lớn nhưng sự phát triển lại theo những chủ đề, những lĩnh vực rất khác nhau nên gây ra nhiều khó khăn trong công tác phân tích, tổng hợp số liệu hỗ trợ kịp thời trong công tác quản lý và điều hành. Thông LUAN VAN CHAT LUONG download - 9 - : add luanvanchat@agmail.com tin quản lý cung cấp đến lãnh đạo từ nhiều nguồn khác nhau, có khi cùng một chỉ tiêu qua mỗi bộ phận xử lý lại cho những kết quả hoàn toàn trái ngược nhau gây khó khăn cho các nhà lãnh đạo trong việc đưa ra các quyết định một cách kịp thời. Dữ liệu lưu trữ trong các CSDL thường theo hạn định nên thường không có tính lịch sử, gây ra nhiều khó khăn trong việc đối chiếu, so sánh số liệu, từ đó đưa ra các đánh giá đúng sự phát triển và kịp thời để có những điều chỉnh hoặc bổ sung kế hoạch. Như vậy, vấn đề đặt ra đòi hỏi phải có một mô hình dữ liệu nào đó cho phép lưu trữ dữ liệu lớn có tính lịch sử và theo thời gian; đồng thời, cung cấp phương pháp truy nhập nhanh, phân tích dữ liệu theo nhiều chiều khác nhau sẵn sàng đáp ứng những câu hỏi theo bất kỳ tình huống nào của người lãnh đạo.
Việc xây dựng lại từ đầu một ứng dụng để đáp ứng được yêu cầu trên là không đơn giản và khó chấp nhận vì dữ liệu hiện tại đã có và đang trợ giúp hoạt động quản lý trên nhiều lĩnh vực vì vậy cần có một công nghệ nào đó ra đời đáp ứng được yêu cầu trên đồng thời sử dụng lại được số liệu của các CSDL sẵn có để kết hợp lại thành một kho dữ liệu mang tính chiến lược, trở thành tài sản quý báu của doanh nghiệp.