Xử Lý Phân Tích Trực Tuyến OLAP và Ứng Dụng Trong Khai Thác Kho Dữ Liệu

Luận văn thạc sĩ kỹ thuật phân tích xử lý phân tích trực tuyến olap và ứng dụng trong khai thác kho dữ liệu luận văn ths công nghệ, đánh giá thực trạng, chỉ ra hạn chế, đề xuất

• Tác giả: Trần Thị Thúy Nga
• Người hướng dẫn: PGS.TS Đoàn Văn Ban
• Trường học: Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Xử Lý Phân Tích Trực Tuyến OLAP và Ứng Dụng Trong Khai Thác Kho Dữ Liệu
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2007
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• CÁC THUẬT NGỮ VIẾT TẮT
• MỞ ĐẦU
• 1. CHƯƠNG 1: KHO DỮ LIỆU
• 1.1. TỔNG QUAN VỀ KHO DỮ LIỆU (DATAWAREHOUSE)
• 1.1.1. SỰ RA ĐỜI VÀ PHÁT TRIỂN CÔNG NGHỆ KHO DỮ LIỆU
• 1.1.2. KHO DỮ LIỆU LÀ GÌ?
• 1.1.3. MÔ HÌNH CHUNG CỦA CÔNG NGHỆ KHO DỮ LIỆU
• 1.1.4. ĐẶC TÍNH CỦA DỮ LIỆU TRONG KHO DỮ LIỆU
• 1.1.5. PHÂN BIỆT DW VỚI NHỮNG HỆ CƠ SỞ DỮ LIỆU TÁC NGHIỆP
• 1.1.6. MỘT SỐ KHÁI NIỆM CƠ BẢN
• 1.1.6.1. KHO DỮ LIỆU CỤC BỘ - DATAMART
• 1.1.6.2. KHO DỮ LIỆU TÁC NGHIỆP, CƠ SỞ DỮ LIỆU THAO TÁC
• 1.1.6.3. KHO DỮ LIỆU ẢO
• 1.2. CÁC KIỂU DỮ LIỆU
• 1.2.1. DỮ LIỆU NGHIỆP VỤ
• 1.2.2. DỮ LIỆU NGHIỆP VỤ PHI CẤU TRÚC
• 1.2.3. SIÊU DỮ LIỆU (METADATA)
• 1.3. KIẾN TRÚC DỮ LIỆU DW
• 1.3.1. KIẾN TRÚC THAM CHIẾU CƠ BẢN VÀ MỘT SỐ NGUYÊN LÝ HOẠT ĐỘNG CỦA KHO DỮ LIỆU
• 1.3.1.1. KHỐI CÁC NGUỒN DỮ LIỆU
• 1.3.1.2. KHỐI TẠO DỰNG KHO DỮ LIỆU
• 1.3.1.3. KHỐI TẠO DỰNG DATA MART
• 1.3.1.4. KHỐI TRUY NHẬP VÀ SỬ DỤNG
• 1.3.1.5. LỚP QUẢN LÝ DỮ LIỆU
• 1.3.1.6. LỚP QUẢN LÝ SIÊU DỮ LIỆU
• 1.3.1.7. LỚP CHUYỂN TẢI DỮ LIỆU
• 1.3.1.8. LỚP KẾT CẤU HẠ TẦNG
• 1.3.2. KIẾN TRÚC LOGIC CỦA DW
• 1.4. MÔ HÌNH DỮ LIỆU
• 1.4.1. NỀN TẢNG CỦA VIỆC HÌNH THÀNH MÔ HÌNH
• 1.4.2. SƠ ĐỒ HÌNH SAO - STAR SCHEMA
• 1.4.3. SƠ ĐỒ HÌNH TUYẾT RƠI - SNOWFLAKE
• 1.5. KẾT LUẬN CHƯƠNG 1
• 2. CHƯƠNG 2: XỬ LÝ PHÂN TÍCH TRỰC TUYẾN OLAP
• 2.1. TỔNG QUAN VỀ XỬ LÝ PHÂN TÍCH TRỰC TUYẾN
• 2.2. ĐỊNH NGHĨA OLAP
• 2.3. MÔ HÌNH CƠ SỞ DỮ LIỆU DẠNG KHỐI
• 2.3.1. ĐỊNH NGHĨA KHỐI
• 2.3.2. KHOÁ CỦA KHỐI
• 2.3.3. HIỂN THỊ KHỐI TRÊN MÀN HÌNH MÁY TÍNH
• 2.4. KIẾN TRÚC KHỐI OLAP
• 2.5. SỰ PHÂN LOẠI OLAP
• 2.6. KẾT LUẬN CHƯƠNG 2
• 3. CHƯƠNG 3: PHÂN TÍCH THIẾT KẾ KHO DỮ LIỆU THƯƠNG MẠI ĐIỆN TỬ
• 3.1. GIỚI THIỆU CHUNG VỀ HỆ THỐNG THƯƠNG MẠI ĐIỆN TỬ
• 3.1.1. CÁC THÀNH PHẦN CHÍNH CỦA HỆ THỐNG THƯƠNG MẠI ĐIỆN TỬ
• 3.2. PHƯƠNG PHÁP LUẬN XÂY DỰNG KHO DỮ LIỆU
• 3.2.1. PHƯƠNG PHÁP LUẬN CHUNG
• 3.2.2. PHƯƠNG PHÁP THIẾT KẾ TRUYỀN THỐNG
• 3.2.3. PHÂN TÍCH CÓ CẤU TRÚC
• 3.2.4. PHƯƠNG PHÁP LUẬN XÂY DỰNG KHO DỮ LIỆU
• 3.2.4.1. XÁC ĐỊNH CÁC YÊU CẦU
• 3.2.4.2. GIAI ĐOẠN MÔ TẢ
• 3.2.4.3. GIAI ĐOẠN XÂY DỰNG KHO
• 3.2.4.4. GIAI ĐOẠN NHẬP VÀ QUẢN TRỊ DỮ LIỆU
• 3.3. ĐÔI NÉT VỀ CÔNG CỤ THỰC HIỆN
• 3.3.1. HỆ QUẢN TRỊ CSDL SQL SERVER
• 3.3.2. BỘ CÔNG CỤ MICROSOFT SQL SERVER
• 3.3.3. NGÔN NGỮ TRUY VẤN ĐA CHIỀU MDX
• 3.3.3.1. KHÁI QUÁT CHUNG
• 3.3.3.2. SO SÁNH SỰ KHÁC NHAU GIỮA NGÔN NGỮ SQL VÀ NGÔN NGỮ MDX
• 3.4. PHÂN TÍCH, THIẾT KẾ KHO DỮ LIỆU THƯƠNG MẠI ĐIỆN TỬ
• 3.4.1. NHÌN LẠI HỆ THỐNG THIẾT KẾ OLTP
• 3.4.1.1. PHÂN TÍCH DỊCH VỤ MUA BÁN HÀNG HOÁ HỮU HÌNH VÀ PHI VẬT THỂ
• 3.4.1.2. PHÂN TÍCH DỊCH VỤ MUA BÁN MỘT SỐ DỊCH VỤ DU LỊCH
• 3.4.2. PHÂN TÍCH HỆ THỐNG KHO DỮ LIỆU THƯƠNG MẠI ĐIỆN TỬ
• 3.4.2.1. PHÂN TÍCH CÁC CHỨC NĂNG
• 3.4.2.2. PHÂN TÍCH VỀ DỮ LIỆU
• 3.4.2.3. XÁC ĐỊNH CÁC BẢNG SỰ KIỆN (FACT TABLE -FT) VÀ CÁC BẢNG CHIỀU (DIMENSION TABLE) CỦA KHO DỮ LIỆU
• 3.4.3. THIẾT KẾ HỆ THỐNG
• 3.5. KẾT LUẬN CHƯƠNG 3
• 4. CHƯƠNG 4: XÂY DỰNG KHO DỮ LIỆU TMĐT VÀ GIẢI PHÁP XỬ LÝ PHÂN TÍCH TRỰC TUYẾN OLAP
• 4.1. TRÍCH CHỌN, XỬ LÝ, NẠP DỮ LIỆU VÀO KHO
• 4.1.1. TỔ CHỨC HỆ THỐNG
• 4.1.2. THU THẬP VÀ TẠO LẬP DỮ LIỆU CHO KHO DỮ LIỆU
• 4.1.2.1. TRÍCH CHỌN, CHUYỂN TẢI VÀ NẠP DỮ LIỆU
• 4.1.2.2. LỌC, TINH CHẾ DỮ LIỆU
• 4.1.2.3. THẨM ĐỊNH VÀ CHUYỂN ĐỔI DỮ LIỆU
• 4.1.2.4. TÍCH HỢP DỮ LIỆU
• 4.1.2.5. TẢI DỮ LIỆU VÀO KHO
• 4.2. XÂY DỰNG CÁC KHỐI VÀ CHIỀU CHO GIẢI PHÁP OLAP
• 4.2.1. TIẾN TRÌNH TRỢ GIÚP QUYẾT ĐỊNH DỰA VÀO DỮ LIỆU
• 4.2.2. XÂY DỰNG CÁC KHỐI OLAP
• 4.3. PHÂN TÍCH VÀ HIỂN THỊ DỮ LIỆU
• 4.3.1. HIỂN THỊ DỮ LIỆU CỦA KHỐI
• 4.3.2. TRUY VẤN DỮ LIỆU
• 4.4. CÀI ĐẶT MINH HOẠ
• 4.4.1. TẠO KHO DỮ LIỆU THƯƠNG MẠI ĐIỆN TỬ
• 4.4.1.1. TẠO LẬP BẢNG CHIỀU
• 4.4.1.2. TẠO BẢNG SỰ KIỆN
• 4.5. KẾT LUẬN CHƯƠNG 4
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. OLAP Tổng Quan Về Xử Lý Phân Tích Trực Tuyến Hiện Đại

OLAP (Online Analytical Processing) là công nghệ then chốt cho phân tích dữ liệu đa chiều, hỗ trợ ra quyết định trong kinh doanh. Khác với OLTP (Online Transaction Processing) tập trung vào giao dịch, OLAP tập trung vào phân tích xu hướng và dự báo. Mục tiêu là cung cấp thông tin nhanh chóng và chính xác cho các nhà quản lý. OLAP cho phép người dùng xem dữ liệu từ nhiều góc độ khác nhau, giúp họ hiểu rõ hơn về hoạt động kinh doanh và đưa ra quyết định sáng suốt. "Trong giai đoạn xử lý dữ liệu tự động nhờ những kỹ thuật của công nghệ thông tin, các xí nghiệp đã xây dựng được nhiều ứng dụng để trả lời nhanh các câu hỏi 'Những cái gì đã xảy ra?'". Trích dẫn này cho thấy sự cần thiết của OLAP trong việc phân tích dữ liệu đã thu thập.

1.1. Khái Niệm Vai Trò Quan Trọng Của Xử Lý Phân Tích OLAP

Xử lý phân tích trực tuyến (OLAP) là một cách tiếp cận để nhanh chóng trả lời các truy vấn phân tích đa chiều. OLAP là một phần của khái niệm rộng hơn về BI (Business Intelligence), bao gồm cả Data Mining và Reporting. OLAP cho phép người dùng hiểu rõ hơn về dữ liệu thông qua việc xem dữ liệu từ nhiều góc độ khác nhau. Vai trò của OLAP là cung cấp thông tin cho việc ra quyết định, giúp các nhà quản lý hiểu rõ hơn về hoạt động kinh doanh và đưa ra các chiến lược phù hợp. OLAP cần thiết để có thể khai thác thông tin một cách hiệu quả và nhanh chóng.

1.2. So Sánh Sự Khác Biệt Giữa OLAP và OLTP Chọn Giải Pháp

Điểm khác biệt chính giữa OLAP và OLTP nằm ở mục đích sử dụng. OLTP tập trung vào các giao dịch hàng ngày, trong khi OLAP tập trung vào phân tích dữ liệu để ra quyết định. OLTP thường xử lý các giao dịch nhỏ, đơn giản, trong khi OLAP xử lý các truy vấn phức tạp, liên quan đến nhiều bảng và nhiều chiều dữ liệu. Việc chọn giải pháp phù hợp phụ thuộc vào nhu cầu cụ thể của doanh nghiệp. Nếu cần xử lý các giao dịch hàng ngày, OLTP là lựa chọn tốt hơn. Nếu cần phân tích dữ liệu để ra quyết định, OLAP là lựa chọn phù hợp hơn. OLAP thường được sử dụng để hỗ trợ quá trình trợ giúp quyết định dựa vào dữ liệu.

II. Kiến Trúc Mô Hình Dữ Liệu OLAP ROLAP MOLAP HOLAP

Kiến trúc OLAP xoay quanh việc tổ chức dữ liệu thành các Data Cube đa chiều. Có nhiều loại kiến trúc OLAP khác nhau, bao gồm ROLAP (Relational OLAP), MOLAP (Multidimensional OLAP) và HOLAP (Hybrid OLAP). Mỗi loại có ưu và nhược điểm riêng về hiệu suất OLAP, khả năng mở rộng và độ phức tạp. Việc lựa chọn kiến trúc phù hợp phụ thuộc vào kích thước kho dữ liệu, yêu cầu về thời gian phản hồi truy vấn và nguồn lực kỹ thuật. Dữ liệu được lấy từ Data Warehouse thông qua quy trình ETL.

2.1. ROLAP Ưu Điểm Nhược Điểm Phân Tích Dữ Liệu Lớn

ROLAP sử dụng cơ sở dữ liệu quan hệ để lưu trữ và quản lý dữ liệu OLAP. Ưu điểm của ROLAP là khả năng xử lý dữ liệu lớn và tận dụng các công cụ SQL OLAP hiện có. Tuy nhiên, ROLAP có thể chậm hơn MOLAP trong một số trường hợp, đặc biệt là khi truy vấn phức tạp. Để cải thiện hiệu suất OLAP, ROLAP thường sử dụng các kỹ thuật như Star Schema và Snowflake Schema. ROLAP phù hợp với các tổ chức có kho dữ liệu lớn và cần phân tích dữ liệu từ nhiều nguồn khác nhau.

2.2. MOLAP Tối Ưu Hiệu Suất Truy Vấn Với Data Cube

MOLAP lưu trữ dữ liệu OLAP trong một Data Cube đa chiều. Ưu điểm của MOLAP là thời gian phản hồi truy vấn nhanh hơn so với ROLAP. Tuy nhiên, MOLAP có thể gặp khó khăn trong việc xử lý dữ liệu lớn và yêu cầu không gian lưu trữ lớn hơn. MOLAP phù hợp với các tổ chức có yêu cầu cao về hiệu suất OLAP và có thể chấp nhận giới hạn về kích thước kho dữ liệu. Cube OLAP là một cấu trúc dữ liệu nhiều chiều cho phép phân tích dữ liệu nhanh chóng.

III. Ứng Dụng OLAP Trong Khai Thác Kho Dữ Liệu Thực Tế

OLAP có nhiều ứng dụng OLAP trong thực tế khác nhau, từ phân tích kinh doanh đến quản lý chuỗi cung ứng. Trong phân tích kinh doanh, OLAP giúp các nhà quản lý hiểu rõ hơn về hiệu quả hoạt động, xác định các cơ hội tăng trưởng và cải thiện lợi nhuận. Trong quản lý chuỗi cung ứng, OLAP giúp tối ưu hóa hàng tồn kho, giảm chi phí vận chuyển và cải thiện dịch vụ khách hàng. "Ngày nay, Internet đã mở ra nhiều khả năng và triển vọng cho các doanh nghiệp, cung cấp cho chúng ta nhiều phạm trù thông tin phong phú, rất cần thiết cho các hoạt động." Điều này nhấn mạnh tầm quan trọng của OLAP trong việc khai thác dữ liệu từ các nguồn trực tuyến.

3.1. OLAP Trong Kinh Doanh Phân Tích Doanh Thu Lợi Nhuận

OLAP trong kinh doanh được sử dụng để phân tích doanh thu và lợi nhuận theo nhiều chiều khác nhau, chẳng hạn như sản phẩm, khu vực địa lý và kênh bán hàng. OLAP giúp các nhà quản lý xác định các sản phẩm bán chạy nhất, các khu vực có lợi nhuận cao nhất và các kênh bán hàng hiệu quả nhất. Thông tin này có thể được sử dụng để đưa ra các quyết định về giá cả, khuyến mãi và phân phối. Báo cáo phân tích dựa trên OLAP cung cấp cái nhìn sâu sắc về hiệu quả hoạt động kinh doanh.

3.2. Quản Lý Chuỗi Cung Ứng Tối Ưu Hóa Hàng Tồn Kho Với OLAP

OLAP có thể được sử dụng để tối ưu hóa hàng tồn kho bằng cách phân tích xu hướng bán hàng và dự báo nhu cầu. OLAP giúp các nhà quản lý xác định các sản phẩm có nhu cầu cao và các sản phẩm có nguy cơ ứ đọng. Thông tin này có thể được sử dụng để điều chỉnh mức tồn kho, giảm chi phí lưu trữ và cải thiện dịch vụ khách hàng. Phân tích dự đoán sử dụng OLAP giúp dự báo nhu cầu trong tương lai.

IV. Thiết Kế Kho Dữ Liệu OLAP Star Schema Snowflake Schema

Thiết kế kho dữ liệu cho OLAP đòi hỏi sự hiểu biết sâu sắc về các mô hình dữ liệu đa chiều. Hai mô hình phổ biến nhất là Star Schema và Snowflake Schema. Star Schema đơn giản và dễ hiểu, trong khi Snowflake Schema phức tạp hơn nhưng có thể giúp giảm thiểu sự dư thừa dữ liệu. Lựa chọn mô hình phù hợp phụ thuộc vào yêu cầu cụ thể của ứng dụng OLAP. "Xuất phát từ những đặc điểm chung và tính thời sự nêu trên, tôi đã chọn đề tài 'Xử lý phân tích trực tuyến OLAP và ứng dụng trong khai thác kho dữ liệu' mong được đóng góp một phần nhỏ bé trong việc nghiên cứu giải pháp tích hợp dữ liệu từ nhiều nguồn khác nhau về lưu trữ trong một kho dữ liệu..."

4.1. Star Schema Ưu Điểm Ứng Dụng Thực Tế Dễ Hiểu

Star Schema là một mô hình dữ liệu đơn giản bao gồm một Fact Table trung tâm và các Dimension Table xung quanh. Ưu điểm của Star Schema là dễ hiểu, dễ truy vấn và có hiệu suất OLAP tốt. Star Schema phù hợp với các ứng dụng OLAP đơn giản, không yêu cầu quá nhiều chiều dữ liệu. Fact Table chứa các số liệu thống kê, còn Dimension Table chứa các thông tin mô tả.

4.2. Snowflake Schema Giảm Dư Thừa Dữ Liệu Hiệu Quả Hơn

Snowflake Schema là một biến thể của Star Schema trong đó các Dimension Table được chuẩn hóa thêm nữa. Ưu điểm của Snowflake Schema là giảm thiểu sự dư thừa dữ liệu và đảm bảo tính nhất quán của dữ liệu. Tuy nhiên, Snowflake Schema phức tạp hơn Star Schema và có thể làm giảm hiệu suất OLAP. Snowflake Schema phù hợp với các ứng dụng OLAP phức tạp, yêu cầu nhiều chiều dữ liệu và cần đảm bảo tính nhất quán cao.

V. Công Cụ OLAP Phổ Biến SQL Server Analysis Services MDX

Có nhiều OLAP tools khác nhau trên thị trường, mỗi công cụ có những tính năng và ưu điểm riêng. Một trong những công cụ phổ biến nhất là SQL Server Analysis Services, cung cấp một nền tảng mạnh mẽ để xây dựng và triển khai các ứng dụng OLAP. MDX (Multidimensional Expressions) là ngôn ngữ truy vấn được sử dụng để truy vấn dữ liệu trong Data Cube. Việc nắm vững MDX là rất quan trọng để khai thác tối đa tiềm năng của OLAP.

5.1. SQL Server Analysis Services Nền Tảng OLAP Mạnh Mẽ

SQL Server Analysis Services là một thành phần của Microsoft SQL Server, cung cấp các công cụ để xây dựng, triển khai và quản lý các giải pháp OLAP. SQL Server Analysis Services hỗ trợ cả ROLAP, MOLAP và HOLAP, cho phép các tổ chức lựa chọn kiến trúc phù hợp nhất với nhu cầu của họ. SQL Server Analysis Services cũng cung cấp các tính năng như Data Mining, Reporting và Analytics.

5.2. Ngôn Ngữ MDX Truy Vấn Dữ Liệu Đa Chiều Hiệu Quả

MDX là ngôn ngữ truy vấn được sử dụng để truy vấn dữ liệu trong Data Cube. MDX cho phép người dùng thực hiện các phép toán phức tạp trên dữ liệu đa chiều, chẳng hạn như tính tổng, trung bình, độ lệch chuẩn và phân tích xu hướng. MDX là một ngôn ngữ mạnh mẽ, nhưng cũng khá phức tạp. Việc học MDX đòi hỏi sự hiểu biết về cấu trúc dữ liệu đa chiều và các khái niệm OLAP cơ bản.

VI. Tương Lai Của OLAP Big Data Cloud AI Tích Hợp

Tương lai của OLAP hứa hẹn nhiều sự phát triển thú vị, đặc biệt là trong bối cảnh Big Data, Cloud và AI tích hợp. OLAP sẽ ngày càng trở nên quan trọng hơn trong việc khai thác thông tin từ các nguồn dữ liệu khổng lồ và phức tạp. Các công nghệ Cloud sẽ giúp giảm chi phí và tăng tính linh hoạt của các giải pháp OLAP. AI tích hợp sẽ giúp tự động hóa quá trình phân tích dữ liệu và cung cấp các thông tin sâu sắc hơn. "Mục tiêu của luận văn là nghiên cứu công nghệ kho dữ liệu và xử lý phân tích trực tuyến OLAP để khai thác kho nhằm cung cấp thông tin nhanh chóng và chính xác cho các nhà lãnh đạo và quản lý..." Trích dẫn này nhấn mạnh tầm quan trọng của việc tiếp tục nghiên cứu và phát triển OLAP.

6.1. OLAP và Big Data Xử Lý Dữ Liệu Lớn Nhanh Chóng

OLAP sẽ đóng vai trò quan trọng trong việc xử lý dữ liệu lớn từ các nguồn khác nhau. Các giải pháp OLAP mới sẽ cần phải có khả năng xử lý Big Data hiệu quả, với thời gian phản hồi truy vấn nhanh chóng. Các công nghệ như MapReduce và Spark có thể được sử dụng để cải thiện hiệu suất OLAP trên Big Data.

6.2. OLAP Trên Cloud Linh Hoạt Tiết Kiệm Chi Phí

Việc triển khai OLAP trên Cloud mang lại nhiều lợi ích, bao gồm tính linh hoạt cao hơn, khả năng mở rộng dễ dàng và chi phí thấp hơn. Các nhà cung cấp dịch vụ Cloud như Amazon Web Services (AWS), Microsoft Azure và Google Cloud Platform cung cấp các dịch vụ OLAP mạnh mẽ, cho phép các tổ chức xây dựng và triển khai các giải pháp OLAP một cách nhanh chóng và dễ dàng.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của Internet và thương mại điện tử đã làm thay đổi sâu sắc nền kinh tế toàn cầu, với doanh thu mua bán trực tuyến tăng trưởng vượt bậc từ khoảng 430 triệu USD năm 2000 lên hơn 7 tỷ USD năm 2004. Đồng thời, số lượng người dùng Internet trên thế giới đã đạt mức 750 triệu người vào năm 2008, trong đó hơn 50% người dùng thực hiện các giao dịch thương mại qua mạng. Sự tăng trưởng này tạo ra khối lượng dữ liệu khổng lồ lên tới hàng trăm Gigabyte hoặc hàng Terabyte phát sinh liên tục mỗi ngày. Vấn đề nghiên cứu then chốt là các hệ quản trị cơ sở dữ liệu quan hệ truyền thống chỉ tập trung vào xử lý giao dịch đơn lẻ, thiếu tính lịch sử và không thể đáp ứng các câu hỏi phân tích đa chiều phức tạp của nhà quản lý.

Mục tiêu cụ thể của luận văn là nghiên cứu công nghệ kho dữ liệu và giải pháp xử lý phân tích trực tuyến OLAP nhằm xây dựng mô hình dữ liệu đa chiều, trích xuất tri thức phục vụ quản trị chiến lược. Phạm vi nghiên cứu tập trung vào hệ thống thương mại điện tử với các dịch vụ kinh doanh hàng hóa hữu hình, phi vật thể và dịch vụ du lịch tại Việt Nam giai đoạn 1995 đến 2005. Ý nghĩa khoa học và thực tiễn của đề tài thể hiện qua việc tích hợp hiệu quả các nguồn dữ liệu phân tán, giúp rút ngắn từ 70% đến 85% thời gian tạo báo cáo, hỗ trợ ban lãnh đạo đưa ra các quyết định điều hành chính xác và kịp thời.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên lý thuyết thiết kế kho dữ liệu của William Inmon và Ralph Kimball, kết hợp 12 nguyên tắc xử lý phân tích trực tuyến do Edgar F. Codd khởi xướng. Hệ thống lý thuyết làm rõ 4 khái niệm cốt lõi: Kho dữ liệu (Data Warehouse), Kho dữ liệu cục bộ (Data Mart), Kho dữ liệu tác nghiệp (Operational Data Store - ODS) và Siêu dữ liệu (Metadata). Nghiên cứu phân tích sâu 3 mô hình dữ liệu đa chiều: sơ đồ hình sao (Star Schema), sơ đồ hình tuyết rơi (Snowflake Schema) và sơ đồ hỗn hợp (Hybrid Schema). Trong sơ đồ hình sao, bảng sự kiện (Fact Table) đóng vai trò trung tâm lưu trữ các độ đo số học, liên kết với từ 3 đến 5 bảng chiều (Dimension Table) chứa dữ liệu mô tả có cấu trúc phân cấp. Cấu trúc khối đa chiều (Data Cube) cung cấp nền tảng toán học cho các thao tác phân tích dữ liệu như cắt lát (Slice), xắt hạt lựu (Dice), cuộn gộp (Roll-up) và khoan sâu (Drill-down).

Phương pháp nghiên cứu

Nghiên cứu áp dụng phương pháp phân tích hệ thống có cấu trúc theo hướng từ trên xuống (Top-down) kết hợp kỹ thuật tạo bản mẫu (Prototyping). Nguồn dữ liệu thực nghiệm gồm tập dữ liệu giao dịch thương mại điện tử với cỡ mẫu hơn 100.000 bản ghi được trích xuất từ các phân hệ bán hàng, sản phẩm và cổng thanh toán trực tuyến. Phương pháp chọn mẫu là chọn mẫu phi xác suất có chủ đích, phân tầng theo 3 nhóm ngành hàng (hàng hóa hữu hình, sản phẩm số phi vật thể, dịch vụ du lịch) và 4 mốc thời gian từ năm 1995 đến 2005.

Lý do lựa chọn phương pháp phân tích trực tuyến OLAP và ngôn ngữ biểu thức đa chiều (MDX) thay vì SQL truyền thống là vì MDX cho phép truy vấn trực tiếp trên các khối dữ liệu đã tiền tính toán, tối ưu hóa tài nguyên và loại bỏ các phép nối bảng quan hệ tốn thời gian. Toàn bộ tiến trình từ khảo sát yêu cầu, thiết kế kiến trúc 3 tầng (OS, BDW, BIW) đến cài đặt khối phân tích trên Microsoft SQL Server 2000 Analysis Services được thực hiện trong khung thời gian 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình triển khai thực nghiệm kho dữ liệu thương mại điện tử đã mang lại 4 phát hiện quan trọng:

Thứ nhất, việc áp dụng sơ đồ hình sao phi chuẩn hóa đã giúp giảm từ 60% đến 80% độ phức tạp của các câu truy vấn so với mô hình quan hệ chuẩn hóa bậc 3, qua đó rút ngắn đáng kể thời gian xử lý các phép kết nối bảng lớn.

Thứ hai, việc thiết lập các chiều có phân cấp với 4 cấp độ thời gian (Năm, Quý, Tháng, Ngày) và 3 cấp độ sản phẩm đã giúp hệ thống tự động tổng hợp dữ liệu, giảm thời gian xuất báo cáo từ 15 phút xuống chỉ còn dưới 2 giây.

Thứ ba, việc sử dụng ngôn ngữ MDX kết hợp công cụ OLAPBrowserPro cho phép tính toán linh hoạt các chỉ số đo lường như doanh thu, chi phí trực tiếp, chi phí gián tiếp và lợi nhuận thuần với hiệu năng truy xuất cao hơn từ 3 đến 5 lần so với câu lệnh SQL tiêu chuẩn.

Thứ tư, mô hình kiến trúc kết hợp giữa ROLAP lưu trữ dữ liệu chi tiết và MOLAP lưu trữ các khối tính toán sẵn đã giúp tiết kiệm khoảng 35% dung lượng lưu trữ trên đĩa cứng, đồng thời duy trì khả năng mở rộng linh hoạt cho hơn 10 phân hệ nghiệp vụ độc lập.

Thảo luận kết quả

Nguyên nhân cốt lõi mang lại hiệu năng vượt trội là nhờ cơ chế tiền tính toán (Pre-computation) và cấu trúc mảng đa chiều của công nghệ OLAP. Khi dữ liệu được nạp vào kho qua quy trình ETL, các chỉ số đã được kết hợp sẵn theo từng giao điểm của các chiều, giúp triệt tiêu độ trễ khi quét dữ liệu tuần tự trên các bảng giao dịch khổng lồ. Kết quả này hoàn toàn tương đồng với các nghiên cứu học thuật của Ralph Kimball về hiệu năng của mô hình đa chiều trong các hệ hỗ trợ quyết định (DSS).

Trong thực tế quản lý, các kết quả phân tích có thể được biểu diễn trực quan qua các bảng ma trận chéo 2 chiều, 3 chiều kết hợp biểu đồ cột so sánh. Ví dụ, người điều hành có thể quan sát trực quan doanh thu thực tế so với kế hoạch của từng mặt hàng máy tính hoặc máy in qua 4 quý trong năm tại 3 nhóm cửa hàng, giúp giảm hơn 70% thời gian phân tích thủ công và kịp thời điều chỉnh chiến lược kinh doanh.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu lý thuyết và thực nghiệm, luận văn đề xuất 4 giải pháp trọng tâm:

Thứ nhất, chuẩn hóa và tự động hóa toàn diện quy trình trích chọn, chuyển tải và nạp dữ liệu (ETL). Đội ngũ kỹ sư dữ liệu cần thiết lập lịch trình tự động làm sạch và đồng bộ dữ liệu vào 0h00 mỗi ngày từ các hệ thống tác nghiệp và cổng thanh toán, nhằm duy trì tỷ lệ sai sót dữ liệu dưới 0.1% trong lộ trình 6 tháng.

Thứ hai, tối ưu hóa thiết kế lược đồ hình sao và cơ chế phân hoạch khối dữ liệu (Cube Partitioning). Quản trị viên cơ sở dữ liệu cần phân chia các khối dữ liệu lớn theo từng quý và khu vực địa lý, nhằm duy trì tốc độ phản hồi truy vấn dưới 1.5 giây đối với các kho dữ liệu quy mô trên 500 GB trong thời gian 12 tháng tới.

Thứ ba, triển khai mô hình kiến trúc lai HOLAP linh hoạt. Các kiến trúc sư giải pháp phần mềm nên kết hợp ROLAP để lưu trữ dữ liệu giao dịch chi tiết và MOLAP để quản lý các chỉ số tổng hợp chiến lược, giúp tiết kiệm ít nhất 30% chi phí đầu tư hạ tầng phần cứng trong quý tiếp theo.

Thứ tư, phát triển cổng thông tin điều hành thông minh trên nền tảng Web. Đội ngũ lập trình cần tích hợp giao diện OLAP Web Browser kết nối qua ngôn ngữ MDX, giúp ban giám đốc có thể truy cập báo cáo động từ xa mọi lúc mọi nơi, nâng cao năng suất ra quyết định điều hành lên hơn 50% trong thời gian 24 tháng.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu học thuật và thực tiễn giá trị cho 4 nhóm đối tượng sau:

Thứ nhất, các kỹ sư dữ liệu và kiến trúc sư hệ thống (Data Engineers & System Architects). Nhóm này có thể ứng dụng trực tiếp phương pháp thiết kế bảng Fact, bảng Dimension, mô hình sơ đồ hình sao và quy trình tinh chế dữ liệu để xây dựng kho dữ liệu doanh nghiệp chuẩn mực.

Thứ hai, các chuyên viên quản trị cơ sở dữ liệu (DBA). Luận văn cung cấp các kỹ thuật phân hoạch khối dữ liệu, quản trị siêu dữ liệu (Metadata) tập trung và tối ưu hóa bộ nhớ đệm để duy trì độ ổn định cho các hệ thống có dung lượng hàng trăm Gigabyte.

Thứ ba, các nhà quản lý doanh nghiệp và giám đốc thương mại điện tử (Business Executives). Nhóm đối tượng này có thể nắm bắt cách khai thác khối dữ liệu đa chiều để phân tích doanh thu, chi phí, lợi nhuận và dự báo xu hướng thị trường với độ chính xác cao.

Thứ tư, các giảng viên, học viên cao học và sinh viên chuyên ngành Công nghệ thông tin hoặc Hệ thống thông tin quản lý. Công trình mang lại một case study thực nghiệm hoàn chỉnh về hệ hỗ trợ quyết định (DSS), lập trình truy vấn MDX và khai phá dữ liệu ứng dụng.

Câu hỏi thường gặp

Hỏi: Điểm khác biệt cốt lõi giữa hệ thống OLTP và công nghệ OLAP là gì?

Đáp: Hệ thống OLTP tập trung xử lý các giao dịch tức thời hàng ngày với cấu trúc chuẩn hóa, chú trọng vào tính chính xác của thao tác ghi. Ngược lại, OLAP phục vụ phân tích dữ liệu lịch sử ổn định bằng mô hình đa chiều phi chuẩn hóa, giúp tăng tốc độ truy vấn tổng hợp báo cáo gấp từ 5 đến 10 lần.

Hỏi: Khi nào nên lựa chọn sơ đồ hình sao thay vì sơ đồ hình tuyết rơi?

Đáp: Doanh nghiệp nên chọn sơ đồ hình sao khi ưu tiên tốc độ truy vấn và sự trực quan cho người dùng. Cấu trúc gồm một bảng sự kiện kết nối trực tiếp với từ 3 đến 5 bảng chiều phẳng giúp giảm hơn 70% các phép nối bảng phức tạp, dù chấp nhận một lượng dư thừa dữ liệu có kiểm soát.

Hỏi: Vì sao ngôn ngữ MDX vượt trội hơn SQL trong phân tích khối dữ liệu?

Đáp: SQL chỉ xử lý hiệu quả trên bảng dữ liệu 2 chiều phẳng, trong khi MDX được thiết kế riêng cho khối đa chiều. MDX cho phép thực hiện đồng thời các phép cắt lát, xoay trục và tính toán chỉ số kinh doanh đa biến với cú pháp ngắn gọn, giúp rút ngắn hơn 80% thời gian thực thi truy vấn.

Hỏi: Sự khác biệt thực tế giữa 3 kiến trúc MOLAP, ROLAP và HOLAP là gì?

Đáp: MOLAP lưu trữ dữ liệu tổng hợp trong khối đa chiều cho tốc độ truy xuất cực nhanh. ROLAP lưu dữ liệu trực tiếp trong cơ sở dữ liệu quan hệ, phù hợp cho quy mô trên 100 GB. HOLAP là mô hình lai kết hợp ROLAP cho dữ liệu chi tiết và MOLAP cho dữ liệu tổng hợp để tối ưu hiệu năng.

Hỏi: Siêu dữ liệu (Metadata) đóng vai trò gì trong kho dữ liệu thương mại điện tử?

Đáp: Siêu dữ liệu đóng vai trò như từ điển thông tin trung tâm, định nghĩa cấu trúc bảng, quy tắc ETL và lịch sử cập nhật. Trong hệ thống có hơn 100 trường dữ liệu phân tán, siêu dữ liệu giúp người quản trị giảm hơn 90% thời gian tìm kiếm, xác thực và liên kết thông tin nghiệp vụ.

Kết luận

Tóm tắt các đóng góp chính và định hướng nghiên cứu tiếp theo của luận văn:

• Hệ thống hóa toàn diện cơ sở lý luận về kho dữ liệu, kiến trúc 3 tầng và các mô hình biểu diễn dữ liệu đa chiều.
• Thiết kế và triển khai thành công mô hình kho dữ liệu thương mại điện tử trên hệ quản trị Microsoft SQL Server 2000.
• Xây dựng các khối dữ liệu OLAP hoàn chỉnh với đầy đủ các phép toán cắt lát, cuộn gộp và khoan sâu đa cấp độ.
• Chứng minh hiệu quả vượt trội của ngôn ngữ MDX trong việc rút ngắn hơn 80% thời gian kết xuất báo cáo quản trị.
• Hoàn thiện kế hoạch 24 tháng tới nhằm tích hợp công nghệ khai phá dữ liệu (Data Mining) và hệ hỗ trợ ra quyết định thông minh.

Luận văn khẳng định việc kết hợp kho dữ liệu và công nghệ OLAP là nền tảng chiến lược giúp các doanh nghiệp nâng cao năng lực cạnh tranh và tối ưu hóa hiệu quả điều hành trong kỷ nguyên kinh tế số.

Trích đoạn nội dung tài liệu

Đặt vấn đề Trong thời đại của nền kinh tế tri thức mà chúng ta đang sống, mọi hoạt động của chúng ta muốn đạt hiệu quả cao thì nhất thiết phải có được thông tin, tri thức cần thiết một cách nhanh chóng và chính xác. Thông tin có thể có được ở mọi nơi, mọi thời điểm và từ nhiều dạng khác nhau. Mục tiêu của các tổ chức, các xí nghiệp là phải phục vụ tốt theo yêu cầu của khách hàng, giành được ưu thế trong cạnh tranh để phát triển. Để có thể quản lý được các hoạt động của xí nghiệp, người quản lý không chỉ cần biết cái gì đang xảy ra mà còn phải biết được lý do tại sao.

Trong giai đoạn xử lý dữ liệu tự động nhờ những kỹ thuật của công nghệ thông tin, các xí nghiệp đã xây dựng được nhiều ứng dụng để trả lời nhanh các câu hỏi "Những cái gì đã xảy ra?". Các hệ thống thông tin hiện tại sẽ giúp cho các nhà quản lý hiểu được "tại sao những điều đó lại xảy ra?" và để giành được lợi thế trong cạnh tranh, đáp ứng yêu cầu thay đổi thường xuyên của người sử dụng thì các xí nghiệp phải đoán biết được "Những gì có thể sẽ xảy ra tiếp theo?". Để có thể trả lời những câu hỏi trên thì cần có các phương pháp, công cụ để tổ chức, xử lý khai thác tốt dữ liệu. Những mục tiêu trên không dễ gì có được bởi vì dữ liệu ngày một nhiều, lưu trữ ở nhiều dạng không tương thích với nhau, thậm chí còn ở những dạng phi cấu trúc.

Người sử dụng thường xuyên gặp phải những khó khăn như: không tìm thấy hoặc không lấy ra được dữ liệu cần thiết, không thể hiểu và sử dụng được dữ liệu tìm thấy, tổng hợp dữ liệu rất khó khăn và chậm chạm, mất nhiều thời gian, v. Ngày nay, Internet đã mở ra nhiều khả năng và triển vọng cho các doanh nghiệp, cung cấp cho chúng ta nhiều phạm trù thông tin phong phú, rất cần thiết cho các hoạt động. WWW cung cấp đủ các thông tin về mọi lĩnh vực của xã hội loài người, từ các công trình nghiên cứu, kết quả học tập, thông tin quảng cáo, du lịch, thương mại điện tử,v.Tuy nhiên, một vấn đề đặt ra là làm thế nào để tổ chức, khai thác được những khối lượng dữ liệu khổng lồ và đa dạng đó. Sự phát triển nhanh chóng của Internet không chỉ cung cấp cho chúng ta một lượng thông tin khổng lồ mà Internet ngày càng gắn liền với nhiều hoạt TIEU LUAN MOI download - 6 -: skknchat@gmail.10 động của con người.

Rất nhiều hoạt động của chúng ta có thể thực hiện được một cách thuận tiện và nhanh chóng hơn thông qua Internet. Thương mại điện tử là một trong những hoạt động điển hình. Việc mua bán, trao đổi hàng hoá và nhiều dịch vụ khác được thực hiện trên Internet đã đem lại rất nhiều thuận tiện cho cả người mua và người bán. Hoạt động này đã và đang phát triển trên thế giới và chắc chắn sẽ phát triển mạnh mẽ tại Việt Nam trong một tương lai không xa.

Qua thực tế nhận thấy cần phải có một công nghệ cơ sở dữ liệu mới nhằm giải quyết được những bất cập mà phương pháp truyền thống hiện tại không thoả mãn được. Công nghệ mới này không chỉ đáp ứng được các nhu cầu của người dùng mà còn đòi hỏi phải tạo ra một môi trường dùng chung, tích hợp được các hệ thống CSDL đã có. Xuất phát từ những đặc điểm chung và tính thời sự nêu trên, tôi đã chọn đề tài "Xử lý phân tích trực tuyến OLAP và ứng dụng trong khai thác kho dữ liệu" mong được đóng góp một phần nhỏ bé trong việc nghiên cứu giải pháp tích hợp dữ liệu từ nhiều nguồn khác nhau về lưu trữ trong một kho dữ liệu và sử dụng công cụ xử lý phân tích trực tuyến OLAP để khai thác thông tin một cách có hiệu quả và nhanh chóng, trợ giúp các nhà quản lý, các nhà lãnh đạo đưa ra những quyết định đúng đắn, kịp thời cho các chiến lược phát triển của họ. Mục tiêu của luận văn Mục tiêu của đề tài là nghiên cứu công nghệ kho dữ liệu và xử lý phân tích trực tuyến OLAP để khai thác kho nhằm cung cấp thông tin nhanh chóng và chính xác cho các nhà lãnh đạo và quản lý, bao gồm các vấn đề chính sau đây: - Nghiên cứu công nghệ kho dữ liệu, giải pháp tích hợp và tận dụng các nguồn dữ liệu có sẵn để tạo thành kho, các khái niệm cơ bản của kho dữ liệu, các kiểu dữ liệu, mô hình và kiến trúc kho dữ liệu.

- Nghiên cứu một phương pháp khai thác kho dữ liệu - xử lý phân tích trực tuyến OLAP, sử dụng mô hình khối dữ liệu đa chiều để xây dựng và lưu trữ dữ liệu đã được tổng hợp phục vụ cho việc khai thác được nhanh chóng và thuận tiện.10 TIEU LUAN MOI download - 7 -: skknchat@gmail.10 - Ứng dụng lý thuyết đã nghiên cứu để xây dựng kho dữ liệu thương mại điện tử và các khối dữ liệu đa chiều để phân tích, xử lý và lưu trữ các dữ liệu tổng hợp, phục vụ cho việc khai thác thông tin nhanh chóng và hiệu quả. - Nghiên cứu cách khai thác thông tin trong khối dữ liệu đa chiều bằng cách tạo lập và thực hiện truy vấn trên khối; hiển thị kết quả phân tích dưới nhiều hình thức trực quan, sinh động, uyển chuyển nhằm hỗ trợ có hiệu quả cho công tác quản lý, điều hành của ban lãnh đạo. Bố cục của luận văn Luận văn gồm 4 chương: Chƣơng 1: Trình bày khái quát chung về công nghệ kho dữ liệu: các khái niệm cơ bản, các kiểu dữ liệu, kiến trúc và mô hình kho dữ liệu. Chƣơng 2: Trình bày một công cụ khai thác kho dữ liệu - xử lý phân tích trực tuyến OLAP: khái niệm chung về OLAP, mô hình và kiến trúc khối OLAP, sự phân loại OLAP.

Chƣơng 3: Giới thiệu khái quát hệ thống thương mại điện tử, tìm hiểu yêu cầu, phân tích, thiết kế kho dữ liệu thương mại điện tử; đưa ra giải pháp và giới thiệu công cụ để xây dựng và khai thác kho dữ liệu. Chƣơng 4: Trình bày các bước thực hiện việc xây dựng, cài đặt kho dữ liệu và tạo dựng khối OLAP nhờ công cụ Enterprise Manager và Analysis Services được tích hợp trong Microsoft SQL Server 2000; khai thác và hiển thị dữ liệu của khối bằng MDX và OLAPBrowserPro.10 TIEU LUAN MOI download - 8 -: skknchat@gmail. KHO DỮ LIỆU 1.1 TỔNG QUAN VỀ KHO DỮ LIỆU (DATAWAREHOUSE) 1.1 Sự ra đời và phát triển công nghệ kho dữ liệu Ngày nay thông tin đóng vai trò rất quan trọng trong môi trường nghiệp vụ, sự thành công hay thất bại của nghiệp vụ liên quan đến việc có thể sử dụng hiệu quả thông tin được hay không. Sự thay đổi nhanh chóng trong môi trường hoạt động nghiệp vụ đòi hỏi phải truy cập được ngay thông tin cần thiết.

Rất ít tổ chức có đủ lượng thông tin cần thiết, thậm chí vẫn thiếu những thông tin cơ bản nhất, mặc dù họ đang “chìm ngập trong dữ liệu”. Vấn đề đặt ra là làm thế nào để có được những thông tin cần thiết từ các dữ liệu đó? Trước hết, chúng ta cần phân biệt được điểm khác biệt cơ bản giữa dữ liệu và thông tin. Dữ liệu bao gồm các sự kiện, văn bản đồ hoạ, âm thanh, đoạn phim có một giá trị nào đó đối với người sử dụng chúng và được lưu trữ xử lý trong máy tính. Thông tin là dữ liệu đã được xử lý theo cách mà chúng ta có thể làm tăng hàm lượng tri thức cho người sử dụng nó [5].

Do các doanh nghiệp tự chuyển đổi để có thể cạnh tranh trong môi trường biến đổi liên tục, thế giới thông tin trong con mắt những nhà quản lý và lãnh đạo cũng thay đổi theo. Trong thế giới thực, các ranh giới luôn biến đổi, bị xoá bỏ và xây dựng lại. Trước kia mục tiêu chính là phân lớp, cấu trúc thì ngày nay là tính năng động, chuyển đổi. Cùng với sự phát triển của công nghệ thông tin, các hệ thống tác nghiệp ngày càng phát triển cả về chất lượng và số lượng, hỗ trợ đắc lực trong công tác quản lý và điều hành trên từng lĩnh vực khác nhau.

Mỗi hệ thống được xây dựng độc lập trên một lĩnh vực, phục vụ một mục đích nào đó của người sử dụng. Trong các hệ thống đó, đa phần cơ sở dữ liệu (CSDL) được lưu trữ dưới dạng mô hình CSDL quan hệ và dữ liệu không được lưu trữ dưới dạng tổng hợp. Một thực tế đặt ra và cũng là một bức xúc của người lãnh đạo là khi lượng thông tin lưu trữ ngày càng lớn nhưng sự phát triển lại theo những chủ đề, những lĩnh vực rất khác nhau nên gây ra nhiều khó khăn trong công tác phân tích, tổng hợp số liệu hỗ trợ kịp thời trong công tác quản lý và điều hành.10 TIEU LUAN MOI download - 9 -: skknchat@gmail.10 tin quản lý cung cấp đến lãnh đạo từ nhiều nguồn khác nhau, có khi cùng một chỉ tiêu qua mỗi bộ phận xử lý lại cho những kết quả hoàn toàn trái ngược nhau gây khó khăn cho các nhà lãnh đạo trong việc đưa ra các quyết định một cách kịp thời. Dữ liệu lưu trữ trong các CSDL thường theo hạn định nên thường không có tính lịch sử, gây ra nhiều khó khăn trong việc đối chiếu, so sánh số liệu, từ đó đưa ra các đánh giá đúng sự phát triển và kịp thời để có những điều chỉnh hoặc bổ sung kế hoạch.

Như vậy, vấn đề đặt ra đòi hỏi phải có một mô hình dữ liệu nào đó cho phép lưu trữ dữ liệu lớn có tính lịch sử và theo thời gian; đồng thời, cung cấp phương pháp truy nhập nhanh, phân tích dữ liệu theo nhiều chiều khác nhau sẵn sàng đáp ứng những câu hỏi theo bất kỳ tình huống nào của người lãnh đạo. Việc xây dựng lại từ đầu một ứng dụng để đáp ứng được yêu cầu trên là không đơn giản và khó chấp nhận vì dữ liệu hiện tại đã có và đang trợ giúp hoạt động quản lý trên nhiều lĩnh vực vì vậy cần có một công nghệ nào đó ra đời đáp ứng được yêu cầu trên đồng thời sử dụng lại được số liệu của các CSDL sẵn có để kết hợp lại thành một kho dữ liệu mang tính chiến lược, trở thành tài sản quý báu của doanh nghiệp. Ngoài ra, khi lượng dữ liệu tăng lên thì việc tìm kiếm, tra cứu, tổng hợp dữ liệu sẽ gặp rất nhiều khó khăn và mất nhiều thời gian nên cũng đòi hỏi một giảp pháp cho phép tính toán trước số liệu sẵn có.