Khám Phá Lý Thuyết và Thực Tiễn Về Data Warehouse

I. TỔNG QUAN

I.1. Đặt vấn đề và việc lựa chọn đề tài

I.2. Các hệ thống thông tin quản lý đáp ứng yêu cầu trên ra sao

I.3. Data warehouse (Nhà kho dữ liệu)

I.3.1. Nhà kho dữ liệu là gì

I.3.2. Mục tiêu của DWH

I.3.3. Ứng dụng công nghệ Data warehouse trong ngành dịch vụ

I.3.4. Phân biệt DWH với các hệ SDL nghiệp

I.3.4.1. So sánh nhà kho dữ liệu với các hệ SDL nghiệp

I.3.4.2. Mối quan hệ giữa các hệ thống thông tin nghiệp vụ và kho dữ liệu

I.3.4.3. Trung tâm dữ liệu theo chủ đề (Data Mart)

I.3.4.4. Các bước để xây dựng nhà kho dữ liệu

II. KIẾN TRÚC NHÀ KHO DỮ LIỆU

II.1. Kiến trúc tham chiếu

II.2. Kiến trúc dòng dữ liệu

II.3. Một kiến trúc nhà kho dữ liệu cho tập đoàn Amadeus Entertainment

III. MÔ HÌNH DỮ LIỆU THEO CHIỀU

III.1. Sự kiện và bảng sự kiện

III.2. Thời gian và bảng chiều thời gian

III.3. Khối dữ liệu (cube)

III.4. Lược đồ dữ liệu theo chiều

III.4.1. Lược đồ dữ liệu hình sao (star schema)

III.5. Quy trình mô hình hóa dữ liệu chiều

III.5.1. Quy trình mô hình hóa theo chiều

III.5.2. Bước 1: Khảo sát quy trình nghiệp vụ của tổ chức

III.5.3. Bước 4: Xác định các dữ kiện là số

III.5.4. Thực hiện thông qua ví dụ tiêu biểu về bài toán bán lẻ

III.5.5. Bảng dữ liệu của hệ thống điều hành nghiệp vụ

III.5.6. Xác định độ thông của dữ liệu

III.5.7. Kết quả thiết kế mô hình chiều

IV. QUÁ TRÌNH TRIỂN KHAI TÁCH DỮ LIỆU TỪ HỆ THỐNG NGUỒN VÀO DWH

IV.1. Nhiệm vụ của tiến trình ETL

IV.2. Chuyển đổi dữ liệu (Transformation)

IV.3. Tải dữ liệu (Loading)

IV.4. Mô hình theo các thứ tự lấy dữ liệu nguồn

IV.5. Hiệu năng tiến trình ETL

IV.6. Một số công cụ ETL

IV.6.1. Môi trường ETL mã nguồn mở

IV.6.2. Tính chất chất lượng của dịch vụ OLAP

IV.6.3. So sánh OLAP với OLTP

IV.6.4. Kiến trúc khối của OLAP

IV.6.5. Mô hình Multidimensional OLAP (MOLAP)

IV.6.6. Mô hình Relational OLAP (ROLAP)

IV.6.7. Mô hình kiến trúc dịch vụ OLAP

IV.6.8. Kỹ thuật để xử lý truy vấn hiệu quả trên OLAP

IV.6.9. Sử dụng kỹ thuật tính toán trước khối dữ liệu

IV.6.10. Điểm khởi đầu

IV.6.11. Mối quan hệ giữa dữ liệu tại hệ thống OLTP với dữ liệu trên OLAP

VI. DWH VỚI ỨNG DỤNG QUAN HỆ KHÁCH HÀNG

VI.1. Làm thế nào để công trình CRM thực sự hiệu quả?

VI.2. Triển khai quá trình và quản lý kinh doanh

VI.3. Xây dựng một chu trình quản lý khách hàng

VI.4. Tư vấn và triển khai CRM theo yêu cầu (On-demand CRM)

VI.5. Thực hiện chất lượng dữ liệu khách hàng

VI.6. Sự phù hợp của DWH đối với CRM trong vấn đề SEV

VI.7. Đợt triển dịch quảng cáo, quảng bá (Campaign Segmentation)

VI.7.1. Quản trị sự chấp thuận

VI.7.2. Dữ liệu phát đi và phản hồi từ khách hàng

VI.7.3. Những phần tử diễn giải trong một số ngành

VII. THỰC HIỆN DWH TRÊN MS SQL SERVER 2005

VII.1. Giới thiệu MS SQL Server 2005

VII.2. Công nghệ nghiệp vụ thông minh Business Intelligence của Microsoft

VII.3. Hợp nhất dữ liệu công ty và báo cáo

VII.4. Xây dựng và quản lý giải pháp BI phù hợp

VII.5. Thực hiện DWH trên MS SQL Server 2005

VII.5.1. Bài toán ví dụ AdventureWorks

VII.5.2. Thực hiện DWH cho AdventureWorks

VII.5.2.1. Chuyển tải dữ liệu tái nghiệp vụ vào SDL DWH

VII.5.2.2. Thực hiện dịch vụ phân tích trực tuyến trên SDL DWH

VIII. KẾT LUẬN

Tài liệu tham khảo

I. Tổng Quan Về Data Warehouse Khái Niệm và Lợi Ích

Ngày nay, hệ thống cơ sở dữ liệu hiện diện trong hầu hết hoạt động kinh tế xã hội. Cùng với sự phát triển của công nghệ phần cứng, dữ liệu của các tổ chức, doanh nghiệp trong quá trình hoạt động được cập nhật và lưu giữ đầy đủ. Dữ liệu nghiệp vụ của tổ chức ngày càng trở nên khổng lồ. Dữ liệu có thể là tệp phẳng (không có cấu trúc) như hình ảnh, văn bản đến dữ liệu có cấu trúc được lưu giữ tại các hệ quản trị CSDL. Một hãng bán lẻ nổi tiếng như WalMart xử lý hàng triệu giao dịch mỗi ngày. Với các công nghệ hiện tại đã và đang đáp ứng tốt một giai đoạn yêu cầu của người dùng. Đến một ngày, khi những thành viên trong ban quản trị nhìn xuống và sửng sốt với độ lớn dữ liệu của tổ chức, doanh nghiệp mình. Toàn bộ hoạt động, lịch sử được lưu dưới dạng số một cách đầy đủ. Dữ liệu ấy chính là tài sản của công ty. Và họ muốn rằng những khối dữ liệu khổng lồ ấy phải nói lên những điều thật ý nghĩa. Điều này khác với việc họ muốn tìm lại một đơn hàng, một thông tin mang tính cá nhân của một khách hàng. Ở đây họ muốn biết cái sơ đồ doanh thu theo chiều lên hay xuống, muốn tách ra quy luật của bán hàng, quy luật của năng suất hoạt động. Quy luật ấy dựa trên các yếu tố thời gian, yếu tố con người, yếu tố địa lý,…

1.1. Hệ Thống OLTP Nền Tảng Quản Lý Giao Dịch

Các hệ thống xử lý giao dịch trực tuyến (OLTP) đóng vai trò quan trọng trong việc tự động hóa các lĩnh vực quan trọng như kế toán, lập kế hoạch, giao dịch khách hàng, lập hóa đơn. Thông thường OLTP bao gồm một dãy lệnh: thu nhận dữ liệu đầu vào, xử lý dữ liệu, và cập nhật dữ liệu cũ với dữ liệu mới được nhập và xử lý. Mỗi giao dịch tương ứng với một phép xử lý nghiệp vụ: tạo lập đơn hàng với khách hàng, đăng ký khóa học, chuyển khoản. Các giao dịch này trong quá trình thực hiện liên quan đến nhiều vai trò tạo ra một hay nhiều thực thể. Bằng việc sử dụng hệ thống OLTP thì các thông tin về thực thể, thông tin về quá trình thực hiện được lưu lại trên các hệ thống máy tính. Các tổ chức, doanh nghiệp chưa đưa CNTT vào áp dụng thì chúng được lưu dưới dạng sổ sách giấy tờ. Theo thời gian, mỗi doanh nghiệp sở hữu các kho dữ liệu.

1.2. Phân Biệt Data Warehouse và Các Hệ Thống Khác

Data Warehouse (Kho dữ liệu) là một công nghệ mới ra đời vào khoảng đầu những năm 90 đã được đón nhận và đưa vào thực tiễn. Tại Việt Nam, khái niệm và công nghệ này đã được làm quen cách đây cũng được khoảng 5 năm nhưng trên thực tế chúng hầu như chưa được quan tâm và ứng dụng một cách hiệu quả. Điều này cũng bắt nguồn từ nhu cầu quản lý trong một thế giới cạnh tranh chưa gay gắt, trình độ quản lý không cao. Với sự phát triển kinh tế xã hội, gia nhập WTO, môi trường ngày càng trở nên sôi động, mức độ cạnh tranh cao. Trong những đòi hỏi phát triển trình độ quản lý có yêu cầu nhanh chóng tổng hợp các khía cạnh dữ liệu hoạt động khổng lồ của doanh nghiệp mình, nhìn ra được những xu hướng đã và đang tồn tại ở các mặt hoạt động từ đó có những quyết định, xử lý đúng đắn.

II. Vấn Đề và Thách Thức Với Dữ Liệu Doanh Nghiệp

Sau khi các hệ thống thông tin tác nghiệp đã ổn định và đưa vào sử dụng trong một thời gian dài, dữ liệu tác nghiệp sẽ được lưu tại các hệ thống này. Tuy nhiên chúng sẽ là đầu vào cho việc phân tích, dự báo,… Tuy nhiên có những tính căn bản của dữ liệu này gây khó khăn cho việc đáp ứng nhu cầu thông tin quản trị: Các số liệu ở mức chi tiết (cho từng giao tác). Các số liệu được phân bố ở những hệ thống khác nhau, có các thủ tục truy cập khác nhau và ở những CSDL hoàn toàn khác nhau. Các số liệu không được cập nhật cùng một chu kỳ dẫn đến sự mất đồng bộ. Việc tổ chức truy cập từ rất nhiều bảng dữ liệu khác nhau có ảnh hưởng rất xấu tới hiệu suất của các hệ thống vì mục đích của các hệ thống này là nhằm phục vụ các giao dịch trực tuyến. Trong môi trường thừa thãi số liệu, nhà phân tích không thể tìm ra cho mình thông tin cần thiết nhằm có được sự hiểu biết thấu đáo về những quá trình xảy ra xung quanh.

2.1. Khó Khăn Trong Truy Xuất và Phân Tích Dữ Liệu

Vấn đề độ lớn dữ liệu: hiển nhiên với sự tăng trưởng của kho dữ liệu thì quá trình truy xuất đến dữ liệu thường cần đến nhiều tài nguyên máy tính (như tốc độ xử lý của CPU, dung lượng bộ nhớ RAM, ổ cứng…), đặc biệt đối với các kho dữ liệu lớn. Tốc độ giảm xuống nhiều khi không thể chấp nhận được. Tính đa tạp của dữ liệu từ các hệ thống tác nghiệp: Tại một tổ chức có nhiều hệ thống thông tin được xây dựng. Các hệ thống này phục vụ cho các phòng ban đơn vị khác nhau trong tổ chức vì thế chúng: Những giao diện khác nhau, Những dạng biểu dữ liệu khác nhau, Thông tin trùng lặp và không nhất quán.

2.2. Yêu Cầu Thông Tin Quản Trị Từ Ban Điều Hành

Đối với đội ngũ thượng tầng của tổ chức, doanh nghiệp thì những yêu cầu thông tin xuất phát từ đó mang tính chất quản trị, khái quát và định hình tình hình hoạt động của đơn vị trong một quãng thời gian nhất định. Họ hiếm khi quan tâm đến từng đơn hàng hay từng cá thể đơn lẻ. Ví dụ như: Tiêu thụ sản phẩm áo vest nữ cao cấp tại thị trường Hải Phòng đang giảm, phân tích lý do. Thay đổi yếu tố nào để có kết quả khả quan hơn về mặt số lượng bán ra. Xu hướng những độc giải mua sách về trinh thám và kèm theo sách tiểu sử là như thế nào. Hãng dịch vụ điện thoại di động sẽ tung ra một gói dịch vụ mới, thì doanh thu của gói này sẽ được dự đoán ra sao.

III. Kiến Trúc Data Warehouse Giải Pháp Tổng Thể Dữ Liệu

Kiến trúc Data Warehouse là một tập hợp các thành phần và quy trình được thiết kế để thu thập, làm sạch, biến đổi và lưu trữ dữ liệu từ nhiều nguồn khác nhau, sau đó cung cấp dữ liệu này cho các ứng dụng phân tích và báo cáo. Một kiến trúc Data Warehouse điển hình bao gồm các lớp sau: Nguồn dữ liệu, ETL (Extraction, Transformation, Loading), Kho dữ liệu, Data Marts, Công cụ phân tích và báo cáo. Kiến trúc này đảm bảo dữ liệu được tích hợp, nhất quán và sẵn sàng cho việc phân tích, giúp doanh nghiệp đưa ra các quyết định dựa trên dữ liệu chính xác và kịp thời.

3.1. Mô Hình Dòng Dữ Liệu Trong Data Warehouse

Mô hình dòng dữ liệu trong Data Warehouse mô tả cách dữ liệu di chuyển từ các nguồn khác nhau vào kho dữ liệu và sau đó đến các ứng dụng phân tích. Quá trình này thường bao gồm các bước sau: Trích xuất (Extraction): Dữ liệu được trích xuất từ các nguồn khác nhau như hệ thống OLTP, tệp tin, và các nguồn bên ngoài. Biến đổi (Transformation): Dữ liệu được làm sạch, chuyển đổi và tích hợp để đảm bảo tính nhất quán và chất lượng. Tải (Loading): Dữ liệu đã biến đổi được tải vào kho dữ liệu, thường là một cơ sở dữ liệu quan hệ hoặc một hệ thống lưu trữ dữ liệu lớn.

3.2. Kiến Trúc Tham Chiếu Data Warehouse

Kiến trúc tham chiếu Data Warehouse cung cấp một khuôn khổ chuẩn để thiết kế và triển khai một kho dữ liệu. Nó bao gồm các thành phần chính như nguồn dữ liệu, lớp tích hợp dữ liệu (ETL), kho dữ liệu trung tâm, các Data Mart chuyên biệt, và các công cụ phân tích và báo cáo. Kiến trúc này giúp đảm bảo tính linh hoạt, khả năng mở rộng và hiệu suất của kho dữ liệu, đồng thời giảm thiểu rủi ro và chi phí triển khai.

IV. ETL Quy Trình Tích Hợp Dữ Liệu Vào Data Warehouse

ETL (Extraction, Transformation, Loading) là quá trình trích xuất dữ liệu từ các nguồn khác nhau, biến đổi dữ liệu để đảm bảo tính nhất quán và chất lượng, và tải dữ liệu đã biến đổi vào Data Warehouse. Đây là một bước quan trọng trong việc xây dựng và duy trì một kho dữ liệu hiệu quả. Quá trình ETL đảm bảo rằng dữ liệu được tích hợp, làm sạch và sẵn sàng cho việc phân tích, giúp doanh nghiệp đưa ra các quyết định dựa trên dữ liệu chính xác và đáng tin cậy.

4.1. Các Giai Đoạn Chính Trong Quy Trình ETL

Quy trình ETL bao gồm ba giai đoạn chính: Trích xuất (Extraction): Dữ liệu được trích xuất từ các nguồn khác nhau như hệ thống OLTP, tệp tin, và các nguồn bên ngoài. Biến đổi (Transformation): Dữ liệu được làm sạch, chuyển đổi và tích hợp để đảm bảo tính nhất quán và chất lượng. Tải (Loading): Dữ liệu đã biến đổi được tải vào kho dữ liệu, thường là một cơ sở dữ liệu quan hệ hoặc một hệ thống lưu trữ dữ liệu lớn.

4.2. Công Cụ ETL Phổ Biến Hiện Nay

Hiện nay, có nhiều công cụ ETL phổ biến được sử dụng để xây dựng và duy trì Data Warehouse. Một số công cụ phổ biến bao gồm: Informatica PowerCenter, IBM DataStage, Microsoft SSIS (SQL Server Integration Services), Apache NiFi, Talend Open Studio. Các công cụ này cung cấp các tính năng mạnh mẽ để trích xuất, biến đổi và tải dữ liệu từ nhiều nguồn khác nhau vào kho dữ liệu.

V. Mô Hình Dữ Liệu Chiều Star Schema và Snowflake Schema

Mô hình dữ liệu chiều là một phương pháp thiết kế cơ sở dữ liệu được sử dụng rộng rãi trong Data Warehouse để tổ chức dữ liệu theo các chiều (dimensions) và sự kiện (facts). Hai mô hình phổ biến nhất là Star Schema và Snowflake Schema. Star Schema có một bảng sự kiện trung tâm kết nối với nhiều bảng chiều, tạo thành hình ngôi sao. Snowflake Schema là một biến thể của Star Schema, trong đó các bảng chiều được chuẩn hóa thêm, tạo thành cấu trúc phức tạp hơn.

5.1. Ưu Điểm và Nhược Điểm Của Star Schema

Star Schema có ưu điểm là đơn giản, dễ hiểu và truy vấn nhanh. Tuy nhiên, nó có nhược điểm là dữ liệu có thể bị trùng lặp trong các bảng chiều. Star Schema phù hợp với các ứng dụng phân tích đơn giản và yêu cầu hiệu suất cao.

5.2. Ưu Điểm và Nhược Điểm Của Snowflake Schema

Snowflake Schema có ưu điểm là giảm thiểu sự trùng lặp dữ liệu và tiết kiệm không gian lưu trữ. Tuy nhiên, nó có nhược điểm là phức tạp hơn và truy vấn chậm hơn so với Star Schema. Snowflake Schema phù hợp với các ứng dụng phân tích phức tạp và yêu cầu tính nhất quán cao.

VI. Ứng Dụng Data Warehouse Trong Quản Lý Khách Hàng CRM

Data Warehouse (DW) có vai trò quan trọng trong quản lý quan hệ khách hàng (CRM). DW cung cấp một cái nhìn tổng quan và chi tiết về khách hàng, giúp doanh nghiệp hiểu rõ hơn về hành vi, sở thích và nhu cầu của khách hàng. Thông tin này có thể được sử dụng để cải thiện các quy trình kinh doanh, xây dựng các chương trình khuyến mãi hiệu quả và tăng cường sự hài lòng của khách hàng. DW giúp doanh nghiệp chuyển đổi dữ liệu khách hàng thành thông tin có giá trị, từ đó tạo lợi thế cạnh tranh.

6.1. Cải Thiện Quy Trình Kinh Doanh Với Data Warehouse

Data Warehouse giúp cải thiện các quy trình kinh doanh bằng cách cung cấp thông tin chi tiết về hiệu suất của các hoạt động khác nhau. Ví dụ, doanh nghiệp có thể sử dụng DW để phân tích hiệu quả của các chiến dịch marketing, xác định các sản phẩm bán chạy nhất và tối ưu hóa chuỗi cung ứng. Thông tin này giúp doanh nghiệp đưa ra các quyết định dựa trên dữ liệu, từ đó cải thiện hiệu suất và tăng lợi nhuận.

6.2. Xây Dựng Chương Trình Quản Lý Khách Hàng Hiệu Quả

Data Warehouse giúp xây dựng các chương trình quản lý khách hàng hiệu quả bằng cách cung cấp thông tin chi tiết về hành vi và sở thích của khách hàng. Ví dụ, doanh nghiệp có thể sử dụng DW để phân khúc khách hàng, tạo ra các chương trình khuyến mãi cá nhân hóa và cải thiện dịch vụ khách hàng. Thông tin này giúp doanh nghiệp tăng cường sự hài lòng của khách hàng và xây dựng mối quan hệ lâu dài.

Khám Phá Lý Thuyết và Thực Tiễn Về Data Warehouse Tại Đại Học Quốc Gia Hà Nội