CHƯƠNG 1: GIỚI THIỆU CHUNG VỀ DATA WAREHOUSE 1. Giới thiệu Thời gian qua, sự phát triển mạnh mẽ của công nghệ thống tin đang nhanh chóng đưa hệ thống thông tin kỹ thuật số ngự trị hệ thống thông tin văn bản cổ truyền và tạo điều kiện quan trọng cho quá trình toàn cầu hoá. Công nghệ thông tin làm thay đổi mạnh mẽ từ hạ tầng kinh tế xã hội tới các phong cách và văn hóa của cá nhân và tổ chức. Tri thức đang trở thành sức mạnh quan trọng nhất trong hệ thống kinh tế xã hội.
Các chuyên gia đánh giá rằng hiện nay các giá trị sản phẩm dựa trên tri thức chiếm hơn nửa tổng sản phẩm quốc nội (Gross Domestic Product - GDP) ở các nước công nghiệp. Tài nguyên của hoạt động tri thức và tư duy hệ thống là thông tin, nó cần phải được cung cấp đầy đủ, kịp thời theo đa chiều, đặc biệt là thông tin trái chiều, cá biệt. Trong kỷ nguyên bùng nổ thông tin thì không thể theo dõi hết mà phải biết bao quát nó để đảm bảo hệ thống phát triển. Một cách để xử lý lượng thông tin lớn là chú ý cao tới thông tin bất thường.
Các bất ổn hoặc cơ hội để có ý tưởng mới thường xuất phát từ các xem xét thông tin bất thường này. Nhiều thập kỷ nay đã chứng kiến sự phát triển vô cùng mạnh mẽ của công nghệ thống tin. Điều này dẫn tới sự xâm nhập mạnh mẽ của công nghệ thống tin vào tất cả các lĩnh vực trong cuộc sống hiện đại từ kinh tế, kỹ thuật cho đến đời sống xã hội. Các doanh nghiệp ngày nay hầu như không thể tồn tại được nếu không có các hệ thống công nghệ thống tin tác nghiệp hàng ngày.
Các hệ thống đó có nhiệm vụ thực hiện các công việc lưu trữ, xử lý tính toán, thống kê dữ liệu theo các nghiệp vụ hàng ngày của doanh nghiệp. Từ năm 1990 khi mà nghiệp vụ trở lên phức tạp hơn, mô hình của công ty không chỉ ở trong một vùng đơn lẻ mà được triển khai, nhân rộng ra nghiều khu vực trên thế giới, sự cạnh tranh giữa các doanh nghiệp càng trở lên khắc nghiệt và các hệ thống thông tin hiện tại chỉ cung cấp các thông tin tác nghiệp hàng ngày mà chưa thể cung cấp những thông tin mang tính hỗ trợ các nhà quản lý trọng việc kinh doanh, hoạch định chiến lược và ra quyết định. Trong việc điều hành, xử lý công việc, các nhà quản lý thường không chỉ quan tâm chi tiết đến những cái gì xảy ra trong doanh nghiệp mà còn muốn biết tại sao sao như vậy. Các yêu cầu trả lời được các dự đoán trong tương lai khi thay đổi các chính sách, chiến lược là yêu cầu hết sức cần thiết.
Trong quá trình xử lý dữ liệu nhờ trợ giúp của các hệ thống thông tin, các nhà quản lý thường mong muốn có các câu trả lời từ các câu hỏi như: "Những cái gì đã xảy ra?", "Tại sao nó lại xảy ra như vậy?" và "Khả năng sẽ xảy ra tiếp theo là như thế nào?" LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 15 Với các yêu cầu như vậy, việc xây dựng hệ thống theo các phương pháp truyền thống không đáp ứng được và cần phải có một hệ thống thông tin mới trả lời được các câu hỏi nghiệp vụ mà các nhà doanh nghiệp đưa ra. Khái niệm data warehouse đã ra đời từ đây với mục đích đáp ứng được các yêu cầu cơ bản như sau: Tối ưu hoá cơ sở dữ liệu cho mục đích báo cáo, phân tích dữ liệu Tổng hợp và kết nối dữ liệu từ các nguồn hệ thống khác nhau Lập ra các báo cáo nhanh và dễ dàng hơn Giảm chi phí khi đưa ra các báo cáo so với cách xây dựng hệ thống khác theo phương pháp truyền thống Đưa ra cái nhìn tổng quát về doanh nghiệp dựa trên dữ liệu được tích hợp từ nhiều nguồn khác nhau Hỗ trợ việc ra quyết định dựa trên dữ liệu hiện tại và dữ liệu lịch xử 1. Khái niệm về data warehouse Khối lượng dữ liệu từ các nguồn tăng nhanh, đòi hỏi ta phải có sự lựa chọn và tổ chức dữ liệu hợp lý để phục vụ cho việc tạo nên các quyết định chiến lược, đặc biệt là các quyết định trong điều hành tổ chức từ cấu trúc lưu trữ đó. Để có các CSDL theo từng chủ đề cho hệ hỗ trợ ra quyết định (DSS) và thực hiện phân tích trực tuyến nhằm khám phá tri thức trong các tổ chức và doanh nghiệp người ta thường xây dựng ra kho dữ liệu (Data warehouse) tách khỏi các CSDL tác nghiệp.
Có nhiều cách định nghĩa data warehouse (DW) nên khó có một định nghĩa chính xác. Dưới đây là định nghĩa DW của W. Inmon được nhiều người sử dụng. Khái niệm về data warehouse được phát triển khi mà các chuyên gia về IT nhận ra rằng cấu trúc của dữ liệu phục vụ cho việc tạo báo cáo trên các giao dịch là khác với cấu trúc dữ liệu phục vụ cho việc phân tích dữ liệu.
Vậy data warehouse là gì? William H. Inmon [22] định nghĩa như sau: "data warehouse là tập hợp các dữ liệu tích hợp, hướng chủ đề, không thay đổi và gắn với thời gian được thiết kế để cung cấp các thông tin cần cho việc ra quyết định". Đây là một định nghĩa ngắn gọn, nhưng cô đọng và dễ hiểu. Định nghĩa này bao hàm đầy đủ các đặc điểm chính của data warehouse.
Từ định nghĩa này dễ nhận thấy có 4 đặc điểm chính được thể hiện ở đây là: hướng chủ đề, tính tích hợp, dữ liệu không thay đổi và dữ liệu gắn với thời gian và mang tính lịch xử. Dữ liệu có tính hướng chủ đề: Hướng chủ đề trong data warehouse được thể hiện rõ khi so sánh với các ứng dụng ở hệ thống tác nghiệp. Trong hệ thống tác nghiệp, dữ LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 16 liệu được tổ chức để hỗ trợ các quy trình nghiệp vụ xác định, vì vậy, cùng một dữ liệu có thể được tổ chức theo các cách khác nhau tại các hệ thống khác nhau. Ví dụ, một khách hàng có thể xuất hiện trong nhiều bảng khác nhau trong các cơ sở dữ liệu tác nghiệp nhưng trong data warehouse chỉ có một đối tượng khác hàng trong toàn bộ hệ thống thể hiện những đặc điểm cơ bản của môi trường nghiệp vụ.
Theo tiêu chí này, data warehouse được thiết kế để giúp người sử dụng phân tích dữ liệu theo một chủ đề nào đó mà nằm rải rác tại nhiều nơi nhằm đưa ra một bức tranh đẩy đủ về chủ đề cần hỗ trợ. Chẳng hạn, để biết tình hình buôn bán của công ty, chúng ta sẽ xây dựng một data warehouse tập trung vào vấn đề buôn bán. Khi sử dụng data warehouse này, chúng ta sẽ trả lời được câu hỏi “Khách hàng nào mua nhiều đồ gia dụng nhất trong quí 3 năm 2000?”. Hình 1: Tính chủ đề trong data warehouse Dữ liệu được tích hợp: Đây là đặc điểm quan trọng nhất của data warehouse.
Dữ liệu được lấy dữ liệu từ các nguồn dữ liệu bên ngoài vào trong data warehouse theo một định dạng đã được xác định. Trong quá trình lấy dữ liệu, nó phải kiểm tra xem có sự xung đột dữ liệu hay không. Quá trình này đảm bảo dữ liệu trong data warehouse được lưu trữ theo một cấu trúc thống nhất, toàn vẹn. Hình 2: Tích hợp trong data warehouse LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 17 Không thay đổi dữ liệu: Các dữ liệu trong hệ thống tác nghiệp thường chỉ được dữ lại trong một khoảng thời gian ngắn (từ 3 đến 6 tháng) với mục đích phục vụ các các hoạt động nghiệp vụ hàng ngày.
Tuy nhiên, trong data warehouse dữ liệu được lưu trữ dài hơn nhằm phục vụ cho mục đích phân tích dữ liệu. Sau khi dữ liệu được đưa vào data warehouse, chúng ta sẽ không nên thay đổi chúng nhằm đảm bảo tính nguyên thuỷ của dữ liệu. Bởi vì mục đích của data warehouse là giúp chúng ta phân tích cái gì đã xảy ra. Hình 3: Dữ liệu không thay đổi Dữ liệu gắn với thời gian và mang tính lịch xử: data warehouse bao gồm một khối lượng lớn các dữ liệu lịch xử.
Dữ liệu được lưu trữ thành một loạt các phiên bản, mỗi phiên bản phản ánh dữ liệu tại một thời điểm nhất định. Chúng được sử dụng để phân tích xu hướng phát triển kinh doanh của doanh nghiệp. Tóm lại, data warehouse là một kho dữ liệu thống nhất được thiết kế trên một mô hình dữ liệu vật lý hỗ trợ việc ra quyết định nhằm giúp các doanh nghiệp tạo ra các quyết định chiến lược. Data warehouse cũng thường được xem như là một kiến trúc được tạo dựng bởi nhiều nguồn dữ liệu hỗn độn khác nhau có đặc tính hỗ trợ các truy vấn có cấu trúc và phi cấu trúc, các báo cáo phân tích và khả năng tạo ra quyết định.
So với các hệ thống tác nghiệp của doanh nghiệp thì data warehouse có các đặc trưng khác nổi bật như sau: Dữ liệu có tính chất chỉ đọc. Dữ liệu được cập nhật một cách định kỳ. Dữ liệu được thiết kế cho vấn đề phân tích, báo cáo nghiệp vụ. Dữ liệu được trích từ nhiều ứng dụng khác nhau.
Dễ sử dụng và cho phép các người sử dụng lấy dữ liệu phân tích dễ dàng. Người sử dụng có thể tương tác trực tiếp với hệ thống mà không cần có kiến thức nhiều của IT. Thể hiện được những thông tin hiện thời và thông tin lịch xử. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.
Lợi ích sử dụng data warehouse Định nghĩa về data warehouse đề cập ở trên cho thấy mục đích chính của nó là việc sử dụng cho mục đích phân tích và ra quyết định. Tuy nhiên có một câu hỏi đặt ra là: “Tại sao không thực hiện việc xử lý phân tích trực tuyến trên các CSDL tác nghiệp thay vì việc tiêu tốn thời gian, tiền của để tạo ra một data warehouse riêng biệt?”. Một số lý do giải thích cho vấn đề này như sau: Data warehouse được thiết kế để có thể đáp ứng tốt cho các yêu cầu truy vấn dữ liệu tổng thể khi chạy trên một lượng dữ liệu lớn. Cấu trúc của data warehouse thường là dễ định hướng hơn, và dễ hiểu hiểu khi so sánh với các ứng dụng tác nghiệp đối với những người dùng cuối.
Nó không giống với các với các cơ sở dữ liệu quan hệ mà mục tiêu chính là thiết kế ra để xử lý các giao dịch. Với data warehouse, người dùng có thể truy vấn về các hoạt động riêng rẽ của doanh nghiệp.