CHƯƠNG 1. KHO DỮ LIỆU 1.1 TONG QUAN VE KHO Df LIEU MATAWARKHOUSE) 1.1 Sự ra đời và phát triển công nghệ khu dữ liệu gây nay thông tin đóng vai trỏ rất quan trọng trong mỗi trường nghiệp vụ, sự thành công hay thất bại của nghiệp vụ liên quan đến việc có thể sử dụng hiệu quả thông tin được hay không. Sự thay đổi nhanh chóng trong môi trường hoạt đông nghiệp vụ đòi hỏi phải truy cập được ngay thông tin cần thiết. Rất ít tổ chức có đủ lượng thông tin cần thiết, thậm chí vẫn thiếu những thông tin cơ bản nhất, mặc dù ho dang “chim ngập trong di liệu”.
Vấn để đặt ra là làm thế nào để có được những thông tin cần thiết từ các dữ liêu đó? “Trước hết, chúng ta can phân biệt được điểm khác biệt cơ bản giữa đữ liệu và thông lin. Dữ liệu bao gồm các sự kiện, văn bản để hoạ, âm thanh, đoạn phim có một giá trị nao đế đổi với người sử dụng chúng và được lưu trữ xử lý trong máy tính. 'Thông tin là dữ liệu đã dược xử lý theo cách mả chúng ta có thể làm tăng ham lượng tri thức cho người sử dụng nó [5] 1o các doanh nghiệp tự chuyển đối để có thể canh tranh trong môi trường thiến đổi liên Lục, thể giới thông tin trong cơn mắt những nhà quản lý và lãnh đạo cũng thay đổi theo. Trong thế giới thực, các ranh giới luôn biến đổi, bị xoá bả và xây đựng lại.
Trước kia mục tiêu chính là phân lớp, cấu trắc thì ngày nay là tính năng dộng, chuyển déi Cùng với sự phát triển của công nghệ thông tia, các hệ thống tác nghiệp ngày càng phát triển cả về chất lượng và số lượng, hỗ trợ dắc lực trong công tac quan ly và điều hành trên từng lĩnh vực khác nhau. Mỗ¡ hệ thống được xây dựng độc lập trên một lĩnh vực, phục vụ một mục đỉch nào đó của người sử dụng. Trong các hé thống đó, đa phân cơ sở dữ liệu (CSÐL) được lưu trữ dưới dạng mô hình Œ§DI, quan hệ và dữ liệu không được lưu trữ dưới dạng tổng hợp. Một thực tế đặt ra và cũng là một bức xúc của người lãnh đạo là khi lượng thông tin lưu trữ ngày cảng lớn nhưng sự phát triển lại theo những chủ đề, những lĩnh vực rất khác nhau nên gây ra nhiều khỏ khăn trong céng tác phân tích, tổng hợp số liệu hỗ trợ kịp thời Irong công tác quản ly và điều hành.
Thông -9- tin quản lý cung cấp đến lãnh đạo từ nhiều nguồn khác nhau, có khi cùng một chỉ tiêu qua mỗi bộ phận xử lý lại cho những kết quả hoàn toàn trái ngược nhau gay khé khăn cho các nhà lãnh dạo trong việc dưa ra các quyết dịnh một cách kịp thời I3ữ liệu lưu trữ trong các CSIL thường theo hạn định nên thường không, có tính lịch sử, gầy ra nhiều khó khăn trong việc đối chiếu, so sánh số liễu, từ dỏ đưa Ta các đánh giá đúng sự phát triển và kịp thời để có những điều chỉnh hoặc bổ sung kế hoạch. Như vậy, vấn để đặt ra dòi hỏi phái có một mô hình đữ liệu nào đỏ cho phép lưu trữ dữ liệu lớn có tính lịch sử và theo thời gian, đồng thời, cung cấp phương pháp truy nhập nhanh, phân tích dữ liệu theo nhiều chiều khác nhau sẵn sảng đáp ứng những câu hỏi theo bất kỳ tỉnh huống nao của người lãnh dạo Việc xây dựng lại từ đầu một ứng đụng để đáp ủng được yêu câu trên là không đơn giản và khó chấp nhận vì dữ liệu hiện tại đã có và đang trợ giúp hoạt động quản lý trên nhiều lĩnh vực vì vậy cần có một công nghé nao dé ra dai dap ứng được yêu cầu trên đồng thời sử dụng lại được số liệu của các CSDL sẵn có để kết hợp lại thành một kho đữ liệu mang tính chiến lược, trở thành tài sắn quý báu của doanh nghiệp. Ngoài ra, khi lượng, dữ liệu tăng lên thì việc tìm kiếm, tra cứu, tổng hợp dữ liệu sẽ gặp rất nhiều khó khăn và mất nhiều thời gian nên cũng đòi hổi một giãp pháp cho phép tính toán trước số liệu sẵn có. Trước yêu cầu thực tế đặt ra, sông nghệ kho dữ liệu (DataWarchouse- DW) ra đời đáp ứng và thoả mãn những yêu cầu trên, trợ giúp đắc lực cho các nhả quản lý, lãnh đạo khi đứng trước những bài toán mang tính chiến lược.
hư vậy, kho đữ liệu nây sinh từ hai vấn để [3] - Nhu cầu nghiệp vụ cần có cách nhìn thông tin trên quy mỗ toàn xí nghiệp - Sự cần thiết có hệ thống thông tin để quản lý hiệu quả đữ liệu của các tổ chức. Hai diều này tuy không lên quan đến nhau nhưng kết hợp lại sẽ tạo ra những quan điểm và giải pháp mới. Nếu xác định được các nhu cầu của hệ thống thông tin để quản lý dữ liệu thì nhu cầu nghiệp vụ về cách nhìn thông tin trên quy mê toàn xí nghiệp sẽ dễ đảng dạt dược. Tương tự, nhu cầu thử nhất cũng.
như những lợi ích nghiệp vụ mả nó dem lại là những biện hộ cần thiết cho -10- việc giải quyết vẫn đề quản lý đữ liệu. Chính sự kết hợp này làm cho khái niệm +kho dữ liệu phát triển. Đôi nót về quá trình phát triển công nghệ kho đữ liệu |3| - Cuối những năm 80, kho dữ liệu bất dau xuất hiện. - Năm 1988, có một bài báo đầu tiên mô tá câu trúc kho dữ liệu.
Bài báo này mô tả những công việc đã thực hiên để thiết kế kho dữ liệu phục vụ chỉ nhánh IBM tai châu Âu. - Dau thập niên 90, cuộc cách mạng về xử lý dữ liệu không chí là phổ cập kho dữ liệu mà còn tạo điều kiện để mở rộng khái niệm kho dữ liệu ra ngoài những kiểu dữ liệu truyền thống, bắt dầu kết hợp tất cả các khía cạnh về cách thức người dùng thực thị nhiệm vụ của mình. -Thé ky 21 - ky nguyên cúa quán lý dựa trên thông tin Ngày nay, chủng ta chờ đợi và đự đoán tương lai dựa trên những phác thảo quá khứ. Điểm mấu chết của sự dự đoán này là nhú cầu tăng lợi thể cạnh tranh đã khiến nền tầng hỗ trợ việc ra quyết định chuyền từ dữ liệu sang thông tin.
Định hướng nảy có thể được mô tả bởi thuật ngữ quân lý dựa trên thông tin (nformation-based managermnent).2 Kho đữ liệu là gì? Có thể gói gọn ngành tín học trong ba Lừ là lưu gữ, xử lý và khai thác thông tin. Về mặt lưu trữ, các hệ quản trị cơ sở đữ liệu đều thực hiện rất tốt. Tuy nhiên, khi lượng thông tin cần lưu trữ và khai thác trở nên khổng lỗ đặc biệt trong những ngành như ngân hàng, tài chính,. dã làm nay sinh khái niệm DatzWarchousc hay kho dữ liệu.
Kho dữ liệu là huyền tập các CSDL tích hợp, hướng chủ để, được thiết kế dễ hỗ trợ cho chức năng trợ giúp quyết định, mà môi dơn vị đữ liệu dẫu liên quan tới mội khoảng thời gian cụ thể |1. Nói cách khác, kho dữ liệu là một tập hợp các C8I2I. rất lớn tới hàng trăm GB hay thâm chi hang Terabyte dif ligu tir nhi fu nhân hệ của hệ thống, lưu trữ xà phân tích phục vụ cho việc cung cấp các dịch vụ thông tin liên quan tới nghiệp vụ hệ thông. -11- Mục tiêu chỉnh của kho dữ Hệu là giải quyết những vẫn dé co ban sau 1.
Tích hợp đỡ liêu và các siêu dữ liệu từ những nguồn khác nhau. Nâng cao chất lượng dữ liệu bằng các phương pháp làm sạch và tỉnh lọc đữ liệu theo những hướng chủ dễ nhất dịnh 3. Tổng hợp và kết nối đữ liệu. Đồng bộ hoá các nguồn đữ liệu với DW 5.
Phân định và đồng nhật các hệ quản trị cơ sở dữ liêu tác nghiệp như là các công cụ chuẩn dé phục vụ cho I2W. Quản lý những siêu dữ liệu. Cung cấp thông tin được tích hợp, tóm. tất hoặc được liên kết, được tổ chức theo các chủ đề 8.
Dùng trong các hệ thống hỗ trợ quyết dinh (DSS), các hệ thống thông tin tac nghiệp hoặc hỗ trợ cho các truy vấn đặc biệt.3 Mô hình chung của công nghệ kho dữ Hệu Có thể khái quát mô hình chung của công nghệ kho dữ liệu được chia làm 3 khết sau |2| 1. Khối thiết kế ŒSI2L kho dữ liệu: Làm nhiệm vu thu thập các yêu cầu của người sử dụng, xây dựng mô hình khái niệm, mô hình lopie và mô hình vật lý cho kho dữ liệu. Khối thiết kế kiên trúc kho dữ liêu, được chia thành 3 phần -_ Kiền trúc tải đữ liệu: Có nhiệm vụ thu thập đữ liệu từ các nguồn dữ liệu khác nhau, chuyên. đổi, làm sạch và nạp vào CSIL dự trữ trước khi đưa sang CSDL kho dữ liệu.
-_ Kiền trúc dữ liệu: làm nhiệm vụ lưu trữ các dạng đữ liệu trong kho dữ liệu. -_ Kiến trúc truy cập: Cung cấp cho các đối tượng sử dụng thông qua các công cụ phân tích, khai phá đữ liệu. Khối vận hành và quản trị kho đữ liệu: Khối này làm nhiệm vụ: quản lý về an toàn, bảo mật và độ ơu tiên; quản lý sự cập nhật dữ liệu từ các -12- nguôn khác nhau; kiểm tra chất lượng dữ liệu, Lái tạo dữ liệu; chia nhỏ và phân tán đữ liệu; lưu trữ các bắn sao và phục hải đữ liệu.4 Đặc tính của dữ liệu trong kho đĩ liệu 1. Tĩnh tích hợp Một DW là một khung nhìn thông tin mrức toàn xí nghiệp, thông nhất các khung nhìn khác nhau thành một khung nhìn theo một chủ điểm nảo đó.
Tính tich hop trong DW được chia theo nhiễu cách phủ hợp với quy ước về tên gọi, số đo, cấu trúc mã hoá và những thuộc tỉnh vật lý của dữ liệu. Các tên gọi, biến, thuộc tính có thể được mồ tả khác nhau trong các ứng dụng, song chúng sẽ được tích hợp lại trong kho dữ liêu ở đang chung nhất. Như vậy, tính tích hợp trong kho thể hiện ở chỗ: dữ liệu tập hợp trong kho đữ liệu được thu thập từ nhiều nguồn và trộn ghép với nhau tạo thành miột thể thống nhất. Hướng chủ đỀ Dữ liệu trong DW được tổ chức theo các chủ để phục vụ cho những tổ chức dễ đàng xác định được những thông tin cần thiết trong từng hoạt động của mỉnh.
Do đó, cách tổ chức của kho dữ liệu dựa vào dữ liệu là chính. 2W không lưu trữ dữ liệu chỉ tết, chỉ cần lưu ưữ những dữ liệu có tỉnh tổng hợp phục vụ chủ yếu cho quá trình phân tích đề trợ giúp quyết định. Dữ liệu có từnh lịch sứ Dữ liệu trong hệ thống tác nghiệp cần phải chính xác ở chính thời điểm.