Chương 1: KHO DỮ LIỆU 1. TỔNG QUAN KHO DỮ LIỆU 1. Các khái niệm cơ bản về kho dữ liệu Data warehouse được biết đến là công nghệ được ra đời vào nửa đầu những năm 90 bởi 2 nhà nghiên cứu của IBM là Barry Devlin và Paul Murphy để giải quyết những vấn đề dữ liệu đã được đón nhận và được áp dụng vào thực tiễn. Hiện nay khái niệm kho dữ liệu đã không còn quá xa lạ với mọi người, nó mô tả tập hợp các công nghệ, phương pháp, kỹ thuật có thể kết hợp với nhau thực hiện các chức năng tích hợp, lưu trữ, xử lý và phân tích dữ liệu để cung cấp thông tin cho người sử dụng.
Với sự phát triển kinh tế xã hội, công nghệ 4.0 ngày càng thịnh vượng, môi trường ngày càng trở nên sôi động, mức độ cạnh tranh cao và vì thế mà một kho dữ liệu thường có dung lượng lên đến hàng trăm GB thậm chí tính bằng đơn vị TB. Và cũng nhờ có sự phát triển của công nghệ mà có thể giúp các nhà kinh doanh đưa ra những định hướng, tổng hợp các khía cạnh, những mặt chiến lược trên dữ liệu khổng lồ từ đó đưa tra cái nhìn về những xu thế đã và đang tồn tại ở mọi mặt hoạt động kinh doanh sau cùng là có những quyết định, xử lý đúng đắn, chuẩn xác. Về cơ bản có thể hiểu kho dữ liệu là nơi tập hợp các dữ liệu, thông tin có chung một chủ đề, được tổng hợp từ nhiều nguồn khác nhau trong nhiều mốc thời gian và không chỉnh sửa. Data warehouse là một sự pha trộn có cấu trúc của nhiều công nghệ bao gồm các cơ sở dữ liệu đa chiều và mối quan hệ giữa chúng.
Được dùng cho việc hỗ trợ ra quyết định, phân tích dữ liệu và lập báo cáo trong công tác quản lý.Inmon, một nhà kiến trúc hàng đầu trong việc xây dựng ngân hàng dữ liệu, thì kho dữ liệu được định nghĩa như một “tập hợp dữ liệu hướng đối tượng, tích hợp, có tính ổn định, thay đổi theo thời gian hỗ trợ cho xử lý, thực hiện quyết định quản trị”.’ Hai hình thức lưu trữ dữ liệu phổ biến nhất trong quản lý dữ liệu doanh nghiệp là kho dữ liệu và cơ sở dữ liệu. Vậy sự khác biệt giữa cơ sở dữ liệu và kho dữ liệu là gì và cái nào là tốt nhất cho tình huống của bạn? Nhóm sẽ phân tích sự khác biệt giữa cơ sở dữ liệu và kho dữ liệu để có thể tìm ra cái nào tốt nhất cho tình huống cấu trúc dữ liệu của mình. Bảng 1: So sánh sự khác biệt giữa Cơ sở dữ liệu và Kho dữ liệu 18 Yếu tố Cơ sở dữ liệu Kho dữ liệu Định nghĩa Là tập hợp những dữ liệu có liên Là một loại cơ sở dữ liệu tích hợp quan đến nhau được thiết kế với các bản sao dữ liệu giao dịch từ các mục đích là lưu trữ, khả năng truy hệ thống nguồn khác nhau và được cập và truy xuất. thiết kế để sử dụng phân tích Hiệu suât truy vấn Thấp Tốt Tóm tắt dữ liệu Dữ liệu chi tiết được lưu trữ trong Lưu trữ dữ liệu tóm tắt cơ sở dữ liệu.
Truy vấn Được tối ưu hóa để thực hiện nhanh chóng một số lượng các truy vấn Các truy vấn đơn giản phức tạp trên các tập dữ liệu đa chiều lớn. Lưu trữ dữ Sử dụng các phương pháp tiếp cận Lưu trữ dữ liệu sử dụng phương liệu,giới hạn lưu chiều và chuẩn hoá cấu trúc dữ liệu pháp tiếp cận quan hệ phẳng trữ được biết đến như lược đồ bông Bị giới hạn trong một phạm vi tuyết, sao hoạt động Không giới hạn Định hướng Theo hướng ứng dụng Theo hướng chủ đề Kỹ thuật xử lý Cơ sở dữ liệu sử dụng Xử lý giao dịch trực tuyến (OLTP) để xóa, Sử dụng Xử lý Phân tích Trực tuyến chèn, thay thế và cập nhật số (OLAP) để phân tích khối lượng lớn lượng lớn các giao dịch ngắn trực dữ liệu một cách nhanh chóng tuyến một cách nhanh chóng Cấu trúc dữ liệu Các bảng và phép nối của cơ sở Vì dữ liệu không được chuẩn hóa nên dữ liệu rất phức tạp khi chúng các phép nối bảng rất đơn giản được chuẩn hóa. Hướng sử dụng Cơ sở dữ liệu hữu ích nhất cho dữ Sử dụng cho các giao dịch lớn đòi liệu giao dịch nhỏ hỏi mức độ phân tích cao 1. Kiến trúc cơ bản của kho dữ liệu 1.
Tầng đáy - nạp dữ liệu Vai trò của tầng đáy là cung cấp dịch vụ thu thập, tích hợp dữ liệu từ nhiều nguồn khác nhau sau đó chuẩn hoá, làm sạch dữ liệu và lưu trữ dữ liệu đã được tổng hợp. Tầng giữa - OLAP (OLAP server) - Xử lý phân tích trực tuyến OLAP là kỹ thuật sử dụng các cube (khối – dữ liệu đa chiều) nhằm cung cấp khả năng truy xuất nhanh đến dữ liệu của kho dữ liệu. Tạo cube cho dữ liệu trong các bảng chiều (dimension table) và bảng sự kiện (fact table) qua đó cung cấp khả năng thực hiện các truy vấn và phân tích cho các ứng dụng client. Nó cho phép các nhà quản lý và nhà phân tích có được cái nhìn sâu sắc về thông tin thông qua khả năng truy cập thông tin nhanh chóng, nhất quán và tương tác.
OLAP là nền tảng mang lại thành công bời vì nó đem lại nhiều lợi ích cho người phân tích như sau: Đưa ra các mô hình dữ liệu đa chiều trực quan giúp người dùng dễ dàng định hướng, lựa chọn và khám phá dữ liệu Dữ liệu được tính toán trước đối với các truy vấn thường xuyên nhằm làm cho thời gian trả kết quả của các truy vấn đặc biệt trở nên nhanh chóng hơn Cung cấp các công cụ hữu ích giúp tạo các khung nhìn mới của dữ liệu cho người dùng dựa trên các tập hàm tính toán đặc biệt Toàn bộ thông tin dữ kiện được tổng hợp để phục vụ cho quản trị phân tích ở mức chuyên sâu 1. Tầng trên cùng Vai trò của tầng trên cùng là chứa các câu truy vấn, báo cáo, phân tích dữ liệu cuối cùng. Phân tích và thiết kế kho dữ liệu 1. Phân tích và thiết kế kho dữ liệu theo hướng mô hình hóa nhiều chiều (Dimensional Modeling) Cơ sở dữ liệu đa chiều là một loại hình cụ thể được cấu trúc theo một trật tự tối ưu hóa cho OLAP (xử lý phân tích trực tuyến) và kho dữ liệu.
Được xây dựng cấu trúc bởi sự 20 tích hợp dữ liệu từ các nguồn khác nhau mà công việc giữa các cơ sở dữ liệu đồng thời và rằng các mạng cung cấp, phân cấp, mảng và các dữ liệu khác định dạng phương pháp. Các dữ liệu được trình bày thông qua các mảng đa chiều trong một cơ sở dữ liệu đa chiều và mỗi giá trị riêng biệt của dữ liệu được chứa trong một phần tử có thể được truy cập bởi nhiều chỉ số. Đây là tổ chức chi tiết về dữ liệu cho các truy vấn cao cấp và phức tạp trong khi đó cung cấp hiệu năng vượt trội trong những trường hợp nhất định khi so sánh với các cấu trúc quan hệ truyền thống và cơ sở dữ liệu. Hình 1: Kiến trúc khối của kho dữ liệu Minh họa cơ sở dữ liệu dưới đây gồm 3 chiều, mỗi chiều có các mức sau: Chiều hàng hoá (Product), có các mức: sản phẩm (Product), loại sản phẩm (Category), công nghiệp (Industry).
Chiều thị trường có các mức: khu vực (Region), quốc gia (Country), thành phố (City), địa điểm (Office). Chiều thời gian, có các mức: năm (Year), quý (Quarter), tháng (Month), tuần (Week), ngày (Day). Trong kho dữ liệu, dữ liệu được thể hiện dưới dạng đa chiều gọi là khối (cube). Data cube là trung tâm phân tích, bao gồm nhiều dữ kiện (fact) và dữ kiện tạo ra nhiều chiều dữ kiện khác nhau (dimention).
Các dạng (phương pháp) tích hợp dữ liệu Hướng chủ đề (Subject Oriented) Cung cấp thông tin theo một chủ thể nhất định thay vì các hoạt động liên tục của cả tổ chức. Minh hoạ rõ hơn về hướng chủ đề ta có ví dụ chủ đề là bán hàng, hàng hoá tồn kho,… nếu bạn muốn phân tích dữ liệu thông tín bán hàng của công ty doanh nghiệp thì bạn sẽ xây dựng kho dữ liệu thiên về bán hàng nó sẽ cung cấp những thông tin, số liệu có giá trị như “mặc hàng nào bán chạy nhất trong các mùa” hoặc “những nhóm khách hàng tiềm năng nào mang lại doanh thu tốt cho công ty”. Tóm tại mục tiêu mà kho dữ liệu hướng đến là phục vụ các yêu cầu phân tích hoặc khai phá dữ liệu cụ thể gọi là chủ đề. Hướng tích hợp (Integrated Oriented) Trong các doanh nghiệp, công ty các dữ liệu cần phân tích sẽ nằm rải rác ở mọi bộ phận khác nhau nên do đó kho dữ liệu được phát triển bằng cách tích hợp, làm sạch, sắp xếp các nguồn dữ liệu này về một dạng thống nhất cụ thể sẽ giúp chúng ta có thể xem đồng thời nhiều nhóm chỉ tiêu khách nhau.
Hướng tích hợp sẽ được diễn ra trong quá trình ETL là tính năng quan trọng nhất của kho dữ liệu. Hướng biến đổi theo thời gian (Time Variant Oriented) Trong data warehouse dữ liệu lưu trữ được gán một nhãn thời gian cụ thể tương ứng tại thời điểm nhập. Lợi ích là giúp ta so sánh các dữ liệu với nhau để biết chúng đang thay đổi ra sao. Ví dụ như để được doanh thu của mặt hàng đó có tốt hay không ta sẽ so sánh doanh số bán được của sản phẩm vào thời điểm hiện tại với quá khứ qua đó sẽ đưa các quyết định phù hợp.
Hướng ổn định (Non Volatile Oriented) Kho dữ liệu chỉ có hai thao tác chính là đọc và tải không chỉnh sữa hoặc thêm mới dữ liệu bởi vì dữ liệu một khi đã được nhập sẽ không được phép thay đổi. Điều này giúp ta phân tích những gĩ đã xảy ra trong hiện tại và trước đó. Các bước cơ bản trong tiến trình tích hợp dữ liệu Bước 1: Trích xuất dữ liệu bằng cách thu thập dữ liệu lớn từ nhiều nguồn. Minh họa: Trích từ csdl bệnh nhân, các bản chép tay, word, excel Bước 2: Làm sạch dữ liệu bằng cách tìm lỗi và sửa sai.
Khắc phục các giá trị NULL, xử lý các giá trị trống trong database. Việc trống quá nhiều dữ liệu dẫn đến thông tin bị lệch, dự đoán dự báo bị sai, dẫn đến hệ thống dự báo dự đoán sai.