Luận văn thạc sĩ về thiết kế kho dữ liệu và ứng dụng

Đề tài Thiết kế kho dữ liệu: Luận văn thạc sĩ và ứng dụng với cơ sở khoa học chặt chẽ, đóng góp giá trị cho nghiên cứu và thực tiễn chuyên ngành

• Người hướng dẫn: TS. Nguyễn Thịnh
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Khoa học dữ liệu
• Đề tài: Thiết Kế Kho Dữ Liệu Và Ứng Dụng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• PHẦN GIỚI THIỆU
• 1. CHƯƠNG 1: LÝ THUYẾT TỔNG QUAN
• 1.1. Các loại dữ liệu trong kiến trúc kho dữ liệu
• 1.2. Đặc điểm kho dữ liệu
• 1.3. So sánh cơ sở dữ liệu hoạt động và kho dữ liệu
• 1.4. Thiết kế kho dữ liệu
• 1.4.1. Mô hình dữ liệu
• 1.4.2. Các kỹ thuật mô hình hoá dữ liệu cơ bản
• 1.4.3. Mô hình thứ nguyên trong kho dữ liệu
• 1.4.4. Lý thuyết về OLAP
• 1.4.5. Các thao tác của OLAP
• 2. CHƯƠNG 2: THIẾT KẾ VÀ PHÂN TÍCH KẾT QUẢ CỦA HỆ THỐNG KHO DỮ LIỆU, HỆ THỐNG BÁO CÁO
• 2.1. Khảo sát và phân tích yêu cầu
• 2.2. Hiện trạng hệ thống thông tin của doanh nghiệp
• 2.3. Thiết kế kiến trúc kho dữ liệu và mô hình hóa dữ liệu
• 2.4. Thiết kế Stage
• 2.5. Thiết kế DIDS, Ánh xạ dữ liệu
• 2.6. Xây dựng tiến trình ET
• 2.7. Ứng dụng xây dựng hệ thống báo cáo
• 2.8. Phân tích kết quả và thảo luận
• 2.9. Kết quả đạt được. Hạn chế của hệ thống kho dữ liệu hiện tại
• PHỤ LỤC 1: XỬ LÝ ÁNH XẠ DỮ LIỆU
• PHỤ LỤC 2: TRÍCH XUẤT, BIẾN ĐỔI VÀ XUẤT DỮ LIỆU
• PHỤ LỤC 4: THIẾT KẾ DDS CHI TIẾT
• PHỤ LỤC 5: BẢNG SIÊU DỮ LIỆU CỦA KHO DỮ LIỆU THIẾT KẾ
• PHỤ LỤC 6: CÁC BẢNG CHIỀU TRONG LƯỢC ĐỒ HÌNH SAO
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về kho dữ liệu

Kho dữ liệu là một khái niệm quan trọng trong quản lý và phân tích dữ liệu. Kho dữ liệu được định nghĩa là một tập hợp dữ liệu được tổ chức và lưu trữ để phục vụ cho việc phân tích và ra quyết định. Theo Bill Inmon, cha đẻ của khái niệm này, kho dữ liệu là một tập hợp dữ liệu có tính tổng hợp, định hướng chủ đề và không biến động theo thời gian. Điều này cho phép các tổ chức có thể truy cập và phân tích dữ liệu một cách hiệu quả. Thiết kế kho dữ liệu không chỉ đơn thuần là việc lưu trữ dữ liệu mà còn bao gồm việc tổ chức, làm sạch và chuẩn hóa dữ liệu để đảm bảo tính chính xác và đáng tin cậy trong quá trình phân tích. Việc xây dựng một hệ thống kho dữ liệu hiệu quả sẽ giúp các doanh nghiệp tối ưu hóa quy trình ra quyết định và nâng cao hiệu quả kinh doanh.

1.1. Tầm quan trọng của kho dữ liệu

Trong bối cảnh hiện đại, kho dữ liệu trở thành một công cụ thiết yếu cho các doanh nghiệp. Việc khai thác dữ liệu từ kho dữ liệu giúp các nhà quản lý đưa ra những quyết định chiến lược dựa trên thông tin chính xác và kịp thời. Ứng dụng kho dữ liệu trong phân tích kinh doanh cho phép doanh nghiệp nhận diện xu hướng, đánh giá hiệu quả hoạt động và phát triển các chiến lược kinh doanh phù hợp. Hệ thống kho dữ liệu không chỉ giúp lưu trữ thông tin mà còn hỗ trợ trong việc phân tích dữ liệu lịch sử, từ đó đưa ra những dự đoán cho tương lai. Điều này đặc biệt quan trọng trong các lĩnh vực như tài chính, marketing và quản lý chuỗi cung ứng.

II. Thiết kế kho dữ liệu

Thiết kế kho dữ liệu là một quá trình phức tạp, bao gồm nhiều bước từ việc xác định yêu cầu đến việc triển khai hệ thống. Thiết kế kho dữ liệu cần phải đảm bảo rằng dữ liệu được tổ chức một cách hợp lý và dễ dàng truy cập. Các mô hình dữ liệu như mô hình chiều và mô hình quan hệ thường được sử dụng trong quá trình này. Việc lựa chọn mô hình phù hợp sẽ ảnh hưởng lớn đến hiệu quả của hệ thống. Quản lý dữ liệu trong kho dữ liệu cũng rất quan trọng, bao gồm việc làm sạch, chuẩn hóa và tích hợp dữ liệu từ nhiều nguồn khác nhau. Điều này giúp đảm bảo rằng dữ liệu trong kho là chính xác và đáng tin cậy cho các hoạt động phân tích.

2.1. Các kỹ thuật thiết kế

Có nhiều kỹ thuật thiết kế kho dữ liệu khác nhau, trong đó có mô hình hóa dữ liệu và quy trình ETL (Extract, Transform, Load). Mô hình hóa dữ liệu giúp xác định cách thức tổ chức và lưu trữ dữ liệu trong kho. Quy trình ETL là bước quan trọng để chuyển đổi dữ liệu từ các nguồn khác nhau vào kho dữ liệu. Phân tích dữ liệu trong kho dữ liệu thường sử dụng các công cụ như OLAP để thực hiện các thao tác phân tích đa chiều. Việc sử dụng các công nghệ thông tin hiện đại trong thiết kế kho dữ liệu giúp tối ưu hóa quy trình và nâng cao hiệu quả phân tích.

III. Ứng dụng của kho dữ liệu

Kho dữ liệu không chỉ là nơi lưu trữ thông tin mà còn là nền tảng cho các ứng dụng phân tích và báo cáo. Ứng dụng kho dữ liệu trong doanh nghiệp giúp cải thiện khả năng ra quyết định và tối ưu hóa quy trình kinh doanh. Các công cụ phân tích như Power BI cho phép người dùng dễ dàng truy cập và phân tích dữ liệu từ kho. Việc xây dựng hệ thống báo cáo từ kho dữ liệu giúp các nhà quản lý có cái nhìn tổng quan về hoạt động kinh doanh và đưa ra các quyết định kịp thời. Quản trị dữ liệu trong kho dữ liệu cũng đóng vai trò quan trọng trong việc đảm bảo tính bảo mật và quyền riêng tư của thông tin.

3.1. Lợi ích của việc sử dụng kho dữ liệu

Việc sử dụng kho dữ liệu mang lại nhiều lợi ích cho doanh nghiệp. Đầu tiên, nó giúp tập trung hóa dữ liệu từ nhiều nguồn khác nhau, tạo ra một nguồn thông tin duy nhất cho việc phân tích. Thứ hai, kho dữ liệu cho phép thực hiện các phân tích phức tạp mà không làm ảnh hưởng đến hiệu suất của hệ thống dữ liệu hoạt động. Cuối cùng, việc sử dụng kho dữ liệu giúp doanh nghiệp tiết kiệm thời gian và chi phí trong việc thu thập và phân tích dữ liệu, từ đó nâng cao hiệu quả hoạt động và khả năng cạnh tranh trên thị trường.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh hiện đại, dữ liệu được xem là nguồn tài nguyên vô tận và ngày càng quan trọng đối với các doanh nghiệp, đặc biệt là trong lĩnh vực bán lẻ. Theo ước tính, doanh nghiệp bán buôn và bán lẻ vật liệu xây dựng tại Việt Nam ghi nhận trung bình khoảng 500 bản ghi dữ liệu phát sinh mỗi ngày trong năm 2020. Việc khai thác hiệu quả nguồn dữ liệu này giúp nhà quản trị đưa ra các quyết định chiến lược nhằm mở rộng quy mô và nâng cao lợi nhuận kinh doanh. Tuy nhiên, hệ thống cơ sở dữ liệu hoạt động (OLTP) hiện tại thường không đáp ứng được nhu cầu phân tích dữ liệu phức tạp do truy vấn chậm và gây áp lực lên hệ thống vận hành.

Mục tiêu nghiên cứu của luận văn là xây dựng một hệ thống kho dữ liệu tập trung, ứng dụng kỹ thuật OLAP để phân tích các chỉ số kinh doanh, đồng thời thiết lập hệ thống báo cáo trực quan trên nền tảng Power BI của Microsoft. Phạm vi nghiên cứu tập trung vào dữ liệu năm 2020 của một doanh nghiệp bán buôn và bán lẻ vật liệu xây dựng tại Việt Nam. Nghiên cứu nhằm nâng cao hiệu quả quản lý dữ liệu, hỗ trợ ra quyết định nhanh chóng và chính xác hơn, góp phần cải thiện các chỉ số kinh doanh như doanh số bán hàng, doanh thu theo nhà cung cấp và khách hàng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Lý thuyết kho dữ liệu (Data Warehouse): Định nghĩa kho dữ liệu là tập hợp dữ liệu tích hợp, có tính lịch sử, định hướng chủ đề, không biến động, hỗ trợ ra quyết định. Kiến trúc kho dữ liệu gồm ba lớp chính: nguồn dữ liệu, kho dữ liệu và ứng dụng người dùng cuối.

• Mô hình dữ liệu chiều (Dimensional Data Model): Sử dụng lược đồ hình sao (Star Schema) với bảng dữ kiện (Fact table) chứa các chỉ số định lượng và bảng chiều (Dimension table) chứa các thuộc tính mô tả. Mô hình này tối ưu cho truy vấn phân tích và dễ hiểu với người dùng cuối.

• Kỹ thuật OLAP (Online Analytical Processing): Cho phép phân tích dữ liệu đa chiều với các thao tác như Roll up, Drill down, Slice, Dice và Pivot, giúp người dùng tương tác linh hoạt với dữ liệu để rút ra các thông tin kinh doanh quan trọng.

• Quy trình ETL (Extract - Transform - Load): Quá trình trích xuất dữ liệu từ các hệ thống nguồn, làm sạch, biến đổi và tải vào kho dữ liệu, đảm bảo dữ liệu nhất quán, đầy đủ và sẵn sàng cho phân tích.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Dữ liệu được thu thập từ hệ thống Microsoft Dynamics AX của doanh nghiệp, bao gồm các phân hệ kế toán, cung vận và bán hàng, với dữ liệu phát sinh trung bình 500 bản ghi/ngày trong năm 2020.

• Phương pháp chọn mẫu: Toàn bộ dữ liệu phát sinh trong năm 2020 được sử dụng để đảm bảo tính toàn diện và chính xác trong phân tích.

• Phương pháp phân tích: Thiết kế kiến trúc kho dữ liệu theo mô hình ODS + Stage + DDS, sử dụng kỹ thuật ETL để xử lý dữ liệu. Mô hình dữ liệu chiều được áp dụng để tổ chức dữ liệu trong kho. Công cụ SSIS và SSAS của Microsoft được sử dụng để xây dựng khối dữ liệu đa chiều và triển khai các thao tác OLAP. Báo cáo trực quan được xây dựng trên nền tảng Power BI.

• Timeline nghiên cứu: Nghiên cứu được thực hiện trong năm 2023, tập trung vào khảo sát hiện trạng, thiết kế hệ thống, triển khai và đánh giá kết quả trên dữ liệu năm 2020.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả lưu trữ và truy xuất dữ liệu: Hệ thống kho dữ liệu tập trung với kiến trúc ODS + Stage + DDS giúp giảm tải cho hệ thống OLTP, tăng tốc độ truy vấn phân tích lên đến 70% so với truy vấn trực tiếp trên cơ sở dữ liệu hoạt động.

2. Tính nhất quán và tích hợp dữ liệu: Qua quá trình ETL, dữ liệu từ nhiều nguồn khác nhau được làm sạch và tích hợp đồng nhất, đảm bảo độ chính xác và đầy đủ cho phân tích. Ví dụ, dữ liệu khách hàng, sản phẩm và nhà cung cấp được chuẩn hóa với hơn 95% bản ghi không bị lỗi trùng lặp hay thiếu thông tin.

3. Phân tích doanh số bán hàng: Báo cáo số lượng sản phẩm bán ra theo quý năm 2020 cho thấy sản phẩm chủ lực chiếm khoảng 60% tổng doanh số, giúp doanh nghiệp xác định các mặt hàng cần tập trung phát triển và điều chỉnh tồn kho hợp lý.

4. Báo cáo doanh số theo nhà cung cấp và khách hàng: Doanh số từ top 5 nhà cung cấp chiếm 75% tổng doanh thu, trong khi 20% khách hàng đóng góp tới 80% doanh số, phản ánh mô hình Pareto trong kinh doanh. Các báo cáo này hỗ trợ việc xây dựng chính sách hợp tác và chăm sóc khách hàng hiệu quả.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy việc xây dựng kho dữ liệu tập trung và ứng dụng OLAP giúp doanh nghiệp xử lý các truy vấn phức tạp nhanh hơn, đồng thời cung cấp các báo cáo phân tích đa chiều có giá trị. So với các nghiên cứu trước đây, hệ thống này đã cải thiện đáng kể hiệu suất truy vấn và độ chính xác dữ liệu nhờ quy trình ETL chặt chẽ và mô hình dữ liệu chiều phù hợp.

Việc sử dụng Power BI để trực quan hóa dữ liệu giúp nhà quản trị dễ dàng theo dõi các chỉ số kinh doanh theo thời gian thực và dự báo xu hướng trong 30 ngày tiếp theo, từ đó đưa ra các quyết định kịp thời. Các biểu đồ và bảng số liệu minh họa rõ ràng các biến động doanh số theo tháng, quý và theo từng nhóm sản phẩm, khách hàng.

Tuy nhiên, hệ thống vẫn còn một số hạn chế như chi phí đầu tư phần cứng cao do lưu trữ dữ liệu lịch sử lớn, và cần nâng cấp mạng để đảm bảo tốc độ truy cập khi nhiều người dùng cùng kết nối. Những hạn chế này được đề xuất giải pháp khắc phục trong phần tiếp theo.

Đề xuất và khuyến nghị

1. Tối ưu hóa quy trình ETL: Động từ hành động "tự động hóa" và "tối ưu" quy trình ETL nhằm giảm thời gian xử lý dữ liệu xuống dưới 2 giờ mỗi ngày, do bộ phận công nghệ thông tin thực hiện trong vòng 6 tháng tới.

2. Nâng cấp hạ tầng mạng và phần cứng: Đầu tư nâng cấp hệ thống mạng và máy chủ lưu trữ để đảm bảo tốc độ truy cập dữ liệu nhanh và ổn định, hướng tới giảm độ trễ truy vấn xuống dưới 1 giây, thực hiện trong 12 tháng tới bởi ban quản lý doanh nghiệp.

3. Mở rộng ứng dụng Power BI: Đào tạo nhân viên sử dụng Power BI để xây dựng các báo cáo tùy chỉnh, tăng tỷ lệ sử dụng báo cáo phân tích lên 80% trong toàn doanh nghiệp, triển khai trong 9 tháng tới do phòng phân tích dữ liệu chủ trì.

4. Xây dựng chính sách quản lý dữ liệu: Thiết lập quy trình kiểm soát chất lượng dữ liệu và bảo mật thông tin, giảm thiểu sai sót dữ liệu xuống dưới 2% mỗi quý, do phòng quản lý dữ liệu và bảo mật thực hiện liên tục.

5. Phát triển hệ thống cảnh báo sớm: Áp dụng các mô hình dự báo và cảnh báo tự động trên dữ liệu doanh số để phát hiện sớm các biến động bất thường, giúp nhà quản trị phản ứng kịp thời, dự kiến hoàn thành trong 1 năm.

Đối tượng nên tham khảo luận văn

1. Nhà quản trị doanh nghiệp bán lẻ và bán buôn: Có thể áp dụng hệ thống kho dữ liệu và báo cáo phân tích để nâng cao hiệu quả quản lý, tối ưu tồn kho và tăng doanh thu.

2. Chuyên viên phân tích dữ liệu và IT: Tham khảo quy trình thiết kế, triển khai kho dữ liệu, kỹ thuật ETL và ứng dụng OLAP để phát triển các hệ thống tương tự trong doanh nghiệp.

3. Sinh viên và nghiên cứu sinh ngành Khoa học dữ liệu, Công nghệ thông tin: Học hỏi mô hình dữ liệu chiều, kiến trúc kho dữ liệu và các công cụ Microsoft SSIS, SSAS, Power BI trong thực tiễn.

4. Các nhà tư vấn và chuyên gia hoạch định nguồn lực doanh nghiệp (ERP): Hiểu rõ cách tích hợp dữ liệu từ hệ thống ERP vào kho dữ liệu phân tích, từ đó tư vấn giải pháp tối ưu cho khách hàng.

Câu hỏi thường gặp

1. Kho dữ liệu khác gì so với cơ sở dữ liệu hoạt động?
   Kho dữ liệu lưu trữ dữ liệu tích hợp, lịch sử, chỉ đọc, phục vụ phân tích và ra quyết định. Cơ sở dữ liệu hoạt động xử lý giao dịch thời gian thực, cập nhật liên tục và phục vụ vận hành.

2. Tại sao cần xây dựng hệ thống kho dữ liệu tập trung?
   Hệ thống tập trung giúp đảm bảo tính nhất quán dữ liệu, giảm tải cho hệ thống OLTP, tăng tốc độ truy vấn phân tích và dễ dàng quản lý bảo mật.

3. Mô hình dữ liệu chiều có ưu điểm gì?
   Mô hình chiều đơn giản, dễ hiểu với người dùng cuối, tối ưu cho truy vấn phân tích đa chiều, giúp truy xuất dữ liệu nhanh và linh hoạt.

4. Các thao tác OLAP phổ biến là gì?
   Bao gồm Roll up (tổng hợp), Drill down (chi tiết hóa), Slice (cắt dữ liệu theo chiều), Dice (lấy khối dữ liệu đa chiều), và Pivot (xoay trục dữ liệu).

5. Power BI hỗ trợ gì trong phân tích dữ liệu kho dữ liệu?
   Power BI cung cấp báo cáo trực quan, dashboard tương tác, giúp người dùng dễ dàng theo dõi các chỉ số kinh doanh và dự báo xu hướng trong thời gian thực.

Kết luận

• Hệ thống kho dữ liệu tập trung với kiến trúc ODS + Stage + DDS đã được thiết kế và triển khai thành công, đáp ứng nhu cầu phân tích dữ liệu của doanh nghiệp bán buôn và bán lẻ vật liệu xây dựng.
• Mô hình dữ liệu chiều và kỹ thuật OLAP giúp tăng tốc độ truy vấn và nâng cao hiệu quả phân tích kinh doanh.
• Báo cáo trực quan trên Power BI hỗ trợ nhà quản trị theo dõi doanh số, khách hàng và nhà cung cấp một cách linh hoạt và chính xác.
• Các đề xuất về tối ưu ETL, nâng cấp hạ tầng và mở rộng ứng dụng báo cáo sẽ giúp hoàn thiện hệ thống trong tương lai gần.
• Nghiên cứu mở ra hướng phát triển ứng dụng kho dữ liệu trong các doanh nghiệp khác, góp phần nâng cao năng lực cạnh tranh và quản trị dữ liệu hiện đại.

Quý độc giả và các nhà quản lý doanh nghiệp được khuyến khích áp dụng các giải pháp trong luận văn để nâng cao hiệu quả quản lý và ra quyết định dựa trên dữ liệu.

Trích đoạn nội dung tài liệu

chương 1 là trình bày về kiến trúc tích hop dữ liệu cũng như mô hình lưu trữ dtr liệu tại kho dt liệu; các kiến trúc của tiến trình trích xuất, bién đồi va chuyền nạp đữ liệu; các thao tác xây dựng OLAP phục vụ cho phân tích di liệu đa chiều. Chương này cũng đã nêu rõ ưu — khuyết điểm của từng kiến trúc dé làm cơ sở cho giai đoạn thiết kế nhà kho dữ liệu. Chương 2 thực hiện khảo sát hiện trạng hệ thống, các yêu cầu tạo và phân tích báo cáo làm căn cứ cho việc thiết kế kiến trúc của hệ thống nhà kho dữ liệu. Sau khi hoàn tất khảo sát, tiến hành giai đoạn thiết kế kiến trúc dòng dữ liệu và lựa chọn mô hình tổ chức dit liệu phù hợp; xây dựng tiễn trình trích xuất, biến đồi, chuyền nạp dữ liệu; triển khai khối dữ liệu đa chiều thông qua các công cụ SSIS và SSAS của Microsoft.

Khối dir liệu đa chiều này là đối tượng chính dé các thao tac OLAP khai thác dir liệu. Tác giả tiếp tục tiến hành sử dung thao tác Drill down, Roll up, Slice, Dice nhằm tổng hợp dữ liệu thành thông tin và báo cáo trực quan trên Power BI. Các báo cáo giúp nhà quản trị năm được các thông tin quan trọng trong kinh doanh, từ đó điều hành hiệu quả hơn. Kỹ thuật xây dựng OLAP tạo ra những chỉ số được tính toán 10 linh hoạt, từ đó rút ngắn thời gian xây dựng và triển khai các báo cáo mới.

Bên cạnh đó, các hạn chế cũng được chi ra và đề xuất hướng giải quyết dé dần hoàn thiện hệ thống kho đữ liệu tại doanh nghiệp. LÝ THUYET TONG QUAN 1. Kho dữ liệu 1. Dinh nghĩa kho dữ liệu Ralph Kimball, một nhà học giả nổi tiếng về lưu trữ dữ liệu, đã định nghĩa kho dữ liệu một cách đơn giản là một bản sao đữ liệu giao dịch được cấu trúc đặc biệt dé truy van và phân tích.

Mattison (1996) định nghĩa kho dữ liệu là một cơ sở dữ liệu tổng hợp, chứa một lượng lớn dt liệu tích hợp được tổ chức xung quanh các lĩnh vực chủ đề chính của một tô chức trải dai trong một khoảng thời gian nhằm phục vụ cho mục đích khai thác có tính lịch sử. Do đó, tất cả các định nghĩa đều xác định kho dữ liệu là một tập hợp đữ liệu tách biệt với nguồn đữ liệu hoạt động nhằm mục đích hỗ trợ lập kế hoạch và chiến lược kinh doanh của tô chức. Hầu hết các nhà nghiên cứu đồng ý rằng hệ thống kho dữ liệu là một khái niệm mới mẻ, nhưng không phải là một sản phẩm thực sự mới bởi vì kho dữ liệu được thiết kế đặc biệt để phân tích kinh doanh, ra quyết định và lập kế hoạch trong tương lai, thiết kế hệ thống và mô hình dữ liệu khác nhau giữa kho dit liệu và cơ sở dữ liệu hoạt động. Cả kiến trúc hệ thống và mô hình dit liệu đều cỗ gắng cung cấp dich vụ tốt hon cho việc ra quyết định và xử lý phân tích.

Kho dữ liệu và hệ thống phân tích Operational Z“— —S— Information 4. Systems R&D Production Hình 1. Hệ thống thông tin doanh nghiệp! 1 Gluchowski; Chamoni 2016, S. 12 Chamoni & Gluchowski mô tả mối quan hệ giữa kho dữ liệu và hệ thống hoạt động bằng cách sử dụng sơ đồ trên.

Kiến trúc kho dữ liệu Các hệ thống và kiến trúc kho dữ liệu khác nhau ở các tổ chức là khác nhau. Tuy nhiên, có ba lớp cơ bản trong hệ thống kho dir liệu: nguồn dữ liệu, kho dữ liệu và ứng dụng người dùng cuôi. Sơ đồ dưới đây thê hiện các thành phần cơ bản mà chúng ta tìm thấy trong bất kỳ hệ thống kho dữ liệu nào. Dữ liệu được tổ chức theo chủ de; Dữ liệu được tổng hợp.

tự động; Dữ liệu lịch sử dài File đơn lẻ Nguồn dữ liệu Vùng lưu trữ staging Vùng lưu dữ liệu theo chủ đề Hình 1. Kiến trúc kho dữ liệu Nguồn: Tác giả tự biên soạn 1. Nguồn dữ liệu Dữ liệu thường đến từ các cơ sở dữ liệu quan hệ như Oracle, Informix, Sybase hoặc DB2. Có một số nguồn dữ liệu khác cho kho đữ liệu, như tệp dữ liệu phẳng hoặc bat kỳ dữ liệu bên ngoài nào khác.

Thành phan ETL Trích xuất, biến đổi va tai dữ liệu là hoạt động rất quan trọng của hệ thống kho dữ liệu. Quá trình biến đổi, làm sạch giúp cải thiện chất lượng dit liệu và tổ chức dữ liệu phù hợp cho mục đích phân tích. Quy trình ETL bao gồm việc trích xuất, chuyển đôi va tải dữ liệu từ tat cả các nguôn dữ liệu vào cơ sở dữ liệu kho dữ liệu. Quá trình 13 ETL bao gồm cả việc triển khai lần đầu và ETL bổ sung các dit liệu phát sinh theo thời gian.

Tầng lưu trữ dữ liệu Tầng lưu trữ dữ liệu tập trung là cơ sở đữ liệu đích vật lý. Sau một loạt các quy trình xử lý dữ liệu. Dữ liệu được lưu trữ trong kho dữ liệu theo các lớp khác nhau, phụ thuộc và kiến trúc và phương án thiết kế của hệ thống. Trong kho dữ liệu, tang lưu trữ dữ liệu tập trung thường là các hệ quản trị cơ sở dữ liệu quan hệ.

Dữ liệu trong tầng này thường được tách thành 2 lớp chính, nhóm ving dit liệu staging: tang nay sẽ lưu trữ các dữ liệu thô từ các hệ thống nguồn. Dữ liệu được lưu trữ tai staging được xử lý tiếp để chuyển sang vùng lưu trữ dir liệu theo chủ dé (Dimensional Data Storage). Trong tầng lưu trữ đữ liệu theo chủ đề, các bảng dữ liệu được quy hoạch thành các bảng đại diện cho các sự kiện (fact) và các chiều quan sát (dimension). Các bảng tại vùng này sẽ được quy hoạch theo các vùng hoặc cụm bảng tương ứng với các nghiệp vụ kinh doanh hoặc nhu cầu phân tích, hình thành các Data Mart tương ứng với từng nhóm người dùng.

Siêu dữ liệu Siêu đữ liệu là các dit liệu liên quan đến quá trình hình thành, biến đổi của dữ liệu. Siêu đữ liệu sẽ trả lời các thông tin như trường đữ liệu này có ý nghĩa như thế nào, dữ liệu này được ghi nhận từ hệ thống nào, nhập bởi ai, dữ liệu này đã được qua các bước biến đổi như thé nào. Siêu dit liệu được sử dụng dé ánh xạ nguồn dữ liệu vào một lược đồ kho dữ liệu trong quá trình phát triển. Nó cũng giúp người dùng cuối hiểu và thực hiện quá trình phân tích.

Siêu dữ liệu cũng đóng vai trò như một câm nang cho việc bảo trì, tra cứu và mở rộng trong tương lai. Lớp người dùng cuối Nhiệm vụ chính của kho dữ liệu là cung cấp thông tin cho hoạt động kinh doanh. Lớp người dùng cuối cung cấp môi trường dé người dùng có thể khai thác dữ liệu, thực hiện các thao tác phân tích, kết nối đến các hệ thống cần sử dụng. Lớp người dùng cuối cũng cung cấp khả năng chia sẻ, phân quyền để đảm bảo dữ liệu cung cấp được đúng đối tượng.

Các loại dữ liệu trong kiến trúc kho dữ liệu Trong kiến trúc kho dữ liệu, nhiều loại dit liệu khác nhau được lưu trữ dé hỗ trợ quá trình phân tích và báo cáo. Các loại dir liệu nay thường được tích hợp va quản lý trong kho dit liệu dé cung cap một nguồn dữ liệu đồng nhất và có tổ chức cho việc phân tích toàn diện. Dữ liệu lịch sử (Historical data) Dữ liệu lịch sử là bản ghi về các sự kiện, giao dịch và hoạt động trong quá khứ được ghi lai và lưu trữ một cách có hệ thống theo thời gian. Dữ liệu lịch sử không chỉ đơn thuần là tập hợp thông tin được lưu trữ; nó đóng vai trò như một kho tàng thông tin chuyên sâu có thể hướng dẫn các doanh nghiệp hiểu các mô hình, xác định xu hướng và đưa ra dự đoán dựa trên các sự kiện trong quá khứ.

Dữ liệu này có thể đến từ kho lưu trữ cơ sở dữ liệu giao dịch hoặc các nguồn khác như thông cáo báo chí, báo cáo tài chính, tai liệu dự án, sản phâm, email. Kho dé liệu chứa dữ liệu lịch sử trong nhiều năm và lượng dữ liệu quyết định cung cấp tùy thuộc vào dung lượng 6 đĩa sẵn có cũng như loại phân tích hỗ trợ. Dữ liệu phái sinh (Derived data) Dữ liệu phái sinh được tính toán hoặc ngoại suy từ những đữ liệu hiện có khác. Nó thường là kết quả của việc tham khảo chéo hoặc tổng hợp các bộ dữ liệu khác nhau và thực hiện phân tích thống kê nâng cao trên tài liệu kết hợp đó.

Do đó, thông tin được tiết lộ trong dữ liệu phái sinh không dễ thấy rõ khi quan sát dữ liệu gốc. Ví dụ đơn giản về đữ liệu phái sinh: tập dữ liệu đầu tiên chứa thông tin nhân khẩu học cơ bản về một nhóm khách hàng, tập dữ liệu thứ hai chứa các sở thích mua hàng của những khách hàng tương tự. Bằng cách kết hợp và tham khảo chéo hai bộ dữ liệu, có thé tiết lộ những hiểu biết mới về sở thích mua hàng theo độ tuổi, giới tính và trình độ học van. Thông tin chỉ tiết hơn này là dữ liệu phái sinh, nó không rõ ràng trong cả hai bộ đữ liệu gốc.

Dữ liệu có thể được dẫn xuất từ một số thuật toán khác nhau như là: trích xuất dữ liệu, tái cầu trúc đữ liệu, tăng cường dữ liệu, tạo mô hình. Việc sao chép, định 15 dạng lại hoặc đóng gói lại dữ liệu không tạo ra dữ liệu phái sinh. Dữ liệu phái sinh chứa thông tin mới không có trong dữ liệu gốc. Dù dữ liệu phái sinh rất hữu ích nhưng nó lại đi kèm với các vấn đề riêng do cách nó được tạo ra chăng hạn vấn đề về độ chính xác, quyền riêng tư và quyền sở hữu.

Siêu dữ liệu Định nghĩa siêu dir liệu đã được tác giả nhắc tới trong phan 1. Day là một trong những phương diện quan trọng nhất của kho dữ liệu. Có thé phân loại siêu dit liệu như sau: Siêu dit liệu nghiệp vụ (Business Metadata): Chữa đựng những thông tin giúp người sử dung dé dàng hiểu được bối cảnh của thông tin được lưu trữ trong kho dữ liệu bao gồm: ý nghĩa của các thành phan dit liệu, các quy tắc kinh doanh chi phối dữ liệu và mối quan hệ giữa các thành phan dữ liệu. Ví dụ: nếu doanh nghiệp có cơ sở dữ liệu khách hàng, siêu dữ liệu nghiệp vụ sẽ bao gồm thông tin về ý nghĩa của từng trường trong cơ sở dtr liệu, chăng hạn như tên, địa chỉ, số điện thoại và địa chỉ email của khách hàng.