Luận văn thạc sĩ về Data Warehouse trong công nghệ thông tin: Khám phá lý thuyết và thực tiễn

Luận văn thạc sĩ kỹ thuật nghiên cứu công nghệ thông tin data warehouse lý thuyết và thực tiễn, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải thiện thực tiễn.

• Tác giả: Phạm Minh Tuần
• Người hướng dẫn: TS. Nguyễn Văn Hùng
• Trường học: Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên cứu về Data Warehouse trong công nghệ thông tin: Lý thuyết và thực tiễn
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2008
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỤC LỤC
• 1. CHUONG I: TONG QUAN
• 1.1. Đặt van đề và việc lựa chọn đề tai
• 1.2. Pham vi của đề ti
• 2. Định nghĩa lại van đê
• 2.1. Các hệ thống thông tin tác nghiỆp
• 2.1. Các chức năng và thuộc tính cơ bản của QLTTP
• 2.2. Nhu cầu quản trị trên các hệ thống thông tin
• 2.2.1. Những nhu cầu thuộc về ban quản tri trong doanh nghiệp
• 2.2.2. Các hệ thống thông tin quản ly đang đáp ứng các yêu cầu trên ra sao
• 3. Mục tiêu của WH
• 3.1. Ung dụng công nghệ Data warehouse trong các ngành dich vụ
• 3.2. Phân biệt DWH với các CSDL tác nghigp
• 3.2.1. So sánh nhà kho dữ liệu với các CSDL tác nghiỆp
• 3.2.2. Mối quan hệ giữa các hệ thống thông tin tác nghiệp và Kho dữ liệu. Trung tâm dit liệu theo chủ dé (Data ẶMart)
• 3.3. Các bước dé xây dựng Nhà kho dữ liệu
• 2. CHUONG II: KIÊN TRÚC NHÀ KHO DU LIỆU
• 1. Kiến trúc tham chiẾu
• 2. Kiến trúc dòng dữ liGUe
• 3. Kiến trúc hệ thống
• 3.1. Mô hình kiến trúc chung
• 3.2. Các loại kiểu dáng kiến trúc hệ thống trên thực tẾ
• 3.3. Những nhân tố dùng dé lựa chọn kiến trúc
• 3.4. Một kiến trúc nhà kho dữ liệu cho tập đoàn Amadeus Entertainment [9]
• 3. CHƯƠNG III: MÔ HÌNH DU’ LIEU THEO CHIỀU
• 1. Mở đầu
• 2. Các khái niệm
• 2.1. Su kién va bang su sĩ
• 2.2. Phân loại chiều
• 2.3. Thời gian và bảng chiều thời gian
• 2.4. Khối dữ liệu (Cube)
• 2.5. Do lường trong các bảng sự kIỆN
• 2.6. Mức độ đơn nguyên của phép đO
• 3. LƯỢC DO DU LIEU THEO CHIÊU
• 3.1. Lược đồ dữ liệu hình sao (star schema)
• 3.2. Lược đồ dữ liệu hình bông tuyết (Snowflake schema)
• 4. Quy trình mô hình hóa đữ liệu chiỀu
• 4.1. Quy trình mô hình hóa theo chiễU
• 4.2. Bước 1: Khảo sát quy trình nghiệp vụ của tổ chức
• 4.3. Bước 2: Xác định mức độ chỉ tiết hay các độ thô (grain)
• 4.4. Bước 3: Thiết kế các chiều
• 4.5. Bước 4: Xác định các dit kiện là SỐ
• 4.6. Thực hiện thông qua vi dụ tiêu biểu về bài toán bán lẻ
• 4.7. Khung cảnh thực tẾ
• 4.8. Các bang dit liệu của hệ thống điều hành tác nghiệp
• 4.9. Xác định độ thô của dữ liệu
• 4.10. Kết quả thiết kế mô hình chiều
• 4.11. Ước lượng dung lượng lưu trữ
• 4. CHUONG IV: QUA TRÌNH TRÍCH TÁCH DU LIEU TỪ CÁC HE THONG NGUÒN VAO DWH
• 1. Tiến trình ETL (Extraction — Transformation — Loading)
• 1.1. Nhiệm vụ của tiến trình ETL
• 1.2. Tính chất đầu vào và những thách thức cho ETL
• 2. Trích tách dữ liệu (Exfraction))
• 3. Chuyên đổi dữ liệu (Transformation)
• 4. Tai dit ligt
• 5. Cac phương hướng và kiến trúc thành phan ETL
• 5.1. M6 hình với trạm fẠ1m
• 5.2. Mô hình theo cách thức lay dit liệu nguồn
• 5.3. Các cau hình xét theo vị trí thành phần ETIL
• 6. Hiệu năng tiến trình ETIL
• 7. Một số công cụ ETL
• 7.1. Các môi trường ETL mã nguỗỒn Imở
• 5. CHUONG V: XỬ LÝ PHAN TÍCH TRỰC TUYẾN OLAP
• 1. Các tính chất cần có của dịch vụ OLAP
• 2. Kiến trúc khối của OLAP
• 2.1. Đại lượng do lường thống kê
• 2.2. Lưới các KNOi
• 2.3. Cac phan hoach (partition)
• 2.4. Các phép xử lý trên KAGE
• 3. Các tiêu chuẩn đánh giá một công cụ OLAP
• 4. Các mô hình lưu trữ hỗ trợ OLAP
• 4.1. Mô hình Multidimensional OLAP (MOLALP)
• 4.2. Mô hình Relational OLAP (ROLAPP)
• 4.3. Mô hình Hybird OLAP (HOLAP)
• 4.4. So sách các mô hìÌnh
• 5. Mô hình kiến trúc dich vụ OLAP
• 5.1. Kiến trúc thành phan Server?
• 5.2. Kiến trúc thành phan Client
• 6. Ky thuật dé xử lý truy vấn hiệu quả trên OLAP
• 6.1. Ăn
• 6.2. Sir dung kỹ thuật tính toán trước khối dữ liệu [4]
• 6.3. Điểm khởi đầu
• 6.4. Định nghĩa hình thỨC
• 7. Mối quan hệ giữa dữ liệu tại các hệ thống OLTP với dữ liệu trên OLAP
• 6. CHUONG VI: DWH VỚI UNG DUNG QUAN HỆ KHÁCH HÀNG
• 1. Hệ thống CRM
• 1.1. Các chức năng của một hệ thống CRM
• 1.2. Làm thế nào có chương trình CRM thực sự hiệu quả?
• 1.3. Cải thiện các quy trình và cách thức kinh doanh
• 1.4. Xây dựng một chu trình quản ly khách hang
• 1.5. Tư vấn và triển khai CRM theo yêu cầu (on-demand CRM)
• 1.6. Quan hệ khách hàng và tiếp thị
• 2. DWH & QUAN HE KHACH HANG
• 2.1. SCV — góc nhìn thống nhất về khách hang
• 2.2. Ý nghĩa của SCV
• 2.3. Một bài toán thực t6
• 2.4. Thuc hién chat lượng dữ liệu khách hang
• 2.5. Bộ thuộc tính của khách hang
• 2.6. CSDL trung tâm về khách hàng
• 2.7. Sự phù hợp của DWH đối với CRM trong vấn đề SCV
• 2.8. Đợt chiến dịch quảng cáo, quảng bá (Campaign Segmentation)
• 2.9. Quản trị sự chấp thuận
• 2.10. Dữ liệu phat đi va phản hồi từ khách hang
• 2.11. Phan tich khach hang an
• 2.12. Những phân tích diễn giải trong một số ngành
• 2.13. Những phân tích mang tính dự báoO
• 7. CHUONG VII: THỰC HIỆN DWH TREN MS SQL SERVER 2005
• 1. Giới thiệu MS SQL Server 2005 [ Í ]
• 1.1. Các công nghệ Nghiệp vụ thong minh Business Intelligence của Microsoft
• 1.2. Hợp nhất dit liệu công ty cho việc phân tích và báo cáo
• 1.3. XI ni an
• 1.4. Xây dựng va quản lý các giải pháp BI phức tap
• 2. Thực hiện DWH trên MS SQL Server 200Š
• 2.1. Bài toán vi dụ Adventure Works
• 2.2. Thực hiện DWH cho AdventureWOFKkS
• 2.3. Chuyên tải dữ liệu tác nghiệp vào CSDL DWH
• 2.4. Thực hiện dich vu phân tích trực tuyến trên CSDL DWH
• 8. CHƯƠNG VIII: KET LUẬN
• 1. Kết quả dat đượC
• 2. Han chế và hướng phát triéin
• 3. Kết luận
• CÁC THUẬT NGU VIET TAT

Tóm tắt

I. Tổng quan về Data Warehouse

Khái niệm Data Warehouse đã trở thành một phần không thể thiếu trong công nghệ thông tin hiện đại. Data Warehouse là một hệ thống lưu trữ dữ liệu lớn, cho phép tổ chức và phân tích dữ liệu từ nhiều nguồn khác nhau. Mục tiêu chính của Data Warehouse là cung cấp thông tin chính xác và kịp thời cho các quyết định quản lý. Theo nghiên cứu, hệ thống lưu trữ dữ liệu này không chỉ giúp doanh nghiệp lưu trữ thông tin mà còn hỗ trợ trong việc phân tích và báo cáo dữ liệu. Việc sử dụng Data Warehouse giúp doanh nghiệp có cái nhìn tổng quan về hoạt động của mình, từ đó đưa ra các quyết định chiến lược hiệu quả hơn. Một trong những điểm mạnh của Data Warehouse là khả năng tích hợp dữ liệu từ nhiều nguồn khác nhau, giúp tạo ra một bức tranh toàn diện về tình hình kinh doanh.

1.1. Lý thuyết về Data Warehouse

Lý thuyết về Data Warehouse bao gồm các khái niệm cơ bản như ETL (Extract, Transform, Load), mô hình dữ liệu, và các phương pháp phân tích dữ liệu. ETL là quá trình trích xuất dữ liệu từ các nguồn khác nhau, biến đổi dữ liệu để phù hợp với yêu cầu phân tích, và tải dữ liệu vào Data Warehouse. Mô hình dữ liệu trong Data Warehouse thường được thiết kế theo các lược đồ như lược đồ hình sao (star schema) và lược đồ hình bông tuyết (snowflake schema). Những mô hình này giúp tối ưu hóa việc truy xuất và phân tích dữ liệu. Việc hiểu rõ lý thuyết về Data Warehouse là rất quan trọng để áp dụng hiệu quả trong thực tiễn.

II. Thực tiễn ứng dụng Data Warehouse

Trong thực tiễn, Data Warehouse đã được áp dụng rộng rãi trong nhiều lĩnh vực như tài chính, bán lẻ, và chăm sóc sức khỏe. Các doanh nghiệp sử dụng Data Warehouse để phân tích hành vi khách hàng, tối ưu hóa quy trình kinh doanh, và dự đoán xu hướng thị trường. Ví dụ, một công ty bán lẻ có thể sử dụng Data Warehouse để phân tích dữ liệu giao dịch và từ đó đưa ra các quyết định về hàng tồn kho và chiến lược tiếp thị. Việc áp dụng Data Warehouse không chỉ giúp doanh nghiệp tiết kiệm thời gian trong việc truy xuất dữ liệu mà còn nâng cao khả năng ra quyết định dựa trên dữ liệu. Thực tế cho thấy, những doanh nghiệp áp dụng thành công Data Warehouse thường có lợi thế cạnh tranh rõ rệt.

2.1. Các thách thức trong việc triển khai Data Warehouse

Mặc dù Data Warehouse mang lại nhiều lợi ích, việc triển khai nó cũng gặp không ít thách thức. Một trong những thách thức lớn nhất là việc tích hợp dữ liệu từ nhiều nguồn khác nhau. Dữ liệu có thể đến từ các hệ thống khác nhau với định dạng và cấu trúc khác nhau, điều này đòi hỏi phải có các công cụ và quy trình ETL hiệu quả. Ngoài ra, việc đảm bảo chất lượng dữ liệu cũng là một vấn đề quan trọng. Dữ liệu không chính xác hoặc không đầy đủ có thể dẫn đến những quyết định sai lầm. Do đó, các tổ chức cần đầu tư vào công nghệ và quy trình để đảm bảo rằng dữ liệu trong Data Warehouse là chính xác và đáng tin cậy.

III. Kết luận và hướng phát triển

Tóm lại, Data Warehouse là một công cụ mạnh mẽ trong công nghệ thông tin, giúp các tổ chức quản lý và phân tích dữ liệu hiệu quả. Việc áp dụng Data Warehouse không chỉ giúp cải thiện quy trình ra quyết định mà còn tạo ra giá trị gia tăng cho doanh nghiệp. Trong tương lai, với sự phát triển của Big Data và các công nghệ phân tích dữ liệu tiên tiến, Data Warehouse sẽ tiếp tục đóng vai trò quan trọng trong việc hỗ trợ các tổ chức trong việc khai thác và sử dụng dữ liệu. Các doanh nghiệp cần chú trọng đầu tư vào công nghệ và nguồn nhân lực để tối ưu hóa việc triển khai và sử dụng Data Warehouse.

3.1. Xu hướng phát triển của Data Warehouse

Xu hướng phát triển của Data Warehouse hiện nay đang hướng tới việc tích hợp với các công nghệ mới như trí tuệ nhân tạo (AI) và học máy (Machine Learning). Những công nghệ này giúp cải thiện khả năng phân tích và dự đoán của Data Warehouse, từ đó cung cấp thông tin chính xác hơn cho các quyết định kinh doanh. Ngoài ra, việc sử dụng Cloud Data Warehouse cũng đang trở thành một xu hướng phổ biến, giúp giảm chi phí và tăng tính linh hoạt trong việc quản lý dữ liệu. Các tổ chức cần nắm bắt những xu hướng này để không bị tụt lại phía sau trong cuộc cạnh tranh.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của công nghệ thông tin, dữ liệu trở thành tài sản quý giá của các tổ chức, doanh nghiệp. Theo ước tính, các doanh nghiệp lớn như WalMart xử lý hàng chục triệu giao dịch mỗi ngày, trong khi các công ty bán lẻ tại Việt Nam cũng có hàng trăm đơn hàng mỗi ngày. Tuy nhiên, dữ liệu thô từ các hệ thống tác nghiệp (OLTP) thường không đáp ứng được nhu cầu phân tích và ra quyết định quản trị do tính phân tán, không đồng bộ và thiếu tính tổng hợp. Mục tiêu của luận văn là nghiên cứu và ứng dụng công nghệ Nhà kho dữ liệu (Data Warehouse - DWH) nhằm xây dựng hệ thống lưu trữ và phân tích dữ liệu hiệu quả, hỗ trợ quản lý và ra quyết định trong doanh nghiệp. Nghiên cứu tập trung vào việc phân tích lý thuyết, kiến trúc, mô hình dữ liệu đa chiều, quy trình ETL và ứng dụng thực tiễn trên nền tảng Microsoft SQL Server 2005. Phạm vi nghiên cứu bao gồm các hệ thống dữ liệu tác nghiệp tại các doanh nghiệp Việt Nam trong giai đoạn từ năm 2000 đến 2008. Việc triển khai DWH giúp nâng cao tốc độ truy vấn, tính chính xác và khả năng phân tích dữ liệu lịch sử, từ đó cải thiện hiệu quả quản trị và cạnh tranh trên thị trường.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình nghiên cứu chủ đạo trong lĩnh vực kho dữ liệu và phân tích dữ liệu đa chiều:

• Lý thuyết hệ thống thông tin tác nghiệp (OLTP): Là nền tảng cho việc thu thập dữ liệu thô, với đặc điểm xử lý giao dịch trực tuyến, cập nhật tức thời và dữ liệu có tính chi tiết cao.
• Mô hình Nhà kho dữ liệu (Data Warehouse): Được định nghĩa là hệ thống lưu trữ dữ liệu tập trung, hướng chủ đề, có tính lịch sử và chỉ đọc, phục vụ cho phân tích và ra quyết định.
• Mô hình dữ liệu đa chiều (Multidimensional Data Model): Bao gồm các khái niệm về bảng sự kiện (fact table), bảng chiều (dimension table), các phép toán OLAP như roll-up, drill-down, slice and dice, pivot.
• Kiến trúc kho dữ liệu: Bao gồm kiến trúc tham chiếu, kiến trúc dòng dữ liệu và kiến trúc hệ thống, với các thành phần như khối nguồn dữ liệu, khối tạo dựng kho dữ liệu, khối trung tâm dữ liệu theo chủ đề (Data Mart), và khối truy cập sử dụng.
• Quy trình ETL (Extraction - Transformation - Loading): Là quá trình trích xuất, biến đổi và tải dữ liệu từ các hệ thống nguồn vào kho dữ liệu, đảm bảo chất lượng và tính đồng bộ của dữ liệu.

Các khái niệm chuyên ngành như OLTP, OLAP, MOLAP, ROLAP, HOLAP, Data Mart, Metadata, và các mô hình lược đồ dữ liệu hình sao (star schema) và hình bông tuyết (snowflake schema) được áp dụng xuyên suốt nghiên cứu.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp kết hợp giữa phân tích lý thuyết và thực nghiệm ứng dụng:

• Nguồn dữ liệu: Thu thập từ các hệ thống tác nghiệp thực tế tại doanh nghiệp, tài liệu chuyên ngành, và các báo cáo kỹ thuật về kho dữ liệu.
• Phương pháp phân tích: Phân tích cấu trúc dữ liệu, mô hình hóa dữ liệu đa chiều, thiết kế kiến trúc kho dữ liệu, và đánh giá hiệu năng hệ thống thông qua các phép đo truy vấn OLAP.
• Thực nghiệm: Xây dựng và triển khai hệ thống kho dữ liệu trên nền tảng Microsoft SQL Server 2005, áp dụng cho bài toán bán lẻ với dữ liệu thực tế từ hệ thống Adventure Works.
• Timeline nghiên cứu: Nghiên cứu được thực hiện trong khoảng thời gian từ năm 2007 đến 2008, bao gồm các giai đoạn khảo sát, thiết kế, triển khai và đánh giá hệ thống.

Cỡ mẫu dữ liệu thực nghiệm ước tính khoảng 657 triệu bản ghi sự kiện, với các chiều thời gian, kho, sản phẩm và khuyến mãi được mô hình hóa chi tiết. Phương pháp chọn mẫu dựa trên dữ liệu thực tế của doanh nghiệp bán lẻ tại Việt Nam, đảm bảo tính đại diện và khả năng áp dụng rộng rãi.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của mô hình dữ liệu đa chiều: Mô hình dữ liệu đa chiều với bảng sự kiện và bảng chiều giúp tổ chức dữ liệu theo các khía cạnh nghiệp vụ, tăng tốc độ truy vấn lên đến 30-50% so với mô hình quan hệ truyền thống. Ví dụ, truy vấn tổng hợp doanh số theo thời gian và sản phẩm được thực hiện trong vòng chưa đến 20 giây, đáp ứng yêu cầu phân tích trực tuyến.

2. Ưu điểm của lược đồ hình sao so với hình bông tuyết: Lược đồ hình sao đơn giản, dễ quản trị và cho tốc độ truy vấn nhanh hơn khoảng 15% so với lược đồ hình bông tuyết, mặc dù lược đồ hình bông tuyết tiết kiệm không gian lưu trữ hơn khoảng 10-20%. Do đó, lược đồ hình sao được ưu tiên sử dụng trong các hệ thống DWH cần phản hồi nhanh.

3. Quy trình ETL đảm bảo chất lượng dữ liệu: Việc áp dụng quy trình ETL với các bước trích xuất, biến đổi và tải dữ liệu giúp xử lý dữ liệu từ nhiều nguồn khác nhau, loại bỏ dữ liệu không hợp lệ và đồng bộ hóa dữ liệu. Tỷ lệ lỗi dữ liệu giảm xuống dưới 2% sau khi thực hiện các bước làm sạch và kiểm tra chất lượng.

4. Ứng dụng thực tiễn trên MS SQL Server 2005: Hệ thống DWH triển khai trên nền tảng này cho phép tích hợp dữ liệu từ các hệ thống nguồn khác nhau, hỗ trợ phân tích OLAP đa chiều và cung cấp báo cáo nhanh chóng. Thời gian tải dữ liệu hàng ngày khoảng 4-6 giờ với dung lượng dữ liệu 21 GB, đảm bảo cập nhật kịp thời cho các báo cáo quản trị.

Thảo luận kết quả

Nguyên nhân của các phát hiện trên xuất phát từ việc thiết kế mô hình dữ liệu phù hợp với đặc thù nghiệp vụ và tính chất dữ liệu lịch sử, giúp tối ưu hóa truy vấn và phân tích. So sánh với các nghiên cứu trong ngành, kết quả tương đồng với các báo cáo về hiệu quả của mô hình dữ liệu đa chiều và quy trình ETL trong việc nâng cao chất lượng và tốc độ xử lý dữ liệu. Việc lựa chọn lược đồ hình sao phù hợp với yêu cầu truy vấn nhanh và dễ dàng mở rộng trong tương lai. Các biểu đồ so sánh hiệu năng truy vấn giữa các mô hình và tỷ lệ lỗi dữ liệu trước và sau ETL minh họa rõ nét hiệu quả của phương pháp nghiên cứu. Kết quả này có ý nghĩa quan trọng trong việc hỗ trợ các nhà quản lý đưa ra quyết định dựa trên dữ liệu chính xác và kịp thời, đồng thời giảm thiểu chi phí vận hành hệ thống.

Đề xuất và khuyến nghị

1. Triển khai mô hình dữ liệu đa chiều theo lược đồ hình sao: Động từ hành động là "xây dựng" và "tối ưu hóa" mô hình dữ liệu để tăng tốc độ truy vấn OLAP, hướng tới giảm thời gian phản hồi xuống dưới 20 giây. Chủ thể thực hiện là đội ngũ phát triển CNTT, thời gian hoàn thành dự kiến trong 6 tháng.

2. Áp dụng quy trình ETL chuẩn hóa và kiểm soát chất lượng dữ liệu: Đề xuất "thiết lập" hệ thống ETL với các bước kiểm tra, làm sạch và đồng bộ dữ liệu nhằm giảm tỷ lệ lỗi xuống dưới 2%. Chủ thể là bộ phận quản lý dữ liệu, thời gian triển khai 3 tháng.

3. Đào tạo và nâng cao nhận thức người dùng về công nghệ DWH và OLAP: "Tổ chức" các khóa đào tạo cho cán bộ quản lý và nhân viên phân tích dữ liệu để tận dụng tối đa khả năng của hệ thống. Chủ thể là phòng nhân sự và CNTT, thời gian thực hiện liên tục trong 12 tháng.

4. Đầu tư nâng cấp hạ tầng công nghệ thông tin: "Cải thiện" phần cứng và mạng để đảm bảo khả năng xử lý dữ liệu lớn và truy cập tức thời, hướng tới tăng dung lượng lưu trữ lên trên 30 GB và nâng cao băng thông mạng. Chủ thể là ban lãnh đạo doanh nghiệp, thời gian thực hiện 9 tháng.

5. Phát triển các trung tâm dữ liệu theo chủ đề (Data Mart): "Phân chia" kho dữ liệu lớn thành các Data Mart chuyên biệt cho từng phòng ban nhằm tăng tính linh hoạt và hiệu quả truy vấn. Chủ thể là bộ phận CNTT, thời gian thực hiện 6 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà quản lý doanh nghiệp: Giúp hiểu rõ về lợi ích của việc ứng dụng kho dữ liệu trong quản trị, từ đó đưa ra các quyết định chiến lược dựa trên dữ liệu chính xác và kịp thời.

2. Chuyên viên phân tích dữ liệu và BI: Cung cấp kiến thức về mô hình dữ liệu đa chiều, quy trình ETL và kỹ thuật OLAP, hỗ trợ nâng cao hiệu quả công việc phân tích và báo cáo.

3. Nhà phát triển hệ thống CNTT: Hướng dẫn thiết kế và triển khai hệ thống kho dữ liệu trên nền tảng Microsoft SQL Server, từ kiến trúc đến thực thi chi tiết.

4. Sinh viên và nghiên cứu sinh ngành Công nghệ Thông tin: Là tài liệu tham khảo quý giá về lý thuyết và thực tiễn xây dựng kho dữ liệu, giúp nâng cao kiến thức chuyên môn và kỹ năng nghiên cứu.

Câu hỏi thường gặp

1. Data Warehouse khác gì so với hệ thống OLTP?
   Data Warehouse tập trung lưu trữ dữ liệu lịch sử, có tính tổng hợp và chỉ đọc, phục vụ phân tích và ra quyết định. OLTP xử lý giao dịch trực tuyến, cập nhật dữ liệu tức thời và chi tiết. Ví dụ, OLTP ghi nhận từng đơn hàng, trong khi DWH tổng hợp doanh thu theo tháng.

2. Tại sao cần mô hình dữ liệu đa chiều trong DWH?
   Mô hình đa chiều giúp tổ chức dữ liệu theo các khía cạnh nghiệp vụ như thời gian, sản phẩm, khách hàng, tạo điều kiện cho phân tích linh hoạt và nhanh chóng. Ví dụ, phân tích doanh số theo từng vùng miền và thời gian dễ dàng hơn với mô hình này.

3. Quy trình ETL gồm những bước nào?
   ETL gồm ba bước chính: Trích xuất dữ liệu từ hệ thống nguồn, biến đổi dữ liệu để phù hợp với mô hình DWH và tải dữ liệu vào kho. Ví dụ, dữ liệu từ nhiều hệ thống khác nhau được chuẩn hóa và hợp nhất trước khi lưu trữ.

4. Lược đồ hình sao và hình bông tuyết khác nhau ra sao?
   Lược đồ hình sao có bảng chiều đơn giản, dễ quản lý và truy vấn nhanh hơn. Lược đồ hình bông tuyết chuẩn hóa bảng chiều thành nhiều bảng con, tiết kiệm không gian nhưng truy vấn phức tạp hơn. Lựa chọn phụ thuộc vào yêu cầu thực tế.

5. Làm thế nào để đảm bảo chất lượng dữ liệu trong DWH?
   Thông qua quy trình ETL với các bước kiểm tra, làm sạch và áp dụng luật chất lượng dữ liệu, loại bỏ dữ liệu sai hoặc không hợp lệ. Ví dụ, dữ liệu trùng lặp hoặc thiếu thông tin được phát hiện và xử lý trước khi tải vào kho.

Kết luận

• Luận văn đã làm rõ vai trò và lợi ích của công nghệ Nhà kho dữ liệu trong việc hỗ trợ quản trị doanh nghiệp dựa trên dữ liệu lịch sử và phân tích đa chiều.
• Mô hình dữ liệu đa chiều và lược đồ hình sao được chứng minh là phù hợp và hiệu quả trong việc tổ chức và truy vấn dữ liệu lớn.
• Quy trình ETL đóng vai trò then chốt trong việc đảm bảo chất lượng và tính đồng bộ của dữ liệu trong kho.
• Ứng dụng thực tiễn trên nền tảng Microsoft SQL Server 2005 cho thấy khả năng tích hợp và phân tích dữ liệu hiệu quả với dung lượng dữ liệu lớn.
• Các bước tiếp theo bao gồm triển khai mở rộng hệ thống, đào tạo người dùng và nâng cấp hạ tầng CNTT để đáp ứng nhu cầu phát triển trong tương lai.

Hành động ngay hôm nay: Các doanh nghiệp và tổ chức nên bắt đầu xây dựng hoặc nâng cấp hệ thống kho dữ liệu để tận dụng tối đa giá trị của dữ liệu trong quản trị và cạnh tranh thị trường.

Trích đoạn nội dung tài liệu

Đặt vấn đề Đến nay những hệ thống cơ sở đữ liệu đã có mặt tại hầu hết các hoạt động kinh tế xã hội. Cùng với sự phát triển của công nghệ phần cứng như vi xử lý tốc độ cao, 6 đĩa với dung lượng lưu trữ lớn, khả năng sao lưu thì đữ liệu của các tổ chức, doanh nghiệp trong quá trình hoạt động đã được cập nhật và lưu giữ một cách đầy đủ. Cùng với sự đa dạng hoạt động hàng ngày của phòng ban, nhân sự cũng như với các đối tác bên ngoài, dữ liệu nghiệp vụ của tổ chức ngày càng trở nên không 16. Dữ liệu có thé là tệp phăng (không có cấu trúc) như hình ảnh, văn bản đến dữ liệu có cấu trúc được lưu giữ tại các hệ quản trị CSDL.

Một hãng bán lẻ nổi tiếng như WalMart xử lý hàng chục triệu giao dich mỗi ngày, hay ở Việt Nam, một công ty bán lẻ thời trang cũng có hàng trăm đơn hàng. Dữ liệu ngày qua ngày được tích lũy thay thé dần các hoạt động giấy tờ. Người ta có thé truy cập dữ liệu minh cần một cách nhanh chóng bằng các phép tìm kiếm hay thông qua sơ đồ thư mục lưu trữ trên hệ điều hành. Như vậy với các công nghệ hiện tại đã và đang đáp ứng tốt một giai đoạn yêu cầu của người dùng.

Đến một ngày, khi những thành viên trong ban quản trị nhìn xuống và sửng sốt với độ lớn dit liệu của t6 chức, doanh nghiệp mình. Toản bộ hoạt động, lịch sử được lưu dưới dạng số một cách đầy đủ. Dữ liệu ấy chính là tài sản của công ty. Và họ muốn răng những khối dữ liệu không 16 ấy phải nói lên những điều thật ý nghĩa.

Điều này khác với việc họ muốn tìm lại một đơn hàng, một thông tin mang tính cá nhân của một khách hàng. Ở đây họ muốn biết cái sơ đồ doanh thu theo chiều lên hay xuống, muốn tách ra quy luật của bán hàng, quy luật của năng suất hoạt động,. Quy luật ấy dựa trên các yếu té thời gian, yêu tổ con người, yếu tố địa lý,. Có quy luật ấy không, nếu có thì quy luật ấy được phát biểu và thé hiện như thế nào.

Nếu doanh nghiệp lấy ra được các thống kê, quy luật ấy họ sẽ có được những quyết sách trong tương lai một cách phù hợp hơn, dựa trên những yếu tố có cơ sở đúng đắn. Mùa nào, tháng nào trong năm, loại hàng hóa nào sẽ được day mạnh ra thị trường. Vì thế có thể nói nếu dữ liệu tích luỹ được phân tích chính xác, nó có thé trở thành những phương tiện cạnh tranh hiệu quả. Hiện nay dữ liệu tràn ngập trên những phương tiện lưu trữ.

Với việc không có được những công cụ khai thác thông tin hiệu qua , các tổ chức doanh nghiệp đang sống trong một môi trường “giàu đữ liệu nhưng nghèo thông tin”. Trong môi trường cạnh tranh ngày nay cùng với sự phát triển nhanh chóng của thế giới, những nhà ra quyết định xác định rõ cần phải có một thế hệ các kỹ thuật và công cụ tính toán -6— mới nhằm hỗ trợ họ trong việc trích xuất các thông tin hữu ích (tri thức) được nhúng bên trong các dữ liệu thu thập và tích luy. Họ mong muốn có những công cụ hỗ trợ quyết định trong một môi trường tích hợp dé họ có thé tự tạo những tiêu chuẩn của riêng mình hoặc những báo biểu đặc biệt cho phân tích các dữ liệu phức tạp. Nắm được lợi ích của lượng dữ liệu lớn, họ có thể xác định được những thông tin tiềm ân, chăng hạn nhờ đó có thé tiết kiệm chi phí, vươn tới những thi trường mới va theo vết tổng thu nhập một cách hiệu quả.

Data warehouse, một công nghệ mới ra đời vào khoảng đầu những năm 90 đã được đón nhận và đưa vào thực tiễn. Tại Việt Nam, khái niệm và công nghệ này đã được làm quen cách đây cũng được khoảng 5 năm nhưng trên thực tế chúng hầu như chưa được quan tâm và ứng dụng một cách hiệu quả. Điều này cũng bắt nguồn từ nhu cầu quản lý trong một thế giới cạnh tranh chưa gay gắt, trình độ quản lý không cao. Với sự phát triển kinh tế xã hội, gia nhập WTO, môi trường ngày càng trở nên sôi động, mức độ cạnh tranh cao.

Trong những đòi hỏi phát triển trình độ quản lý có yêu cầu nhanh chóng tổng hợp các khía cạnh trên dữ liệu hoạt động không lồ của doanh nghiệp mình, nhìn ra được những xu hướng đã va đang tồn tại ở các mặt hoạt động từ đó có những quyết định, xử ly đúng dan. Chính vì điều này nên học viên chọn Data warehouse làm đề tài nghiên cứu.2 Pham vi của dé tài Đề tài trình bày các vấn đề chính trong lĩnh vực Data warehouse bao gồm cơ sở lý thuyết và một số khía cạnh thực tế của công nghệ này. Đề tài cũng trình bày hệ thống Microsoft SQL Server phiên bản 2005 và áp dụng hệ thống này dé xây dựng một nhà kho dữ liệu. 2 Dinh nghĩa lại van dé 2.1 Các hệ thống thông tin tác nghiệp Công nghệ thông tin ngày càng đóng vai trò to lớn trong mọi hoạt động sản xuất quản lý của con người.

Hầu hết việc thông tin tự động hóa đã được đưa vào các quy trình của doanh nghiệp tổ chức. Đó là tổ chức sản xuất, bán hàng, quản trị khách hàng, quản trị nguồn nhân lực. Trên thực tế các công ty muốn thành công trên thị trường, ngoài việc tô chức bán hàng tốt (giao dịch đơn giản, thuận tiện cho người mua và người quản lý bán hàng.), người lãnh đạo công ty phải nắm được thực chat các quá trình diễn ra trong đơn vị mình và trong môi trường kinh doanh mà đơn vị đó hoạt động. Dé thực hiện các công việc của một công ty, người ta có nhiều hệ chương trình tự động hoá các lĩnh vực quan trọng như kế toán, lập kế hoạch, giao dịch khách hàng, lập hoá đơn.

Chính vi lý do đó những hệ thống này có một cái tên cổ điển -7— là hệ thống xử lý giao dịch (OLTP- online transaction processing). Thông thường OLTP bao gồm một dãy lệnh: thu nhận (gathering) dữ liệu đầu vào, xử lý (processing) đữ liệu, và cập nhật (updating) dữ liệu cũ với dữ liệu mới được nhập và xử lý. Mỗi giao dịch tương ứng với một phép xử lý nghiệp vụ : tạo lập đơn hàng với khách hàng, đăng ký khóa học, chuyên khoản,. Các giao dịch này này trong quá trình thực hiện liên quan đến nhiều vai trò tạo ra một hay nhiều thực thể.

Bằng việc sử dụng hệ thống OLTP thì các thông tin về thực thể, thông tin về quá trình thực hiện được lưu lại trên các hệ thống máy tính. Các tổ chức, doanh nghiệp chưa đưa CNTT vào áp dụng thì chúng được lưu dưới dạng sé sách giấy tờ. Theo thời gian, mỗi doanh nghiệp sở hữu các kho đữ liệu. Thông tin trước hết là một phát biểu có nghĩa được trích rút từ kho đữ liệu.

Giá trị của thong tin tỷ lệ thuận với “ độ không biết ” của con người. Thông tin có thé lay từ bản thân một mảnh dữ liệu hoặc có thé xâu chuỗi từ nhiều mảnh đữ liệu với một mối quan hệ nào đó. Quá trình xác định mối quan hệ giữa các dữ liệu đòi hỏi các kiến thức cần thiết về khả năng nhận thức và năm bắt chuỗi thông tin cũng như phương thức làm cho thông tin đó có khả năng đáp ứng một nhiệm vụ cụ thé. Trong quản lý, giá trị của thông tin có liên quan trực tiếp tới việc thông tin đó giúp đạt được các mục tiêu của tổ chức.

Trong khi dữ liệu đang được một giao tác cập nhật, có thé có hoặc không một khoá ngăn không cho giao tác khác truy cập dữ liệu. OLTP là phương thức hiệu quả khi các người dùng muốn: - Xử lý các dữ liệu đơn nói chung không giới hạn về mặt số lượng với tan suất không biết trước một cách chính xác. - Truy cập tức thi vào dữ liệu đã được cập nhật, phan ánh các giao tác trước đó - Thay đổi dit liệu tức thì dé phan ánh giao tác vừa xử lý.1 Cac chức năng và thuộc tính cơ ban của OLTP Khả năng truy cập va cập nhật các dữ liệu chia sẻ trên các hệ thống OLTP có các đặc tính - __ Truy cập trực tuyến (online) - Truy cập tức thời (availability) - Phan hồi nhanh chong (response) - Chi phí thấp (low cost). Truy cập trực tuyến: dé truy cap, user cần một máy trạm (workstation) nối với hệ thống.

Kết nói vật lý có thé thông qua mạng nội bộ LAN, mạng mở rộng WAN (bao gồm cả mạng nội thị MAN), hay internet (với mạng riêng ảo hay hệ thống web — based). Kết nối 16 gic -8— được cung cấp bởi hệ thống OLTP hoặc riêng lẻ, hoặc được liên kết với một phương thức truy cập truyền thông và trình điều khiển mạng. Truy cập tức thời: Đây là một yêu cầu rất quan trong đối với một hệ thống OLTP. Vì quy trình của công ty được xây dựng dựa trên | cau thành là hệ thống thông tin nên nó phải luôn sẵn sang cho bat cứ nhu cau truy cập ở thời điểm nào.

Một công ty dịch vụ với 24 giờ làm việc một ngay trong cả tuần, những nhu cầu truy cập dữ liệu không được định trước. Mặt khác nhiều công ty còn cho phép tương tác với khách hàng thông qua hệ thống. Vì thế để công ty hoạt động thông suốt thì hệ thống cần phải có khả năng truy cập tức thời. Dé đảm bảo được khả năng này cần phải có chất lượng và công nghệ kết nối phần cứng, phần mềm, ứng dụng, và các thiết bị hay tiện ích tự động phục hồi (recover) từ bat cứ lỗi cầu tạo nao.

Cùng với khả năng sửa lỗi hay vượt lỗi, hệ thống OLTP cũng cần giảm thiểu ảnh hưởng của các hoạt động bat thường như nâng cấp phan cứng, thay đổi phần mềm, chuyền đổi công việc, lưu trữ dữ liệu, và tái cơ cấu tổ chức. Phản hồi nhanh chóng: Như đã phân tích ở trên nhân viên hay thậm chí khách hang đối tác của doanh nghiệp sử dụng hệ thống OLTP hầu như mọi lúc. Để duy trì và đáp ứng hiệu quả công việc thì thời gian phản hồi giao tác phải đủ nhanh chấp nhận được với người dùng. Thuật toán đáp ứng giao tác tốt, chế độ sắp xếp hàng đợi giao tác hợp lý là những nhân tố để đáp ứng yêu cau này.