Luận văn thạc sĩ: Xây dựng hệ thống DW & BI cho Bưu điện Việt Nam (VNPOST)

Luận văn thạc sĩ kỹ thuật phân tích vnu uet xây dựng hệ thống data warehouse và business intelligence ứng dụng trong ngành bưu chính, đánh giá thực trạng, chỉ ra hạn chế, đề xuất

Chuyên ngành

Công Nghệ Thông Tin

Người đăng

Ẩn danh

Thể loại

Luận văn thạc sĩ

2015

88
3
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CẢM ƠN

LỜI CAM ĐOAN

MỤC LỤC

1. CHƯƠNG 1: GIỚI THIỆU VỀ DATA WAREHOUSE VÀ BUSINESS INTELLIGENCE

1.1. Các khái niệm cơ bản

1.2. Định nghĩa Data Warehouse

1.3. Định nghĩa Business Intelligence

1.4. Lợi ích của hệ thống Data Warehouse và Business Intelligence

1.5. Kiến trúc của hệ thống Data Warehouse và Business Intelligence

1.6. Data Source - Dữ liệu nguồn

1.7. Data Warehouse - Kho dữ liệu tập trung

1.8. Tầng Business Intelligence (BI)

1.9. Thiết kế logic hệ thống Data Warehouse và Business Intelligence

1.10. Thiết kế thành phần Data Warehouse

1.11. Các mô hình CSDL trong Data Warehouse

1.12. Một số thuật ngữ trong Data Warehouse

1.13. Thiết kế CSDL chủ đề (Data Mart)

1.14. Thiết kế CSDL tích hợp (Enterprise Model - EM)

1.15. Thiết kế CSDL trung chuyển (Data Staging Area – DSA)

1.16. Thiết kế tiến trình Thu thập, làm sạch và tích hợp dữ liệu (Extraction - Transformation - Loading - ETL)

1.17. Thiết kế metadata

1.18. Thiết kế tầng khai thác và phân tích thông tin

1.19. Thiết kế CSDL đa chiều với OLAP

2. CHƯƠNG 2: BÀI TOÁN XÂY DỰNG HỆ THỐNG DW VÀ BI TẠI VNPOST

2.1. Hiện trạng ngành bưu chính của Tổng công ty bưu điện Việt Nam

2.2. Hiện trạng các hệ thống công nghệ thông tin

2.3. Hiện trạng công tác lập báo cáo tổng hợp

2.4. Vấn đề đặt ra

2.5. Mục tiêu bài toán

2.6. Phạm vi bài toán

3. CHƯƠNG 3: KHẢO SÁT, PHÂN TÍCH, THIẾT KẾ VÀ TRIỂN KHAI HỆ THỐNG DW VÀ BI TẠI VNPOST

3.1. Khảo sát dữ liệu nguồn

3.2. Phân tích, thiết kế

3.3. Thiết kế kiến trúc tổng thể

3.4. Thiết kế các CSDL chủ đề

3.5. Thiết kế CSDL EM

3.6. Thiết kế CSDL DSA

3.7. Thiết kế tiến trình ETL

3.8. ETL các bảng danh mục

3.9. ETL các bảng sự kiện

3.10. Thiết kế tầng Business Intelligence

3.11. Cài đặt hệ thống

3.12. Triển khai module ETL

3.13. Module ETL tổng hợp

3.14. ETL bảng danh mục D_POST

3.15. ETL bảng danh mục D_PRODUCTION

3.16. ETL bảng danh mục D_COST

3.17. ETL bảng sự kiện F_BCCP

3.18. ETL bảng sự kiện F_TCBC

3.19. ETL bảng sự kiện F_REVENUE

3.20. ETL bảng sự kiện F_COST

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Luận văn thạc sĩ VNU UET về Data Warehouse

Luận văn thạc sĩ VNU UET tập trung vào việc xây dựng hệ thống Data WarehouseBusiness Intelligence ứng dụng trong ngành bưu chính của Tổng công ty Bưu điện Việt Nam. Mục tiêu chính của luận văn là phát triển một hệ thống thông tin quản trị điều hành nhằm nâng cao hiệu quả quản lý và ra quyết định trong ngành bưu chính. Hệ thống này sẽ giúp tích hợp dữ liệu từ nhiều nguồn khác nhau, cung cấp thông tin chính xác và kịp thời cho các nhà quản lý.

1.1. Định nghĩa và vai trò của Data Warehouse trong ngành bưu chính

Data Warehouse (DW) là một hệ thống lưu trữ dữ liệu tập trung từ nhiều nguồn khác nhau, giúp phân tích và khai thác thông tin. Trong ngành bưu chính, DW đóng vai trò quan trọng trong việc tổng hợp dữ liệu từ các hệ thống tác nghiệp, hỗ trợ ra quyết định và cải thiện quy trình quản lý.

1.2. Lợi ích của Business Intelligence trong quản lý bưu chính

Business Intelligence (BI) giúp các nhà quản lý trong ngành bưu chính có cái nhìn tổng quan về hoạt động của doanh nghiệp. BI cung cấp các công cụ phân tích dữ liệu, giúp tối ưu hóa quy trình làm việc và nâng cao hiệu quả kinh doanh.

II. Vấn đề và thách thức trong ngành bưu chính hiện nay

Ngành bưu chính Việt Nam đang đối mặt với nhiều thách thức trong việc quản lý và khai thác dữ liệu. Các phần mềm hiện tại thường hoạt động độc lập, dẫn đến việc khó khăn trong việc tổng hợp và phân tích thông tin. Điều này gây ra sự chậm trễ trong việc ra quyết định và ảnh hưởng đến hiệu quả hoạt động của Tổng công ty Bưu điện Việt Nam.

2.1. Khó khăn trong việc tích hợp dữ liệu từ nhiều nguồn

Việc tích hợp dữ liệu từ các hệ thống khác nhau là một thách thức lớn. Các phần mềm hiện tại không tương thích với nhau, dẫn đến việc phải thu thập dữ liệu thủ công, tốn thời gian và dễ xảy ra sai sót.

2.2. Thiếu thông tin kịp thời cho lãnh đạo

Các báo cáo tổng hợp thường được thực hiện thủ công, dẫn đến việc thông tin không được cập nhật kịp thời. Điều này ảnh hưởng đến khả năng ra quyết định của lãnh đạo trong việc điều hành hoạt động của doanh nghiệp.

III. Phương pháp xây dựng hệ thống Data Warehouse và Business Intelligence

Luận văn đề xuất một phương pháp xây dựng hệ thống Data WarehouseBusiness Intelligence nhằm giải quyết các vấn đề hiện tại trong ngành bưu chính. Phương pháp này bao gồm việc khảo sát dữ liệu nguồn, thiết kế kiến trúc hệ thống và triển khai các module ETL (Extraction, Transformation, Loading).

3.1. Khảo sát và phân tích dữ liệu nguồn

Khảo sát dữ liệu nguồn là bước đầu tiên trong quá trình xây dựng hệ thống. Việc này giúp xác định các nguồn dữ liệu cần thiết và cách thức tích hợp chúng vào hệ thống DW.

3.2. Thiết kế kiến trúc hệ thống Data Warehouse

Kiến trúc hệ thống DW cần được thiết kế sao cho có thể lưu trữ và xử lý một lượng lớn dữ liệu. Điều này bao gồm việc xác định các thành phần chính như kho dữ liệu, tầng BI và các công cụ phân tích.

IV. Ứng dụng thực tiễn của hệ thống Data Warehouse tại VNPOST

Hệ thống Data WarehouseBusiness Intelligence được triển khai tại Tổng công ty Bưu điện Việt Nam đã mang lại nhiều lợi ích thiết thực. Hệ thống này giúp cải thiện quy trình quản lý, nâng cao hiệu quả ra quyết định và tối ưu hóa hoạt động kinh doanh.

4.1. Cải thiện quy trình báo cáo và phân tích

Hệ thống DW giúp tự động hóa quy trình báo cáo, giảm thiểu thời gian và công sức cần thiết để tổng hợp dữ liệu. Các báo cáo được tạo ra nhanh chóng và chính xác hơn, hỗ trợ lãnh đạo trong việc ra quyết định.

4.2. Tăng cường khả năng phân tích dữ liệu

Với hệ thống BI, các nhà quản lý có thể dễ dàng truy cập và phân tích dữ liệu từ nhiều nguồn khác nhau. Điều này giúp họ có cái nhìn sâu sắc hơn về hoạt động của doanh nghiệp và đưa ra các quyết định chiến lược hiệu quả.

V. Kết luận và hướng phát triển tương lai của hệ thống

Luận văn khẳng định tầm quan trọng của việc xây dựng hệ thống Data WarehouseBusiness Intelligence trong ngành bưu chính. Hệ thống này không chỉ giúp cải thiện quy trình quản lý mà còn tạo ra cơ hội phát triển mới cho Tổng công ty Bưu điện Việt Nam trong tương lai.

5.1. Đánh giá kết quả đạt được

Hệ thống đã mang lại nhiều kết quả tích cực, giúp nâng cao hiệu quả quản lý và ra quyết định. Tuy nhiên, vẫn còn một số hạn chế cần được khắc phục trong tương lai.

5.2. Định hướng phát triển hệ thống trong tương lai

Trong tương lai, cần tiếp tục cải tiến hệ thống DW và BI để đáp ứng tốt hơn nhu cầu của ngành bưu chính. Việc áp dụng công nghệ mới và cải tiến quy trình làm việc sẽ là những yếu tố quan trọng giúp nâng cao hiệu quả hoạt động.

22/07/2025
Luận văn thạc sĩ vnu uet xây dựng hệ thống data warehouse và business intelligence ứng dụng trong ngành bưu chính của tổng công ty bưu điện việt nam

Trích đoạn nội dung tài liệu

MỞ ĐẦU Hiện nay, ngành bưu chính ở Việt Nam đã và đang phát triển mạnh mẽ, các dịch vụ bưu chính được triển khai với quy mô toàn quốc, từ cấp xã, huyện, tỉnh/thành phố đến trung ương. Do vậy, công tác quản lý là rất cần thiết. Trước tình hình này, ngành bưu chính Việt Nam, mà cụ thể là Tổng công ty bưu điện Việt Nam đã triển khai nhiều phần mềm ứng dụng để hỗ trợ trong công tác quản lý và doanh thác các dịch vụ. Tuy nhiên, các phần mềm này sử dụng độc lập trong từng lĩnh vực, mỗi phần mềm có một cơ sở dữ liệu riêng, theo đó, phần lớn số liệu tổng hợp phục vụ công tác quản lý, điều hành muốn có được phải truy xuất vào từng hệ thống riêng thông qua các chức năng thống kê, báo cáo.

Các báo cáo tổng hợp, phân tích thông tin đang được xây dựng thủ công, những bước thực hiện chính bao gồm: Tập hợp số liệu nguồn cho báo cáo từ các đơn vị thành viên dưới dạng file excel được kết xuất từ các phần mềm và gửi qua email, công văn. Sau khi nhận đủ số liệu nguồn, cán bộ phụ trách thực hiện lập báo cáo bằng tay trên Microsoft Excel, tính toán thủ công các chỉ tiêu thống kê, báo cáo. Chính vì vậy, các báo cáo tổng hợp chưa đáp ứng được nhu cầu thông tin quản lý điều hành của Lãnh đạo tổng công ty, các đơn vị chuyên môn như các thông tin chưa được khai thác hiệu quả, chưa thể hiện được tính phân tích, hỗ trợ ra quyết định. Ngoài ra, khi có nhu cầu phân tích về một đơn vị hoặc một dịch vụ cụ thể, các lãnh đạo phải truy cập vào mục báo cáo thống kê trong từng phần mềm ứng dụng riêng biệt để lấy thông tin.

Bên cạnh đó, thời gian để xây dựng các báo cáo tổng hợp với cách làm thủ công là rất lâu do phải chờ các đơn vị thành viên gửi số liệu về, trong khi tính chính xác của báo cáo không được đảm bảo. Để giải quyết được các vấn đề nêu trên, luận văn tập trung nghiên cứu, xây dựng một hệ thống thông tin quản trị điều hành theo mô hình Data Warehouse và Business Intelligence. Data Warehouse là một hệ thống tập trung dữ liệu từ nhiều nguồn khác nhau nhằm mục đích khai thác, phân tích thông tin và hỗ trợ quyết định với các đặc trưng về mặt dữ liệu: tích hợp, hướng chủ đề, tích lũy theo thời gian và bất biến. Tầng ứng dụng BI bao gồm các dữ liệu metadata, các chương trình ứng dụng, các công cụ phần mềm,… nhằm mục đích đưa các kết quả báo cáo, phân tích nghiệp vụ đến trực tiếp người dùng cuối – những cán bộ nghiệp vụ, các lãnh đạo – để ra quyết định.

Hệ thống Data Warehouse và Business Intelligence hướng đến cung cấp thông tin đầy đủ, chính xác với các thông tin đa chiều nhằm đáp ứng tốt nhất các nhu cầu thông tin quản lý, điều hành của Lãnh đạo Tổng công ty, các ban của Tổng công ty và lãnh đạo các đơn vị thành viên của Tổng công ty Bưu điện Việt Nam. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 2 Luận văn gồm 3 chương với các nội dung: Chƣơng 1: Giới thiệu về Data Warehouse và Business Intelligence. Luận văn giới thiệu về các khái niệm Data Warehouse (DW), Business Intelligence (BI); Lợi ích của hệ thống DW và BI. Sau đó, luận văn giới thiệu về kiến trúc phổ biến của một hệ thống DW và BI.

Cuối chương, luận văn trình bày phương pháp thiết kế logic hệ thống DW và BI. Chƣơng 2: Bài toán xây dựng hệ thống DW và BI tại VNPOST. Luận văn đề cập đến hiện trạng ngành bưu chính, các hệ thống thông tin và công tác lập báo cáo tổng hợp của Tổng công ty Bưu điện Việt Nam - VNPOST. Từ đó luận văn đưa ra các vấn đề cần giải quyết để phát biểu bài toán xây dựng hệ thống DW và BI tại VNPOST.

Sau đó, luận văn đưa ra phạm vi thực hiện trong đề tài luận văn. Chƣơng 3: Khảo sát, phân tích, thiết kế và triển khai hệ thống DW và BI tại VNPOST. Trong chương này, luận văn thực hiện khảo sát dữ liệu nguồn, các báo cáo mẫu và nhu cầu báo cáo phân tích của VNPOST. Sau đó, luận văn thực hiện phân tích, thiết kế và triển khai hệ thống DW và BI.

Cuối cùng, luận văn trình bày các kết quả đạt được. Kết luận: Luận văn trình bày các kết quả đạt được, các hạn chế còn tồn tại của luận văn và hướng nghiên cứu tiếp theo. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3 CHƢƠNG 1: GIỚI THIỆU VỀ DATA WAREHOUSE VÀ BUSINESS INTELLIGENCE 1. Các khái niệm cơ bản 1.

Định nghĩa Data Warehouse Data Warehouse (DW) – Kho dữ liệu – là thuật ngữ được William H. Inmon đưa ra trong những năm 1970. DW là hệ thống tập trung dữ liệu từ các nguồn khác nhau nhằm mục đích khai thác, phân tích thông tin và hỗ trợ quyết định, với các đặc trưng về mặt dữ liệu là: tích hợp, hướng chủ đề, tích lũy theo thời gian và bất biến. Hình 1: Đặc trưng của Data Warehouse - Tích hợp (Integrated): Dữ liệu của DW được tập hợp về từ các nguồn khác nhau như các CSDL của các hệ thống tác nghiệp, các file tài liệu,… của một doanh nghiệp.

Ví dụ: dữ liệu của một ngân hàng được tạo ra bởi các nguồn khác nhau như: hệ thống giao dịch tại các chi nhánh – dữ liệu giao dịch vay và gửi tiền, hay tại các phòng ban chức năng như chăm sóc khách hàng – dữ liệu về khách hàng, phòng tài chính kế toán – dữ liệu về tài chính kế toán,. Dữ liệu tại mỗi phòng ban, chi nhánh là một khung nhìn. Hệ thống DW sẽ tập hợp tất cả dữ liệu tại các nguồn này tạo nên một khung nhìn tổng thể về ngân hàng. Tính tích hợp còn được thể hiện trong việc thống nhất các kiểu, định dạng của dữ liệu, độ đo hay các thuật ngữ chung trong doanh nghiệp.

LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4 Ví dụ: dữ liệu số điện thoại trong ứng dụng tác nghiệp được lưu theo định dạng +84 943., nhưng trong tập tin được quản lý bởi một phòng ban nào đó lại được lưu theo định dạng 0943. Dữ liệu này trong DW sẽ được lưu theo một định dạng thống nhất phù hợp với doanh nghiệp. - Hƣớng chủ đề (Subject-Oriented): Dữ liệu của DW được tổ chức và lưu trữ theo các chủ đề nghiệp vụ mà người khai thác quan tâm. Ví dụ: Dữ liệu của một doanh nghiệp trong DW có các chủ đề sau: o Thực thể doanh nghiệp:  Khách hàng  Đối tác  Đại lý o Hoạt động của doanh nghiệp:  Bán hàng  Phân phối  Chế tạo - Tích lũy theo thời gian (Time-Variant): Dữ liệu lưu trữ có tính chất lịch sử, theo dòng thời gian tính từ một thời điểm trong quá khứ cho đến hiện tại và các dữ liệu sẽ phát sinh trong tương lai.

DW chính là những CSDL được thiết kế cho mục đích Khai thác và Phân tích thông tin (query - truy vấn) chứ không phải mục đích cập nhật (update – cập nhật, delete - xóa) như trong CSDL của các ứng dụng tác nghiệp. Định nghĩa Business Intelligence Business Intelligence là tầng ứng dụng khai thác dữ liệu và phân tích thông tin từ các nguồn dữ liệu khác nhau mà tiêu biểu trong đó chính là các DW với thiết kế CSDL đa chiều (OLAP). Tầng ứng dụng BI bao gồm các siêu dữ liệu (metadata), các chương trình ứng dụng, các công cụ phần mềm… nhằm mục đích đưa các kết quả báo cáo, phân tích nghiệp vụ,… đến trực tiếp các người dùng cuối (những cán bộ nghiệp vụ, các lãnh đạo,…). LUAN VAN CHAT LUONG download : add luanvanchat@agmail.

Lợi ích của hệ thống Data Warehouse và Business Intelligence Hình dưới minh họa lợi ích của DW và BI trong việc hỗ trợ ra quyết định. Hình 2: Lợi ích của DW và BI trong hỗ trợ ra quyết định Kinh doanh thông minh được nâng cao: các nhà quản lý và giám đốc điều hành sẽ được giải phóng khỏi các quết định dựa trên dữ liệu hạn chế và mang tính cảm xúc của mình. Các quyết định có ảnh hưởng đến chiến lược và hoạt động của tổ chức sẽ được dựa trên những thực tế đang tin cậy với các bằng chứng và số liệu thực tế được tổ chức rõ ràng. Ngoài ra, DW và BI có thể được áp dụng trực tiếp vào các quá trình kinh doanh bao gồm phân khúc thị trường, quản lý hàng tồn kho, quản lý tài chính và bán hàng.

Tăng hiệu suất hệ thống và truy vấn: hệ thống DW được tách riêng biệt khỏi hệ thống tác nghiệp (OLTP) nên các giao dịch trực tuyến không bị ảnh hưởng và gián đoạn bởi các truy vấn báo cáo. Trong khi đó, hệ thống DW được thiết kế để lưu trữ một lượng lớn dữ liệu với tốc độ truy vấn dữ liệu nhanh. Kinh doanh thông minh từ nhiều nguồn dữ liệu khác nhau: nhiều doanh nghiệp, hệ thống thông tin doanh nghiệp bao gồm nhiều hệ thống con, tách biệt nhau và được xây dựng trên các nền tảng khác nhau. Trong khi để kinh doanh thông minh thì việc sát nhập dữ liệu từ các hệ thống con này là một nhu cầu thiết yếu.

Hệ thống DW giải quyết được nhu cầu thiết yếu này bởi đặc trưng tích hợp dữ liệu từ các nguồn khác nhau. Với DW, các nhà quản lý chỉ cần truy cập dữ liệu tại một nơi, giảm bớt gánh nặng thu thập, tổng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 6 hợp thông tin và có “cái nhìn duy nhất của sự thật” chứ không phải là nhiều sự thật có thể đến từ báo cáo của các hệ thống con. Dữ liệu được cập nhật liên tục và kịp thời: trong DW, dữ liệu từ nhiều nguồn khác nhau sẽ được lập lịch cập nhật định kỳ một cách tự động theo một chu kỳ thời gian (tiến trình ETL) phù hợp với mục đích khai thác dữ liệu của doanh nghiệp. Khi đó người dùng không phải mất thời gian chờ dữ liệu được tích hợp từ nhiều nguồn khác nhau.

Ngoài ra, dữ liệu được tổng hợp và truy cập thông qua giao diện của hệ thống BI, để có được dữ liệu mới, người dùng chỉ cần thực hiện thao tác làm mới (refresh) dữ liệu mà không cần phải chờ đợi các chuyên gia xây dựng các báo cáo. Thay vào đó, người dùng có thời gian để phân tích dữ liệu và đưa ra quyết định đúng đắn. Kinh doanh thông mình từ dữ liệu lịch sử: các hệ thống tác nghiệp chỉ lưu trữ dữ liệu trong một khoảng thời gian nhất định và đáp ứng nhu cầu báo cáo, phân tích trong khoảng thời gian đó.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ