Luận văn thạc sĩ vnu uet nghiên cứu và xây dựng kho dữ liệu sản phẩm tại ngân hàng tmcp đại dương dựa trên nền tảng hệ quản trị csdl oracle 10g

Luận văn thạc sĩ nghiên cứu vnu uet nghiên cứu và xây dựng kho dữ liệu sản phẩm tại ngân hàng tmcp đại dương dựa trên nền tảng, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Nguyễn Đức Bình
• Người hướng dẫn: Gs. Vũ Đức Thi
• Trường học: Trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Và Xây Dựng Kho Dữ Liệu Sản Phẩm Tại Ngân Hàng TMCP Đại Dương Trên Nền Tảng Hệ Quản Trị CSDL Oracle 10g
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• PHẦN MỞ ĐẦU
• 1. CHƯƠNG 1: LÝ THUYẾT KHO DỮ LIỆU
• 1.1. Tổng quan về kho dữ liệu
• 1.2. Lịch sử phát triển của kho dữ liệu
• 1.3. Đặc trưng kho dữ liệu
• 1.3.1. Tính bền vững
• 1.3.2. Biến thời gian
• 1.3.3. Tính tích hợp
• 1.4. Sự khác nhau giữa hệ thống OLTP và kho dữ liệu
• 1.5. Kiến trúc kho dữ liệu
• 1.5.1. Kiến trúc kho dữ liệu cơ bản
• 1.5.2. Kiến trúc kho dữ liệu với vùng đệm
• 1.5.3. Kiến trúc kho dữ liệu với vùng đệm và kho dữ liệu cục bộ
• 1.6. Thiết kế kho dữ liệu
• 1.6.1. Thiết kế logic và thiết kế vật lý trong kho dữ liệu
• 2. CHƯƠNG 2: XÂY DỰNG KHO DỮ LIỆU SẢN PHẨM
• 2.1. Ngân hàng TMCP Đại Dương
• 2.2. Hệ thống CORE BANKING
• 2.3. Thực trạng hệ thống
• 2.4. Xây dựng kho dữ liệu
• 2.4.1. Đặc tả các thông tin cơ bản của dự án
• 2.4.2. Phân tích nghiệp vụ
• 2.4.3. Xây dựng kho dữ liệu trung tâm
• 2.4.4. Xây dựng kho dữ liệu cục bộ
• 3. CHƯƠNG 3: CÀI ĐẶT, THỬ NGHIỆM
• 3.1. Giới thiệu về công cụ Oracle Warehouse Builder
• 3.2. Môi trường cài đặt và các thành phần
• 3.3. Cài đặt với Oracle Warehouse Builder
• 3.4. Xây dựng bảng chiều
• 3.5. Xây dựng cube
• 3.6. Thiết lập nguồn, chiết xuất và xử lý dữ liệu
• 3.7. Nạp dữ liệu vào kho dữ liệu
• 3.8. Báo cáo dựa trên kho dữ liệu
• KẾT LUẬN VÀ ĐỊNH HƯỚNG
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Nghiên Cứu và Xây Dựng Kho Dữ Liệu Sản Phẩm

Nghiên cứu và xây dựng kho dữ liệu sản phẩm tại Ngân hàng TMCP Đại Dương là một chủ đề quan trọng trong lĩnh vực công nghệ thông tin. Kho dữ liệu không chỉ giúp tổ chức thông tin mà còn hỗ trợ việc phân tích và ra quyết định. Việc xây dựng kho dữ liệu sẽ giúp ngân hàng tối ưu hóa quy trình quản lý và nâng cao chất lượng dịch vụ khách hàng.

1.1. Định nghĩa và vai trò của kho dữ liệu

Kho dữ liệu là một hệ thống lưu trữ thông tin được thiết kế để hỗ trợ việc phân tích và báo cáo. Nó tích hợp dữ liệu từ nhiều nguồn khác nhau, giúp tổ chức thông tin một cách hiệu quả.

1.2. Lịch sử phát triển của kho dữ liệu

Kho dữ liệu đã được phát triển từ những năm 1980 để đáp ứng nhu cầu phân tích dữ liệu ngày càng tăng. Sự phát triển này đã tạo ra một nền tảng vững chắc cho các hệ thống phân tích hiện đại.

II. Vấn đề và Thách thức trong Xây Dựng Kho Dữ Liệu

Việc xây dựng kho dữ liệu tại Ngân hàng TMCP Đại Dương gặp phải nhiều thách thức. Các vấn đề như tích hợp dữ liệu từ nhiều nguồn khác nhau, đảm bảo tính chính xác và độ tin cậy của dữ liệu là rất quan trọng. Ngoài ra, việc duy trì và quản lý kho dữ liệu cũng là một thách thức lớn.

2.1. Thách thức trong việc tích hợp dữ liệu

Tích hợp dữ liệu từ nhiều hệ thống khác nhau là một thách thức lớn. Các dữ liệu có thể không đồng nhất về định dạng và cấu trúc, gây khó khăn trong việc xử lý và phân tích.

2.2. Đảm bảo tính chính xác và độ tin cậy của dữ liệu

Để kho dữ liệu hoạt động hiệu quả, cần đảm bảo rằng dữ liệu được nhập vào là chính xác và đáng tin cậy. Việc này đòi hỏi quy trình kiểm tra và xác thực dữ liệu chặt chẽ.

III. Phương Pháp Xây Dựng Kho Dữ Liệu Hiệu Quả

Để xây dựng kho dữ liệu hiệu quả, ngân hàng cần áp dụng các phương pháp hiện đại. Việc sử dụng công nghệ thông tin tiên tiến như Oracle Warehouse Builder sẽ giúp tối ưu hóa quy trình xây dựng và quản lý kho dữ liệu.

3.1. Sử dụng công nghệ Oracle Warehouse Builder

Oracle Warehouse Builder là một công cụ mạnh mẽ giúp xây dựng và quản lý kho dữ liệu. Nó cung cấp các tính năng hỗ trợ việc chiết xuất, chuyển đổi và nạp dữ liệu một cách hiệu quả.

3.2. Thiết kế kho dữ liệu theo mô hình chiều

Mô hình chiều giúp tổ chức dữ liệu một cách hợp lý, tối ưu hóa việc truy vấn và phân tích. Việc thiết kế kho dữ liệu theo mô hình này sẽ giúp ngân hàng dễ dàng hơn trong việc khai thác thông tin.

IV. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu

Việc xây dựng kho dữ liệu tại Ngân hàng TMCP Đại Dương đã mang lại nhiều lợi ích. Ngân hàng có thể dễ dàng truy cập và phân tích dữ liệu, từ đó đưa ra các quyết định chính xác hơn trong quản lý và phát triển dịch vụ.

4.1. Lợi ích từ việc xây dựng kho dữ liệu

Kho dữ liệu giúp ngân hàng cải thiện khả năng phân tích và ra quyết định. Điều này không chỉ nâng cao hiệu quả công việc mà còn cải thiện trải nghiệm của khách hàng.

4.2. Kết quả nghiên cứu và ứng dụng thực tiễn

Nghiên cứu cho thấy rằng việc xây dựng kho dữ liệu đã giúp ngân hàng tối ưu hóa quy trình làm việc và nâng cao chất lượng dịch vụ khách hàng. Các báo cáo phân tích được thực hiện nhanh chóng và chính xác hơn.

V. Kết Luận và Tương Lai của Kho Dữ Liệu Tại Ngân Hàng

Kho dữ liệu sẽ tiếp tục đóng vai trò quan trọng trong việc quản lý và phân tích thông tin tại Ngân hàng TMCP Đại Dương. Tương lai của kho dữ liệu hứa hẹn sẽ mang lại nhiều cơ hội mới cho ngân hàng trong việc phát triển dịch vụ và nâng cao trải nghiệm khách hàng.

5.1. Tương lai của kho dữ liệu trong ngân hàng

Với sự phát triển của công nghệ, kho dữ liệu sẽ ngày càng trở nên quan trọng hơn. Ngân hàng cần tiếp tục đầu tư vào công nghệ và quy trình để tối ưu hóa kho dữ liệu.

5.2. Định hướng phát triển kho dữ liệu

Ngân hàng cần xác định rõ định hướng phát triển kho dữ liệu trong tương lai, từ việc mở rộng quy mô đến việc cải thiện tính năng và hiệu quả của hệ thống.

Nội dung chính

Tổng quan nghiên cứu

Theo thống kê từ ngành ngân hàng, các hệ thống giao dịch trực tuyến ghi nhận hàng triệu giao dịch mỗi ngày, dẫn tới khối lượng dữ liệu phát sinh tăng trưởng theo cấp số nhân. Tại Ngân hàng Thương mại Cổ phần Đại Dương (OceanBank), hệ thống ngân hàng lõi Oracle Flexcube Core Banking phiên bản 7 phải đối mặt với tình trạng quá tải nghiêm trọng vào khoảng thời gian đầu và cuối mỗi tháng. Nguyên nhân chính bắt nguồn từ việc các truy vấn báo cáo quản trị phức tạp chạy trực tiếp trên cơ sở dữ liệu tác nghiệp, làm suy giảm hiệu năng xử lý của các điểm giao dịch từ 30% đến 40%. Hơn nữa, hệ thống báo cáo hiện hành chỉ hỗ trợ trích xuất dữ liệu trong phạm vi dưới 3 tháng ở định dạng bảng tính tĩnh, hoàn toàn không đáp ứng được yêu cầu phân tích xu hướng lịch sử kéo dài từ 3 đến 5 năm của Ban Điều hành.

Mục tiêu cốt lõi của luận văn thạc sĩ chuyên ngành Công nghệ phần mềm do tác giả Nguyễn Đức Bình thực hiện là nghiên cứu, thiết kế và triển khai thành công kho dữ liệu sản phẩm trên nền tảng Oracle 10g. Nghiên cứu tập trung giải quyết bài toán tách biệt triệt để giữa hệ thống báo cáo phân tích và hệ thống xử lý giao dịch trực tuyến. Phạm vi nghiên cứu bao quát dữ liệu sản phẩm thuộc hai phân hệ trọng yếu là huy động vốn và cho vay tín dụng tại OceanBank trong giai đoạn 2010 đến 2014. Việc hoàn thành kho dữ liệu mang lại giá trị thực tiễn to lớn khi giúp giảm 100% tải báo cáo trên hệ thống tác nghiệp, đồng thời rút ngắn thời gian tổng hợp báo cáo đa chiều từ nhiều ngày xuống chỉ còn vài phút, tạo nền tảng vững chắc cho việc triển khai giải pháp trí tuệ doanh nghiệp toàn diện.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu ứng dụng sâu sắc hai trường phái lý thuyết kinh điển về xây dựng kho dữ liệu của Bill Inmon và Ralph Kimball. Luận văn tổng hợp ưu điểm của kiến trúc từ trên xuống theo Bill Inmon nhằm duy trì tính toàn vẹn, hướng chủ đề, ổn định và biến đổi theo thời gian của dữ liệu mức nguyên tử, đồng thời ứng dụng phương pháp tiếp cận từ dưới lên của Ralph Kimball để xây dựng các kho dữ liệu cục bộ phục vụ phân tích nghiệp vụ chuyên sâu. Mô hình dữ liệu chiều được thiết lập thông qua lược đồ hình sao và lược đồ hình bông tuyết nhằm tối ưu hóa các câu truy vấn phức tạp.

Các khái niệm chuyên ngành nền tảng được định hình rõ nét trong nghiên cứu bao gồm:

• Bảng sự kiện: Lưu trữ các chỉ số định lượng đo lường được như số dư tiền gửi, doanh số giải ngân, tỷ lệ lãi suất biên và biên độ mua bán vốn nội bộ.
• Bảng chiều: Chứa các thuộc tính mô tả ngữ cảnh phân tích như chiều thời gian, chiều thông tin khách hàng, phân loại sản phẩm và mạng lưới chi nhánh.
• Khối dữ liệu đa chiều: Cấu trúc cho phép thực hiện linh hoạt các thao tác xử lý phân tích trực tuyến như cuộn dữ liệu lên mức trừu tượng cao hơn, khoan sâu xuống chi tiết, cắt lát và xoay trục chiều phân tích.
• Kỹ thuật chiều thay đổi chậm: Ứng dụng để quản lý lịch sử biến động dữ liệu khách hàng và sản phẩm mà không phá vỡ tính nhất quán của hệ thống.

Phương pháp nghiên cứu

Nguồn dữ liệu của đề tài được trích xuất trực tiếp từ hệ thống Core Banking Oracle Flexcube phiên bản 7 vận hành trên cụm máy chủ IBM AIX và cơ sở dữ liệu quan hệ Oracle 10g. Nghiên cứu thực hiện thu thập toàn bộ dữ liệu gồm 14 bảng nghiệp vụ trọng yếu như danh mục khách hàng, tài khoản thanh toán và tiền gửi, biểu lãi suất, danh mục hợp đồng vay và bảng cân đối tài khoản tổng hợp. Phương pháp chọn mẫu toàn bộ được áp dụng cho 100% hồ sơ tài khoản và dữ liệu giao dịch phát sinh để đảm bảo tính chính xác tuyệt đối của số liệu tài chính.

Phương pháp phân tích được thực hiện thông qua quy trình trích xuất, chuyển đổi và nạp dữ liệu bằng công cụ chuyên dụng Oracle Warehouse Builder. Lý do lựa chọn phương pháp này là khả năng tự động hóa tối đa quá trình xử lý làm sạch, chuẩn hóa các xung đột ký tự và loại bỏ 100% dữ liệu trùng lặp tại vùng đệm trước khi nạp vào kho dữ liệu trung tâm. Chu kỳ nạp dữ liệu được thiết lập chạy định kỳ 1 lần mỗi ngày vào ban đêm, ngay sau khi quy trình đóng sổ cuối ngày của ngân hàng hoàn tất, giúp đảm bảo không gây gián đoạn cho hơn 100 chi nhánh và phòng giao dịch đang hoạt động.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm và cài đặt thực tế kho dữ liệu sản phẩm trên nền tảng Oracle 10g đã mang lại những kết quả kỹ thuật và nghiệp vụ vượt trội:

• Hiệu năng xử lý truy vấn báo cáo phân tích tăng trưởng đột phá, thời gian kết xuất báo cáo phức tạp cho khối dữ liệu nhiều năm giảm hơn 85% so với việc truy vấn trực tiếp trên cơ sở dữ liệu tác nghiệp.
• Giải phóng hoàn toàn 100% tài nguyên tính toán của hệ thống Core Banking khỏi các tác vụ tổng hợp dữ liệu nặng nề, duy trì hiệu suất hoạt động của hệ thống ngân hàng lõi luôn ở mức ổn định ngay cả trong các kỳ cao điểm quyết toán cuối tháng.
• Tích hợp thành công dữ liệu đa nguồn từ 3 kênh giao dịch chính bao gồm quầy giao dịch truyền thống, hệ thống ngân hàng điện tử qua web và ứng dụng di động Mplus vào một cơ sở dữ liệu duy nhất với độ chính xác và nhất quán đạt 100%.
• Xây dựng thành công khối dữ liệu đa chiều về huy động vốn với 4 chiều phân tích cốt lõi gồm thời gian, loại hình tiền gửi, phân loại khách hàng và mạng lưới đơn vị kinh doanh, hỗ trợ người dùng cuối phân tích chi tiết đến từng hợp đồng giao dịch.

Thảo luận kết quả

Sự thành công của mô hình bắt nguồn từ việc áp dụng kiến trúc kho dữ liệu kết hợp vùng đệm làm sạch và các kho dữ liệu cục bộ độc lập. Việc chuyển đổi từ mô hình chuẩn hóa cấp ba sang mô hình chiều với lược đồ hình sao giúp giảm thiểu tối đa các phép kết nối bảng phức tạp, từ đó tối ưu hóa chỉ mục cho các câu lệnh SQL phân tích. Khi so sánh với giải pháp báo cáo phân tán truyền thống, việc lưu trữ sẵn các giá trị tính toán tổng hợp giúp tốc độ đáp ứng của khối dữ liệu đa chiều nhanh gấp 5 đến 10 lần.

Dữ liệu được tổ chức trực quan thông qua các bảng ma trận phân cấp chiều và biểu đồ khối đa chiều. Chẳng hạn, chiều thời gian được phân cấp rõ ràng theo các tầng năm, quý, tháng, tuần và ngày, cho phép người quản trị dễ dàng khoan sâu để xem xét biến động nguồn vốn theo từng chu kỳ lãi suất. Sự tách biệt vật lý giữa kho dữ liệu trung tâm và kho dữ liệu cục bộ cũng tăng cường 100% mức độ an toàn thông tin, cho phép phân quyền dữ liệu chặt chẽ theo từng khối phòng ban nghiệp vụ mà không làm ảnh hưởng đến cấu trúc tổng thể.

Đề xuất và khuyến nghị

Trên cơ sở kết quả nghiên cứu thực nghiệm, luận văn đề xuất 4 nhóm giải pháp mang tính chiến lược nhằm hoàn thiện và khai thác tối đa giá trị của kho dữ liệu:

• Chuẩn hóa và tự động hóa toàn diện quy trình trích xuất, chuyển đổi và nạp dữ liệu: Khối Công nghệ thông tin cần áp dụng các kịch bản kiểm tra chất lượng dữ liệu tự động, nâng tỷ lệ phát hiện và xử lý lỗi dữ liệu thô tại vùng đệm lên mức 99% trong vòng 3 tháng đầu triển khai, đảm bảo tính toàn vẹn của dữ liệu nạp vào kho trung tâm.
• Mở rộng phạm vi xây dựng kho dữ liệu cho các phân hệ nghiệp vụ tài chính khác: Khối Công nghệ thông tin phối hợp cùng Khối Nguồn vốn và Khối Khách hàng doanh nghiệp triển khai thêm các kho dữ liệu cục bộ về kinh doanh ngoại tệ, thẻ tín dụng và thị trường liên ngân hàng trong thời gian 6 đến 9 tháng tới, hướng tới bao phủ 100% sản phẩm dịch vụ ngân hàng.
• Tích hợp bộ công cụ khai phá dữ liệu và trí tuệ doanh nghiệp nâng cao: Khối Quản trị rủi ro và Ban Kế hoạch chiến lược cần đưa vào sử dụng nền tảng Oracle Business Intelligence Discoverer để xây dựng các mô hình dự báo hành vi khách hàng rời mạng và dự báo nhu cầu vay vốn với độ chính xác kỳ vọng trên 85% trong lộ trình 12 tháng.
• Thiết lập quy chế quản trị dữ liệu và chính sách phân quyền người dùng: Ban Điều hành ban hành quy chuẩn phân định vai trò quản lý dữ liệu cho từng phòng ban trong vòng 30 ngày, đảm bảo 100% cán bộ phân tích được cấp quyền truy cập chính xác theo vị trí công việc, bảo mật tuyệt đối các thông tin tài chính nhạy cảm.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị tham khảo chuyên sâu và thiết thực cho 4 nhóm đối tượng sau:

• Kỹ sư dữ liệu và Kiến trúc sư hệ thống: Tiếp thu phương pháp luận thiết kế kho dữ liệu thực chiến, từ khâu thiết kế logic, mô hình hóa lược đồ hình sao đến việc thiết lập các tiến trình trích xuất và nạp dữ liệu bằng công cụ Oracle Warehouse Builder trên cơ sở dữ liệu quy mô lớn.
• Chuyên viên phân tích nghiệp vụ và Chuyên gia trí tuệ doanh nghiệp ngành Tài chính: Nắm bắt cách thức tổ chức các chiều phân tích đặc thù trong ngân hàng như lãi suất mua bán vốn nội bộ, kỳ hạn huy động và phân khúc khách hàng nhằm xây dựng các bảng điều khiển quản trị trực quan.
• Cán bộ quản lý vận hành hệ thống ngân hàng lõi: Tìm thấy giải pháp tối ưu để giải tỏa áp lực xử lý báo cáo trên hệ thống Core Banking, nâng cao tính ổn định và độ sẵn sàng cho các kênh thanh toán trực tuyến 24 trên 7.
• Giảng viên, Học viên cao học và Nghiên cứu sinh ngành Công nghệ thông tin: Sử dụng làm tài liệu học thuật tham khảo điển hình về việc dung hòa giữa hai mô hình kiến trúc của Bill Inmon và Ralph Kimball trong một bài toán doanh nghiệp thực tế tại Việt Nam.

Câu hỏi thường gặp

Kho dữ liệu sản phẩm khác biệt như thế nào so với cơ sở dữ liệu giao dịch thông thường? Cơ sở dữ liệu giao dịch được thiết kế theo chuẩn hóa cấp ba để tối ưu cho các thao tác thêm, sửa, xóa với khối lượng dữ liệu ngắn hạn. Ngược lại, kho dữ liệu sản phẩm tổ chức theo mô hình chiều phi chuẩn hóa, lưu trữ dữ liệu lịch sử từ 5 đến 10 năm và tối ưu hóa cho các câu truy vấn phân tích phức tạp mà không làm ảnh hưởng đến hệ thống giao dịch.

Tại sao nghiên cứu lại kết hợp phương pháp của Bill Inmon và Ralph Kimball? Cách tiếp cận của Bill Inmon giúp ngân hàng xây dựng một kho dữ liệu trung tâm chuẩn mực, nhất quán và bền vững trên toàn doanh nghiệp. Trong khi đó, phương pháp của Ralph Kimball giúp triển khai nhanh các kho dữ liệu cục bộ dạng hình sao với chi phí ban đầu thấp, đáp ứng ngay nhu cầu phân tích cấp bách của từng khối kinh doanh.

Dữ liệu từ các kênh Internet Banking và Mobile Banking được tích hợp vào kho như thế nào? Toàn bộ giao dịch phát sinh từ kênh trực tuyến như ứng dụng Mplus hay Internet Banking đều được hạch toán đồng bộ về hệ thống Core Banking Flexcube. Kho dữ liệu sẽ trích xuất dữ liệu từ các bảng nghiệp vụ của Core Banking vào vùng đệm để làm sạch, hợp nhất và bổ sung thuộc tính thời gian trước khi nạp vào các khối dữ liệu.

Công cụ Oracle Warehouse Builder đóng vai trò gì trong đề tài? Oracle Warehouse Builder là công cụ trung gian hỗ trợ toàn diện từ khâu thiết kế lược đồ logic, ánh xạ các thuộc tính dữ liệu đến việc tự động sinh mã nguồn thực thi quá trình trích xuất, biến đổi và nạp dữ liệu. Công cụ này giúp kiểm soát lỗi, loại bỏ dữ liệu sai lệch và quản lý siêu dữ liệu một cách trực quan, chính xác.

Chu kỳ làm mới dữ liệu của kho được thiết lập ra sao để đảm bảo hiệu năng? Quy trình trích xuất và nạp dữ liệu được thiết lập tự động chạy định kỳ 1 lần mỗi ngày sau thời điểm ngân hàng hoàn thành quy trình đóng sổ cuối ngày. Việc này tận dụng tối đa khoảng thời gian hệ thống giao dịch có lưu lượng truy cập thấp nhất trong đêm, đảm bảo 100% dữ liệu sẵn sàng phục vụ báo cáo vào sáng hôm sau.

Kết luận

• Nghiên cứu đã hệ thống hóa toàn diện cơ sở lý thuyết về kho dữ liệu và mô hình xử lý phân tích trực tuyến đa chiều, làm rõ sự khác biệt cốt lõi giữa hệ thống tác nghiệp và hệ thống phân tích quản trị.
• Luận văn xây dựng thành công giải pháp kiến trúc kết hợp vùng đệm và kho dữ liệu cục bộ trên nền tảng Oracle 10g, giải quyết dứt điểm tình trạng nghẽn cổ chai báo cáo tại Ngân hàng Thương mại Cổ phần Đại Dương.
• Triển khai thực nghiệm hoàn chỉnh khối dữ liệu sản phẩm huy động và cho vay với công cụ Oracle Warehouse Builder, chứng minh tính khả thi và hiệu năng vượt trội với thời gian truy vấn giảm hơn 85%.
• Đóng góp mô hình thiết kế thực tiễn có khả năng tái sử dụng và mở rộng cao cho các tổ chức tài chính, ngân hàng thương mại đang trong quá trình chuyển đổi số.
• Kế hoạch tiếp theo tập trung vào việc mở rộng các khối dữ liệu sang phân hệ thẻ và kinh doanh ngoại tệ, đồng thời hoàn thiện hệ sinh thái báo cáo thông minh phục vụ dự báo rủi ro tự động.

Để khai thác chi tiết giải pháp kiến trúc và các mô hình thiết kế logic của đề tài, quý độc giả có thể nghiên cứu toàn văn luận văn thạc sĩ hoặc liên hệ bộ phận phát triển để ứng dụng vào hệ thống thực tế.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: LÝ THUYẾT KHO DỮ LIỆU 1. Tổng quan về kho dữ liệu. Lịch sử phát triển của kho dữ liệu: Kho dữ liệu đã được phát triển vào cuối những năm 1980 để đáp ứng nhu cầu ngày càng tăng về phân tích dữ liệu và quản lý thông tin nhưng không thể đạt được bởi hệ thống OLTP. Do hệ thống OLTP được thiết kế để tối ưu hóa cho giao dịch nghiệp vụ, số lượng dữ liệu giao dịch đã được phát triển một cách nhanh chóng giữa các phòng ban trong một tổ chức nên việc thực hiện tích hợp dữ liệu khó khăn hơn.

Điều này tạo ra khó khăn cho việc báo cáo (tích hợp & phân tích dữ liệu). Kết quả là, một hệ thống riêng được gọi là kho dữ liệuđược thiết kế để giải quyết vấn đề này. Kho dữ liệu chứa các dữ liệu được tập hợp từ nhiều nguồn khác nhau như dữ liệu quan hệ, các tập tin phẳng, bảng tính, dữ liệu từ các nguồn bên ngoài tổ chức…. Và được tổ chức trong một cách tối ưu hóa cho mục đích báo cáo.

Với nền tảng kho dữ liệu được tổ chức tốt sẽ là cơ sở để triển khai các công cụ báo cáo thân thiện với người sử dụng. 1: Sơ đồ luồng dữ liệu 4 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Có nhiều định nghĩa kho dữ liệu những chúng đều có một số điểm chung giống nhau. Theo Bill Inmon - người được biết đến như là cha đẻ của kho dữ liệu, kho dữ liệu được quy định như sau: "Data warehoue là một tập hợp dữ liệu tương đối ổn định (nonvolatile) , liên kết với thời gian (time-variant), được tích hợp (integrated) theo một chủ đề (subject-oriented) nhằm hỗ trợ quá trình tạo quyết định về mặt quản lý (Support management’s decision making process)" 1.

Đặc trưng kho dữ liệu. Tính bền vững. Khi thông tin đã đưa vào kho dữ liệu, dữ liệu không nên thay đổi. Điều này là hợp lý vì mục đích của một kho dữ liệu là để cho phép ta phân tích những gì đã xảy ra.

Dữ liệu đưa vào kho dữ liệu chỉ để đọc, việc sửa dữ liệu hầu như không được tiến hành vì điều này có thể dẫn đến phá vỡ sự toàn vẹn. Thông thường người ta không yêu cầu giảm thời gian đưa dữ liệu vào kho dữ liệu xuống mức tối thiểu, nhưng cần tối ưu hoá kho dữ liệu sao cho các truy vấn phục vụ cho việc phân tích đạt tốc độ tốt nhất. Các sơ đồ quan hệ sẽ tạo ra các Index hợp lý cũng như tạo ra sẵn các dữ liệu kết hợp. 2: Tính bền vững của DWH.

Biến thời gian. Yêu cầu quan trọng cho kho dữ liệu là phạm vi về thời gian dài hơn so với các hệ thống tác nghiệp. Cơ sở dữ liệu tác nghiệp: dữ liệu có giá trị hiện thời. Còn dữ liệu của kho dữ liệu: cung cấp thông tin lịch sử (ví dụ như, 5-10 năm trước).

Và yếu tố thời gian được lưu trữ trong CSDL. 5 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. 3: Đặc trưng biến thời gian. Dữ liệu được tổ chức theo các đối tượng chính hoặc các quá trình kinh doanh.

Ví dụ phổ biến của các dữ liệu theo định hướng đối tượng là khách hàng, sản phẩm, nhà cung cấp và giao dịch bán… Tập trung vào việc mô hình hóa và phân tích dữ liệu nhằm hỗ trợ đưa ra quyết định, mà không tập trung vào các hoạt động hay các xử lý giao dịch hàng ngày Hinh 1. 4: Đặc trưng hướng chủ đề. 6 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Tính tích hợp.

Dữ liệu từ nhiều nguồn khác nhau như từ của các phòng ban trong tổ chức, từ các nguồn bên ngoài. Và nguồn dữ liệu khác nhau có thể có những cách khác nhau để xác định một đối tượng cụ thể. Tuy nhiên, trong một kho dữ liệu chỉ có một định nghĩa của sản phẩm. Điều này đạt được bằng cách sử dụng giải quyết xung đột về cách xác định đối tượng trong kho dữ liệu.

Và khi chúng ta đạt được điều này, chúng ta nói rằng dữ liệu được tích hợp. 5: Đặc trưng tính tích hợp. Sự khác nhau giữa hệ thống OLTP và kho dữ liệu Về cơ bản hệ thống OLTP và kho dữ liệu có một điểm khác biệt chính đó là kho dư liệu không được tổ chức theo dạng chuẩn 3NF. Nhưng 3NF lại là chuẩn cho hầu hết các hệ thống OLTP.

7 LUAN VAN CHAT LUONG download : add [e-mail] Sự khác nhau giữa hệ OLTP và kho dữ liệu OLTP Kho dữ liệu Tổ chức Ở dạng chuẩn 3NF Mô hình chiều Chỉ mục Ít: tối ưu cho giao dịch Nhiều: Tối ưu cho báo cáo Liên kết bàng Ít Nhiều Dư thừa dữ liệu Không Có Dữ liệu tổng hợp Hiếm Phổ biến Hinh 1. 6: So sánh OLTP với DWH. Kho dữ liệu và các hệ thống OLTP có những yêu cầu rất khác nhau. Dưới đây là một số ví dụ về sự khác biệt giữa các kho dữ liệu điển hình và các hệ thống OLTP  Khối lượng công việc: Kho dữ liệu được thiết kế để phù hợp truy vấn đặc biệt và phân tích dữ liệu.

Nên khối lượng dữ liệu cần được xử lý không biết trước được có thể rất nhỏ hoặc rất lớn. Do đó, kho phải được tối ưu hóa để thực hiện tốt cho một loạt các thể truy vấn và các hoạt động phân tích. Hệ thống OLTP thiết kế hỗ trợ các các giao dịch đã được định nghĩa trước.  Việc chỉnh sửa dữ liệu: kho dữ liệu được cập nhật một cách thường xuyên bởi quá trình ETL (chạy đêm hoặc hàng tuần) sử dụng kỹ thuật biến đổi dữ liệu với số lượng lớn.

Người sử dụng cuối không trực tiếp cập nhập kho dữ liệu trừ một số trường hợp đặc biệt như khai phá dữ liệu… Ngược lại, hệ thống OLTP thì người sử dụng thường xuyên tạo, cập nhập dữ liệu vào cơ sở dữ liệu. Cơ sở dữ liệu OLTP là luôn được cập nhật và phản ánh tình trạng hiện tại của mỗi giao dịch kinh doanh.  Mô hình thiết kế: Kho dữ liệu sử dụng mô hình chiều (như mô hình sao) để tối ưu hóa việc truy vấn và phân tích dữ liệu. OLTP sử dụng mô hình thiết kế theo chuẩn (như 3NF) để tối ưu hóa các hoạt động câp nhập/thêm/xóa và để đảm bảo tính nhất quán của dữ liệu.

 Hoạt động thông thường: Dữ liệu hoạt động thông thường kho dữ liệu có thể là hàng nghìn hoặc hàng triệu bản ghi. OLTP truy cập thông thường chỉ liên quan đến một số lượng ít bản ghi.  Dữ liệu lịch sử: Kho dữ liệu có thể dữ liệu với thời gian dài như 5 năm, 10 năm… nhằm mục đích hỗ trợ quá trình phân tích. OLTP chỉ lưu dữ liệu trong thời gian ngắn.

Đó là những dữ liệu cần thiết để 8 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Kiến trúc kho dữ liệu. Kiến trúc kho dữ liệu cơ bản Với kiến trúc cơ bản, người sử dụng cuối cùng nhận được dữ liệu từ các hệ thống nguồn thông qua kho dữ liệu. 7: Kiến trúc kho dữ liệu cơ bản.

Siêu dữ liệu và dữ liệu thô của một hệ thống OLTP truyền thống là sẵn có. Tóm lược rất có giá trị trong kho dữliệu, vì chúng tính toán trước các hoạt động lâu dài như truy vấn kho dữ liệu điển hìnhđể lấy thông tin về lượng hàng được bán trong tháng 1. Kiến trúc kho dữ liệu với vùng đệm. 8: Kiến trúc kho dữ liệu vùng đệm.

Với kiến trúc này, cần làm sạch và xử lý dữ liệu hoạt động trước khi đưa nó vào kho dữ liệu, mặc dù hầu hết kho dữ liệu sử dụng một vùng trung gian thay thế. Một vùng trung gian sẽ làm đon giản hoá việc quản lý kho dữ liệu chung. 9 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Kiến trúc kho dữ liệu với vùng đệm và kho dữ liệu cục bộ.

Mặc dù kiến trúc trong hình 7 là khá phổ biến, tùy theo yêu cầu ta có thể kiếntrúc kho dữ liệu cho các nhóm khác nhau bên trong của tổ chức. Điều này có thế thực hiện bằng cách thêm các kho dữ liệu cục bộ, đó là các hệ thống được thiết kế cho một phạm vi cụ thể của doanh nghiệp. Hình 8 minh hoạ một ví dụ nơi mua, bán hàng, và hàng tồn kho được tách ra. Trong ví dụ này, một nhà phân tích tài chính có thể muốn phân tích dữ liệu lịch sử cho mua và bán Hinh 1.

9: Kiến trúc DWH với vùng đệm, DM. Thiết kế kho dữ liệu 1. Thiết kế logic và thiết kế vật lý trong kho dữ liệu Để xây dựng một kho dữ liệu thì cần xác định các yêu cầu kinh doanh và thống nhất phạm vi ứng dụng để từ đó đưa ra một bản thiết kế khái niệm. Bây giờ cần phải chuyển thiết kế khái niệm thành một hệ thống chuyển giao.

Để làm như vậy, cần tạo ra các thiết kế logic và thiết kế vật lý cho các kho dữ liệu. Cần xác định:  Nội dung dữ liệu cụ thể.  Mối quan hệ bên trong và giữa các nhóm dữ liệu.  Môi trường hệ thống hỗ trợ kho dữ liệu.

 Quá trình biến đổi dữ liệu cần thiết.  Tần suất mà dữ liệu được làm mới. Thiết kế logic xem xét các mối quan hệ logic giữa các chủ thể. Thiết kế vật lýxem xét cách thức hiệu quả nhất của việc lưu trữ và gọi ra các đối tượng, cũng như xử lý chúng từ một chuyển dịch và quan điểm sao lưu, phục hồi.

Thiết kế hướng tới các nhu cầu của người dùng cuối. Người dùng cuối thường muốn thực hiện phân tích và xem xét dữ liệu tổng hợp, hơn là giao 10 LUAN VAN CHAT LUONG download : add [e-mail] tác riêng lẻ. Tuy nhiên, người dùng cuối có thể không biết những gì họ cần cho đến khi họ nhìn thấy nó. Ngoài ra, một thiết kế được lên kế hoạch chu đáo có tính đến sự tăng trưởng và thay đổi khi nhu cầu của người dùng thay đổi và tiến hóa.

Với thiết kế logic, tập trung vào các yêu cầu thông tin và lưu các chi tiết thực thi cho sau này. Thiết kế logic. Một thiết kế logic là trừu tượng và dựa trên các khái niệm. Ta không đề cập tới những chi tiết cài đặt vật lý.

Ta chỉ đề cập tới việc xác định những loại thông tin mà ta cần. Một kỹ thuật ta cần sử dụng làm mô hình cho các yêu cầu thông tin logic của tổ chức là mô hình thực thể quan hệ. Mô hình thực thể quan hệ liên quan đến việc xác định những thứ quan trọng (thực thể), các tính chất của những thuộc tính, và làm thế nào chúng liên hệ được với nhau (các mối quan hệ).