MỞ ĐẦU Hiện tại mỗi hệ thống ngân hàng tại Việt Nam có khoảng vài triệu khách hàng và mục tiêu đặt ra là thu hút được càng nhiều khách hàng càng tốt. Để đạt được mục tiêu đề ra, hệ thống nghiệp vụ cần quản lý hiệu quả hoạt động kinh doanh của mình thông qua sự hỗ trợ của hệ thống kho dữ liệu ngân hàng (Banking Data Warehouse). Việc xây dựng hệ thống kho dữ liệu cho ngân hàng đã được nghiên cứu và xây dựng trong thời gian qua, hỗ trợ tốt cho công tác dự báo, phân tích và ra quyết định kinh doanh trong thời gian ngắn nhất. Lợi ích của kho dữ liệu ngân hàng: Cải thiện hiệu quả hoạt động: Kho dữ liệu cho phép ngân hàng tổ chức hoạt động của mình một cách hiệu quả, khoa học với sự hỗ trợ mạnh mẽ, phản ánh thực trạng hoạt động doanh nghiệp thông qua các công cụ phân tích.
Mặc khác, kho dữ liệu tập trung còn giúp ngân hàng hoạch định các chiến lược kinh doanh hiệu quả, tránh lãng phí và tăng năng suất lao động. Tạo doanh thu: Tạo thêm nhiều cơ hội mới thông qua việc phân tích các khách hàng tiềm năng, sở thích tiêu dùng cùng các chương trình kinh doanh khuyến mãi tiếp cận một cách nhanh nhất đến khách hàng với các sản phẩm phù hợp đúng nhu cầu khách hàng bằng kênh phân phối thích hợp. Phát triển sản phẩm mới trong thời gian nhanh nhất: Kho dữ liệu cũng cho người quản lý một cái nhìn về độ phức tạp của sản phẩm từ nhu cầu của khách hàng. Chính sự khác biệt này giúp ngân hàng có kế hoạch chuẩn bị các bước cần thiết cho ra đời sản phẩm phù hợp nhu cầu thị trường.
Tăng cường quan hệ với đối tác: Qua việc phân tích số liệu trên kho dữ liệu, người quản lý sẽ nhận ra được các yếu tố cạnh tranh, chiến lược của các đối tác để có thể đề xuất một cách phù hợp những chính sách, mô hình kinh doanh mới. Hầu hết hệ thống công nghệ thông tin của các ngân hàng trong nước đã có kho dữ liệu riêng. Tuy nhiên hệ thống kho dữ liệu hiện có thường được chắp vá bởi rất nhiều công nghệ khác nhau, không ổn định và hạn chế về mặt cung cấp kịp thời và tốc độ chuyển đổi, tải dữ liệu. Gần đây nhất là ngân hàng Sacombank đã công bố xây dựng được kho dữ liệu trên nền tảng Oracle [3].
Luận văn này tìm hiểu và cải tiến hệ thống kho dữ liệu trong ngân hàng Thương mại Cố phần Đầu tư và Phát triển Việt Nam (BIDV), khắc phục một số hạn chế như tốc độ chuyển đổi, tốc độ truyền tải, tăng độ chính xác, tính kịp thời trong các tác vụ. Ngoài ra luận văn cũng thiết kế hệ thống phân phối và khai thác báo cáo đến cho các đầu cuối mà hiện nay BIDV đang thiếu nhằm nâng cao hiệu quả việc khai thác kho dữ liệu phục vụ tốt hơn nữa cho các hoạt động của ngân hàng. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 8 Chƣơng 1. HỆ THỐNG KHO DỮ LIỆU 1.
Tổng quan kho dữ liệu Kho dữ liệu (tiếng Anh: Data Warehouse) là kho lưu trữ dữ liệu bằng thiết bị điện tử của một tổ chức. Các kho dữ liệu được thiết kế để hỗ trợ việc phân tích dữ liệu và lập báo cáo [7, 12]. Định nghĩa cổ điển này về kho dữ liệu tập trung vào việc lưu trữ dữ liệu. Tuy nhiên, các phương tiện cho việc lấy và phân tích, trích rút, biến đổi, nạp dữ liệu, và quản lý dữ liệu từ điển cũng được coi là các thành phần cốt yếu của một hệ thống kho dữ liệu.
Nhiều người sử dụng thuật ngữ “kho dữ liệu” với ngữ cảnh rộng hơn. Một định nghĩa mở rộng cho kho dữ liệu bao gồm cả các công cụ thông minh, các công cụ để trích, biến đổi và nạp dữ liệu vào kho, và các công cụ để quản lý và lấy siêu dữ liệu (meta data). Giới thiệu Trong quá trình hoạt động kinh doanh, các dữ liệu của doanh nghiệp phát sinh ngày càng nhiều. Người ta muốn tận dụng nguồn dữ liệu này để sử dụng cho những mục đích hỗ trợ cho công việc kinh doanh ví dụ như cho mục đích thống kê hay phân tích.
Quá trình tập hợp và thao tác trên các dữ liệu này có những đặc điểm sau: Dữ liệu tích hợp (Atomicity): Dữ liệu tập hợp từ nhiều nguồn khác nhau. Điều này sẽ dẫn đến việc quá trình tập hợp phải thực hiện việc làm sạch, sắp xếp, rút gọn dữ liệu. Theo chủ đề (Consistency): Không phải tất cả các dữ liệu đều được tập hợp, người ta chỉ lấy những dữ liệu có ích. Biến thời gian (Isolation): Các dữ liệu truy xuất không bị ảnh hưởng bởi các dữ liệu khác hoặc tác động lên nhau.
Dữ liệu cố định (Durable): Khi một Transaction hoàn chỉnh, dữ liệu không thể tạo thêm hay sửa đổi. Khái niệm Kho dữ liệu là một tập các dữ liệu có những đặc điểm sau: tập trung vào một chủ đề, tổng hợp từ nhiều nguồn dữ liệu khác nhau, từ nhiều thời gian và không sửa đổi, được dùng trong việc hỗ trợ ra quyết định trong công tác quản lý. Cấu trúc dữ liệu cho kho dữ liệu Vì dữ liệu trong kho dữ liệu rất lớn và không có những thao tác như sửa đổi hay tạo mới nên nó được tối ưu cho việc phân tích và báo cáo. Các thao tác với dữ liệu của kho dữ liệu dựa trên cơ sở là mô hình dữ liệu đa chiều (multidimensional data model), được mô hình vào đối tượng gọi là data cube.
Data cube là trung tâm của vấn đề cần phân tích, nó bao gồm một hay nhiều tập dữ kiện (fact) và các dữ kiện được tạo ra từ nhiều chiều dữ kiện khác nhau (dimention). LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Ngôn ngữ cho kho dữ liệu Ngôn ngữ xử lý phân tích trực tuyến (OLAP – On-Line Analytical Prosessing), rất phù hợp với kho dữ liệu, ngôn ngữ này tương tự với ngôn ngữ truy vấn SQL và tập trung vào các câu lệnh sau: Thu nhỏ (roll-up): Ví dụ nhóm dữ liệu theo năm thay vì theo quý. Mở rộng (drill-down): Ví dụ mở rộng dữ liệu, nhìn theo tháng thay vì theo quý.
Cắt lát (slice): Nhìn theo từng lớp một. Ví dụ từ danh mục bán hàng của Q1, Q2, Q3, Q4, chỉ xem của Q1. Cấu trúc của một hệ thống kho dữ liệu Bao gồm ba tầng : Tầng đáy: Là nơi cung cấp dịch vụ lấy dữ liệu từ nhiều nguồn khác sau đó chuẩn hóa, làm sạch và lưu trữ dữ liệu đã tập trung. Tầng giữa: Cung cấp các dịch vụ để thực hiện các thao tác với kho dữ liệu gọi là dịch vụ OLAP (OLAP server).
Có thể cài đặt bằng Relational OLAP, Multidimensional OLAP hay kết hợp cả hai mô hình trên Hybrid OLAP. Tầng trên cùng: Nơi chứa các câu truy vấn, báo cáo, phân tích. Kiến trúc của một hệ thống kho dữ liệu 1. Mối quan hệ giữa kho dữ liệu và khai phá dữ liệu Cả hai đều có thể đứng độc lập với nhau, tuy nhiên khi kết hợp được kho dữ liệu với khai phá dữ liệu thì lợi ích rất lớn lý do như : Dữ liệu của kho dữ liệu rất phù hợp cho việc khai phá dữ liệu do đã được tập hợp và làm sạch.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 10 Cơ sở hạ tầng của kho dữ liệu hỗ trợ rất tốt cho các việc như xuất, nhập cũng như các thao tác cơ bản trên dữ liệu. OLAP về cung cấp các tập lệnh rất hữu hiệu trong phân tích. Các lĩnh vực ứng dụng Có thể đưa vào ba mảng ứng dụng chính : Xử lý thông tin như tạo ra các báo cáo và trả lời các câu hỏi định trước. Phân tích và tổng hợp dữ liệu, kết quả được thể hiện bằng các báo cáo và bảng biểu.
Dùng trong các mục đích kế hoạch như khai khoáng dữ liệu. Các lĩnh vực hiện tại có ứng dụng kho dữ liệu bao gồm: Thương mại điện tử Quản lý quan hệ khách hàng (CRM – Customer Relationship Management) Chăm sóc sức khỏe Viễn thông … 1. Hệ thống kho dữ liệu trong ngân hàng 1. Giới thiệu Hệ thống kho dữ liệu do nhà thầu Silver Lake xây dựng cung cấp một nền tảng báo cáo quản trị điều hành theo công nghệ OLAP SQL Server 2000 cho ngân hàng TMCP Đầu tư và Phát triển Việt Nam.
Các thông tin sau được tham khảo từ các tài liệu của ngân hàng nơi tác giả đang công tác [11]. Hệ thống cung cấp các báo cáo quản trị điều hành ở các mảng sau: Báo cáo tiền gửi Báo cáo tiền vay Báo cáo tài sản nợ Báo cáo tài sản có Báo cáo kế toán Báo cáo quản lý rủi ro … Cho phép người dùng phân tích dữ liệu theo nhiều chiều, khoan sâu dữ liệu theo nhiều lớp (sử dụng công nghệ OLAP). Giao diện khai thác phía người sử dụng cuối là Microsoft Excel, sử dụng công nghệ Pivot Table để giao tiếp với cơ sở dữ liệu của kho dữ liệu. Kho dữ liệu được xây dựng trên nền tảng AS/400, kết hợp với Microsoft SQL Server 2000, hệ điều hành Windows NT/2000.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 11 AS/400 là dòng máy chủ IBM iSeries 400, “i” viết tắt của “Integrated”, “Integrated” là vì máy được thương mại với tất cả chương trình cần thiết cài đặt sẵn trên máy chủ của hãng IBM, hiện đang được sử dụng làm core-banking. Kiến trúc của kho dữ liệu ngân hàng AS/400 SOURCE STAGING AREA ENTERPRISE USER FRONT-END DATA DATA MODEL DD STAGING REPORTS DTS DATABASE DTS EDM (Excel File Format,.) CD LN DTS REPORTS (DBF, GL Text File MIS LOAN Format,.) (OTHERS) DEPOSIT ATM (OTHERS) SQL Server 2000 Excel, text file Hình 1. Kiến trúc của hệ thống kho dữ liệu ngân hàng Sources Extraction Staging Warehousing Delivery AS400 Transformation Transformation DD CD EDM DTS Packages LN OLAP DTS Staging Packages Processing Database GL Front-end Windows Client ATM DTS Packages DATA MART AS400 AS400 NT SERVER Hình 1. Quá trình xử lý dữ liệu trong hệ thống kho dữ liệu ngân hàng Đầu tiên, dữ liệu từ các nguồn khác nhau (Sources) được kết xuất vào vùng tập kết dữ liệu (Statging Database).
Tất cả các tham số của các nguồn dữ liệu cũng được kết xuất và lưu trong vùng tập kết này. Sau đó dữ liệu từ vùng tập kết sẽ được kết xuất ra CSDL EDM. Tiếp theo dữ liệu từ EDM được đẩy ra các máy chủ OLAP hoặc các CSDL chuyên đề. Cuối cùng là phân phối báo cáo đến người sử dụng từ dữ liệu vùng EDM hoặc từ các máy chủ chuyên đề tùy theo nhu cầu sử dụng.