Luận văn: Ứng dụng Kho Dữ Liệu Quản Lý Nguồn Vốn Ngân Hàng (ĐH Công Nghệ - ĐHQGHN)

Luận văn thạc sĩ: Ứng dụng công nghệ kho dữ liệu giúp quản lý nguồn vốn hiệu quả tại ngân hàng. Nghiên cứu chuyên sâu, giải pháp tối ưu cho ngành tài chính.

• Tác giả: Tạ Liên Dung
• Người hướng dẫn: Pgs.Ts Nguyễn Đình Hoá
• Trường học: Trường Đại học Công nghệ
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Ứng Dụng Công Nghệ Kho Dữ Liệu Trong Công Tác Quản Lý Nguồn Vốn Tại Ngân Hàng
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2007
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CÁM ƠN
• 1. TỔNG QUAN VỀ KHO DỮ LIỆU
• 1.1. KHÁI NIỆM CHUNG VỀ KHO DỮ LIỆU
• 1.2. Hệ thống cơ sở dữ liệu xử lý giao dịch (OLTP)
• 1.3. Hệ thống Kho dữ liệu
• 1.4. Chợ dữ liệu (Data Mart)
• 1.5. Kiến trúc của một Kho dữ liệu
• 2. CÁC THÀNH PHẦN CỦA KHO DỮ LIỆU
• 2.1. Rút trích dữ liệu (ETL – Extract Transformation Loading)
• 2.2. Trích dữ liệu - Extract
• 2.3. Chuyển đổi dữ liệu - Transform
• 2.4. Nạp dữ liệu (Load)
• 2.5. Làm mới dữ liệu
• 2.6. Tổng hợp, phân tích dữ liệu và tạo Kho dữ liệu OLAP
• 2.7. Dạng nhiều chiều (Multidimensional) - MOLAP
• 2.8. Dạng quan hệ (relational) - ROLAP
• 2.9. Dạng lai (Hybird) - HOLAP
• 2.10. Phân phối dữ liệu lƣu trữ (báo cáo) tới ngƣời sử dụng
• 2.11. Mô hình khái niệm và các công cụ đầu cuối
• 2.12. Mô hình khái niệm
• 2.13. Các công cụ đầu cuối
• 2.14. Các phƣơng pháp thiết kế cơ sở dữ liệu
• 3. CẤU TRÚC CỦA KHO DỮ LIỆU TẠI BIDV
• 3.1. HỆ ĐIỀU HÀNH VÀ CƠ SỞ DỮ LIỆU NGUỒN:
• 3.2. Dữ liệu tập trung:
• 3.3. Giao dịch online:
• 3.4. HỆ THỐNG KHO DỮ LIỆU
• 3.5. Mô hình kho dữ liệu của BIDV
• 3.6. Cách thức hoạt động của kho dữ liệu tại BIDV
• 4. CÁC VẤN ĐỀ ĐANG TỒN TẠI CỦA KHO DỮ LIỆU TẠI BIDV
• 4.1. Rút trích dữ liệu (ETL)
• 4.2. Kho dữ liệu OLAP
• 4.3. Các vấn đề về phân phối báo cáo tới ngƣời sử dụng cuối
• 4.4. Mô hình ngân hàng
• 4.5. Hệ thống thông tin tại Hội sở chính của BIDV
• 4.6. Sự cần thiết của kho dữ liệu trong ngân hàng
• 5. YÊU CẦU CHUNG CỦA HỆ THỐNG CHUYỂN VỐN NỘI BỘ
• 5.1. YÊU CẦU CHUNG
• 5.2. GIẢI THÍCH MỘT SỐ TỪ NGỮ ĐƢỢC SỬ DỤNG TRONG TÀI LIỆU
• 5.3. CÁC YÊU CẦU CỤ THỂ:
• 6. PHÂN TÍCH THIẾT KẾ HỆ THỐNG CHUYỂN VỐN NỘI BỘ
• 6.1. SƠ ĐỒ LUỒNG DỮ LIỆU
• 6.2. MÔ TẢ HOẠT ĐỘNG CỦA HỆ THỐNG
• 6.3. MÔ TẢ CÁC BẢNG DỮ LIỆU THỰC THỂ CỦA CƠ SỞ DỮ LIỆU SQL - KHO DỮ LIỆU
• 6.4. MÔ TẢ PACKAGE CỦA CHƢƠNG TRÌNH
• 6.5. MÔ TẢ CÁC KHỐI OLAP
• 7. CHƢƠNG TRÌNH BÁO CÁO ĐỊNH GIÁ CHUYỂN VỐN NỘI BỘ
• 8. CHƢƠNG TRÌNH THAM SỐ

Tóm tắt

I. Kho Dữ Liệu Quản Lý Vốn Ngân Hàng Tổng Quan Vai Trò

Từ khi máy tính ra đời, vai trò của nó trong lịch sử phát triển của nhân loại là vô cùng quan trọng. Các máy tính cung cấp những công cụ tính toán mạnh, cho phép con người giải được các bài toán có số lượng tính toán khổng lồ mà trước đó không thể thực hiện được bằng tay. Máy tính cũng góp phần làm đẩy nhanh tốc độ phát triển của nền khoa học kỹ thuật trên toàn thế giới. Cùng với sự phát triển như vũ bão của công nghệ phần cứng trong lĩnh vực công nghệ thông tin, công nghệ phần mềm cũng có những bước tiến dài trong lĩnh vực quản lý dữ liệu. Ban đầu là sự xuất hiện của những CSDL quan hệ chạy trên các máy để bàn như DBASE, ACCESS, FOXPRO, SQL Server, tạo điều kiện vô cùng thuận lợi cho nguời phát triển. Dường như máy tính và những chương trình của nó đã giải quyết được hầu hết các vấn đề trong lĩnh vực quản lý. Tuy nhiên, trong thực tế, các công ty, tổ chức muốn thành công trên thị trường, ngoài việc tổ chức bán hàng tốt, người lãnh đạo công ty phải nắm được thực chất các quá trình diễn ra trong đơn vị mình và trong môi trường kinh doanh mà đơn vị đó hoạt động để đưa ra các quyết định điều hành đúng đắn, kịp thời. Các hệ phần mềm kế toán, lập kế hoạch, giao dịch khách hàng, lập hoá đơn. mới chỉ có thể tự động thực hiện các chức năng giao dịch cơ bản của một đơn vị kinh doanh. Chính vì lý do đó những hệ thống này có một cái tên cổ điển là hệ thống xử lý giao dịch (OLTP).

1.1. Hệ thống OLTP Cơ sở dữ liệu xử lý giao dịch trực tuyến

Hệ thống OLTP cho phép các giao dịch thay đổi dữ liệu trong bảng (thông qua các lệnh insert, update, delete, join) trong quá trình xử lý. Hệ thống cho phép nhiều ứng dụng cùng truy cập dữ liệu tại một thời điểm. Các ứng dụng trên client bao gồm tất cả các loại ứng dụng như ngân hàng, bán vé trực tuyến, bán vé hàng không, thanh toán cước phí. Sử dụng hệ thống OLTP có các ưu điểm sau: Xử lý các chuyển tác tương tác. Dễ bảo trì và khống chế dữ liệu thừa. Thiết lập dữ liệu quan hệ trọn vẹn. Tính hiệu quả cao. Giảm thời gian giao dịch của khách hàng. Các CSDL trong các hệ OLTP thường được thiết kế thoả mãn 3NF (Third Normal Form) hoặc tốt hơn. Đặc điểm của hệ thống OLTP là nó lưu trữ các dữ liệu "thô", có nghĩa là mức độ tổng quát, trừu tượng của dữ liệu này rất thấp. "Các số liệu ở mức quá chi tiết + Các số liệu được phân bố ở những hệ thống khác nhau, có các thủ tục truy cập khác nhau và ở những CSDL hoàn toàn khác nhau + Các số liệu không được cập nhập cùng một chu kỳ dẫn đến sự mất đồng bộ". Vì vậy, người ta đã đưa ra giải pháp tích hợp các hệ thống OLTP để tạo ra một hệ thống chứa đầy đủ thông tin.

1.2. Sự cần thiết của Data Warehouse trong quản lý vốn ngân hàng

Vào những năm 90 của thế kỷ trước, B.Inmon đề xướng một giải pháp kỹ thuật gọi là Data Warehoushing - kỹ thuật xây dựng các kho dữ liệu. Data Warehouse hay DWH (kho dữ liệu) được định nghĩa như một tập hợp các phương tiện cho phép hình dung dữ liệu một cách tổng thể, hướng đối tượng để giúp cho việc phân tích và ra quyết định. Những người đầu tiên đưa ra ý tưởng về DWH xác định rằng tiến hành phân tích trực tiếp trên dữ liệu của các hệ xử lý giao dịch và không hiệu quả. "Quá trình này được gọi là đưa dữ liệu vào DWH, gồm các công đoạn chính sau: + Làm sạch (Bỏ các dữ liệu không cần thiết hoặc quá chuyên dụng) + Liên kết các số liệu (Tính trước số liệu tích, tổng, trung bình .) + Biến đổi dữ liệu: số liệu được biến đổi thành dạng thích hợp, tổ chức lại phù hợp với DWH + Tích hợp số liệu từ các nguồn khác nhau + Đồng bộ hoá số liệu ở một thời điểm xác định."

II. Cách Kho Dữ Liệu Ngân Hàng Giải Quyết Bài Toán Quản Lý Vốn

Kho dữ liệu là một tập hợp dữ liệu ổn định, hướng đối tượng, tích hợp và biến thiên theo thời gian, nó dược sử dụng chủ yếu trong việc ra quyết định có tổ chức. Kho dữ liệu được cài đặt độc lập so với cơ sở dữ liệu thao tác ban đầu do nó hỗ trợ quá trình xử lý phân tích trực tuyến (OLAP), vì thế, các yêu cầu về hiệu năng và chức năng của nó khá khác biệt so với các yêu cầu của các ứng dụng xử lý giao dịch trực tuyến (OLTP) truyền thống trong cơ sở dữ liệu tương tác. Các đặc tính của kho dữ liệu thông thường là: Hướng chủ đề: Các hệ thống OLTP có thể chứa hàng trăm Gbyte số liệu, tuy nhiên những số liệu này có thể hoàn toàn vô ích trong việc phân tích trực tuyến. "Một vùng chủ đề là một chủ đề được tách ra từ một tập hợp lớn các chủ đề mà người sử dụng quan tâm trong công việc kinh doanh, (Ví dụ khách hàng, thời gian hay sản phẩm). Số liệu có tính lịch sử: Các hệ OLTP thường bao quát một khoảng thời gian không lớn và chúng được lưu trữ theo chu kỳ". Số liệu chỉ để đọc: Dữ liệu đưa vào DWH chỉ để đọc, việc sửa dữ liệu hầu như không được tiến hành vì điều này có thể dẫn đến phá vỡ sự toàn vẹn.

2.1. Data Mart Chợ dữ liệu chuyên biệt cho quản lý vốn

Do việc xây dựng một kho dữ liệu doanh nghiệp chiếm nhiều thời gian và phức tạp, có thể kéo dài nhiều năm và khá tốn kém. Một số tổ chức đang sắp xếp sử dụng các chợ dữ liệu (data mart) thay cho kho dữ liệu. Chợ dữ liệu (data mart) là nơi chứa dữ liệu được tập hợp từ các dữ liệu thao tác và các nguồn dữ liệu khác được thiết kế để phục vụ cho một nhóm công nhân tri thức (knowledge workers). "Chợ dữ liệu đặc biệt chú trọng tới các yêu cầu đặc thù của một nhóm người sử dụng tri thức cụ thể theo các lĩnh vực phân tích, nội dung, cách thể hiện và tính dễ sử dụng. Những người sử dụng chợ dữ liệu có thể muốn thể hiện dữ liệu một cách thân thiện hơn. Trên thực tế, chợ dữ liệu là một phiên bản đặc biệt của kho dữ liệu."

2.2. Kiến trúc kho dữ liệu Nền tảng cho phân tích và ra quyết định

Kiến trúc tham chiếu của một kho dữ liệu cho phép người xây dựng và người khai thác có cái nhìn tổng quát về các bộ phận cấu thành nên kho dữ liệu. Các thành phần của kho dữ liệu bao gồm: Các nguồn dữ liệu: Các nguồn dữ liệu có thể là các cơ sở dữ liệu thao tác, hoặc các nguồn khác. Thành phần lưu trữ dữ liệu: Sau khi dữ liệu được rút trích và nạp vào kho dữ liệu, nó sẽ được đặt ở thành phần lưu trữ dữ liệu. OLAP Engine: Dữ liệu được tổng hợp và đưa vào các OLAP Engine dưới dạng bảng nhiều chiều để tiện cho người sử dụng khai thác. Các công cụ đầu cuối: Người sử dụng có thể khai thác thông tin thông qua các công cụ đầu cuối. Việc nắm vững cấu trúc khối và lớp cho phép ta linh hoạt trong việc triển khai các hệ thống DWH trên thực tế. Tuỳ nhu cầu và khả năng tài chính, chúng ta có thể xuất phát từ việc xây dựng các kho dữ liệu cục bộ (các Datamart) trước để có thể khai thác ngay số liệu theo từng chủ đề.

III. Hướng Dẫn Rút Trích Chuyển Đổi và Nạp Dữ Liệu ETL Hiệu Quả

Tiến trình ETL trong kho dữ liệu gồm có 3 bước chính: trích dữ liệu từ các nguồn dữ liệu bên ngoài (Extract), chuyển đổi nó cho phù hợp với yêu cầu của công việc (Transform), sự chuyển đổi này có nhiều mức độ khác nhau và không cố định (ultimately), và cuối cùng là nạp dữ liệu vào nơi chứa cuối cùng - chẳng hạn kho dữ liệu (Load). Mỗi kho dữ liệu của các hãng khác nhau có một công cụ ETL riêng, đặc thù của hãng đó, nhưng dù có đặc thù như thế nào đi chăng nữa thì ETL phải đáp ứng được các yêu cầu sau: Lấy được dữ liệu từ mọi định dạng khác nhau. Đưa dữ liệu về định dạng chung. Dễ dàng chỉnh sửa hoặc bổ sung các tiêu chí lấy dữ liệu.

3.1. Trích xuất dữ liệu Thu thập thông tin từ nhiều nguồn khác nhau

Cấu phần đầu tiên của ETL là trích dữ liệu từ các nguồn dữ liệu khác nhau. Hầu hết các kho dữ liệu đều phải lấy dữ liệu từ nhiều nguồn dữ liệu có định dạng hoặc tổ chức khác nhau. Hầu hết các nguồn dữ liệu thông thường đều ở dạng cơ sở dữ liệu quan hệ hoặc các cơ sở dữ liệu "phẳng" (không có quan hệ giữa các bản ghi và các bảng) còn gọi là flat files database, nhưng cũng có thể chứa các cấu trúc cơ sở dữ liệu như IMS hoặc các cấu trúc dữ liệu khác chẳng hạn như VSAM hoặc ISAM. Quá trình trích dữ liệu sẽ chuyển đổi dữ liệu từ các nguồn trên thành một định dạng chung để sử dụng trong quá trình chuyển đổi dữ liệu (transformation).

3.2. Chuyển đổi dữ liệu Làm sạch và chuẩn hóa thông tin ngân hàng

Quá trình chuyển đổi dữ liệu áp dụng một loạt các quy tắc hoặc các hàm cho các dữ liệu đã được trích ở bước trước, sau đó nó chuyển dữ liệu trên cho quá trình nạp dữ liệu tới đích định trước, trong thực tế, quá trình chuyển đổi chính là quá trình làm sạch dữ liệu. Trong các trường hợp khác, để đáp ứng các yêu cầu về mặt kỹ thuật hoặc nghiệp vụ thì quá trình chuyển đổi dữ liệu có thể thực hiện các tác vụ sau: Chỉ chọn một số cột nhất định, hoặc không chọn các cột null cho quá trình nạp. Chuyển đổi mã hoá các giá trị (ví dụ: trong dữ liệu nguồn, ở cột giới tính, người ta sử dụng 1 đại diện cho nam, 2 đại diện cho nữ, nhưng trong kho dữ liệu người tại lại sử dụng M cho giới tính nam, F cho giới tính nữ), quá trình này gọi là tự động làm sạch dữ liệu. Mã hoá các giá trị ở dạng "tự do" (nhập text). Chuyển các giá trị tự do này về các giá trị quy định. Tạo ra các giá trị tính toán dựa trên các trường có sẵn, ví dụ thành tiền = đơn giá x số lượng.

3.3. Nạp dữ liệu và làm mới dữ liệu Đảm bảo tính cập nhật của kho

Sau khi rút trích, làm sạch và chuyển đổi, dữ liệu phải được nạp vào kho dữ liệu. Quá trình này có thể cần phải có một tiến trình tiền xử lý: kiểm tra tính ràng buộc toàn vẹn, sắp xếp, tính tổng và các tính toán khác để xây dựng các bảng kết quả tính toán được lưu trữ trong kho dữ liệu; xây dựng chỉ mục và các đường dẫn truy cập khác; và phân nhỏ thành nhiều vùng lưu trữ đích. Việc nạp dữ liệu liên tiếp có thể mất nhiều thời gian, ví dụ như nạp một terabyte dữ liệu có thể mất hàng tuần hoặc hàng tháng! Hơn nữa, Việc nạp có thể ứng dụng theo hình thức tuần tự hoặc song song. Việc nạp toàn bộ dữ liệu có một lợi ích là nó có thể được xử lý như một giao dịch lô lớn, nó sẽ xây dựng một cơ sở dữ liệu mới. Trong khi hệ thống đang thực hiện việc nạp dữ liệu trên cơ sở dữ liệu mới này, cơ sở dữ liệu hiện tại vẫn hỗ trợ các truy vấn; khi thao tác nạp thành công, cơ sở dữ liệu hiện tại được thay thế bởi cơ sở dữ liệu mới. Việc sử dụng các điểm kiểm tra định kỳ đảm bảo rằng nếu có lỗi xảy ra trong quá trình nạp, quá trình có thể được bắt đầu lại từ điểm kiểm tra cuối cùng.

IV. Khai Thác Kho Dữ Liệu Tổng Hợp Phân Tích và OLAP cho Ngân Hàng

Từ dạng dữ liệu nguồn ban đầu, sau khi được rút trích, dữ liệu được lưu trữ dưới dạng dữ liệu thuần nhất và được phân tích, tổng hợp lại để tạo ra các báo cáo nhiều chiều (multi dimensions) - kho dữ liệu OLAP. Một trong những ưu điểm nổi bật của kho dữ liệu là tạo được các báo cáo đa chiều. Công cụ để tạo được các báo cáo nhiều chiều này chính là OLAP (Online Analytical Processing). Hầu hết các hệ quản trị cơ sở dữ liệu lớn như DB2, MSSQL của Microsoft, Oracle của hãng Oracle đều xây dựng công cụ cơ sở dữ liệu OLAP. OLAP được ứng dụng chủ yếu trong các lĩnh vực báo cáo bán hàng, marketing, báo cáo điều hành, báo cáo budgeting và dự đoán, báo cáo tài chính và các lĩnh vực tương tự.

4.1. OLAP Cube Công cụ phân tích dữ liệu đa chiều hiệu quả

Bất kỳ hệ thống cơ sở dữ liệu OLAP nào cũng đều chứa một OLAP cube hay còn gọi là cube nhiều chiều (multidimensional cube) hay hypercube. Nó bao gồm một số yếu tố gọi là measures - được thể hiện thành dimension (chiều). Siêu dữ liệu cube thường được tạo thành từ các bảng trong một cơ sở dữ liệu quan hệ, các bảng này có dạng sơ đồ hình sao hoặc sơ đồ hình bông tuyết. Các measure được tạo thành từ các bản ghi trong fact table và các dimensions được tạo thành từ các bảng dimension. Nhiều khảo sát chỉ ra rằng đối với các câu lệnh truy vấn phức tạp, các OLAP cube có thể trả về câu trả lời trong một khoảng thời gian chỉ bằng 0.1% so với các cơ sở dữ liệu quan hệ OLTP.

4.2. Các dạng OLAP MOLAP ROLAP HOLAP Ưu nhược điểm

Các cơ sở dữ liệu OLAP thông thường sẽ có các dạng sau: Dạng nhiều chiều (Multidimensional) - MOLAP. MOLAP là dạng 'truyền thống' của OLAP và đôi khi người ta coi nó là OLAP. MOLAP thường sử dụng cấu trúc dữ liệu tối ưu đối với các thuộc tính như khoảng thời gian, địa điểm, sản phẩm hoặc mã tài khoản. Cách thức mà mỗi dimension sẽ được tập hợp sẽ được xác định trước theo một hoặc nhiều cấp bậc. Dạng quan hệ (relational) - ROLAP. ROLAP làm việc trực tiếp với các cơ sở dữ liệu quan hệ. Các bảng dữ liệu cơ bản và các bảng dimension được lưu trữ như các bảng quan hệ. Dạng lai (Hybird) - HOLAP. HOLAP là một dạng database sử dụng kết hợp cả hai cách lưu trữ dữ liệu quan hệ và lưu trữ dữ liệu đặc thù. Hiện tại các chuyên gia tin học trên thế giới vẫn không thống nhất về cách định nghĩa của HOLAP.

4.3. Phân phối dữ liệu Báo cáo Truy cập thông tin dễ dàng

Một trong những phần quan trọng của kho dữ liệu là phần phân phối thông tin tới người sử dụng cuối. Để khai thác được kho dữ liệu một cách có hiệu quả, cấu phần phân phối thông tin tới người sử dụng phải đáp ứng được những đặc điểm sau: Cho phép người sử dụng dễ dàng, chủ động khai thác và tạo ra các câu truy vấn (query), tạo lập báo cáo, tạo lập các bản phân tích một cách nhanh chóng với độ chính xác cao mà không cần yêu cầu kiến thức về cơ sở dữ liệu. Đây chính là tính thân thiện với người sử dụng. Cho phép xoay chiều và tạo các báo cáo theo nhiều dạng khác nhau như dạng bảng ngang (horizontal), bảng dọc (vertical), bảng kết hợp (across), cũng như các dạng đồ thị khác nhau.

V. Ứng Dụng Kho Dữ Liệu Tại BIDV Cấu Trúc Hoạt Động

Do BIDV là một hệ thống ngân hàng thương mại quốc doanh lớn, có chi nhánh trải đều trên khắp các tỉnh, thành trong cả nước, số lượng khách hàng của BIDV trên 1 triệu khách hàng. Số lượng tài khoản được mở tại BIDV vào khoảng hơn 3 triệu tài khoản nên lượng dữ liệu hàng ngày phát sinh rất lớn. Năm 2003, BIDV cùng với một số ngân hàng thương mại của Việt Nam đầu tư mua hệ thống ứng dụng tin học chuyên nghiệp dành cho ngân hàng của Mỹ. Với sự phát triển của công nghệ thông tin tại thời điểm đó, hệ thống ứng dụng SIBS là một trong những giải pháp hàng đầu trên thế giới về dữ liệu tập trung đối với ứng dụng trong ngân hàng. Chương trình sử dụng hệ cơ sở dữ liệu DB2, ngôn ngữ lập trình RPG được xây dựng trên hệ điều hành AS400 chuyên dụng với dòng máy chủ Iseries.

5.1. Dữ Liệu Tập Trung Giao Dịch Online Ưu điểm của SIBS

Đây chính là ưu điểm lớn nhất của hệ thống SIBS so với các hệ thống ứng dụng phần mềm ngân hàng tính từ thời điểm trước đến năm 2003. Với mô hình trước đây, dữ liệu hoạt động của ngân hàng bị xé lẻ, do từng đơn vị thành viên (chi nhánh) của ngân hàng quản lý. Hội sở chính của ngân hàng khi muốn ra quyết định quan trọng liên quan đến các mặt kinh doanh, chính sách, đều phải yêu cầu chi nhánh lập báo cáo và gửi lên trung ương. Điều này gây tốn kém về nhân lực, thời gian, tiền bạc để tạo báo cáo, tổng hợp báo cáo cả tại chi nhánh của ngân hàng lẫn tại hội sở chính.

5.2. Mô hình kho dữ liệu của BIDV Tổng quan về cấu trúc

Hình 4 mô tả mô hình kho dữ liệu của BIDV, mô hình này thể hiện khá rõ ràng các cấu phần của một kho dữ liệu. Nhìn chung, kho dữ liệu của BIDV cũng có 3 cấu phần chính như các kho dữ liệu khác: ETL, tổng hợp, phân tích dữ liệu và tạo kho dữ liệu OLAP, phân phối báo cáo tới người sử dụng cuối. Ngoài ra, kho dữ liệu của BIDV còn có các cấu phần khác để phù hợp với tình hình thực tế của đơn vị mình, đó là các cấu phần cơ sở dữ liệu tạm thời (staging database), kho dữ liệu quan hệ (Relational datawarehouse).

VI. Các Vấn Đề Tồn Tại Hướng Phát Triển Kho Dữ Liệu BIDV

Do kho dữ liệu của BIDV được xây dựng trên cơ sở MS SQL 2000 nên có một số hạn chế nhất định trong quá trình khai thác, sử dụng, mà lý do chủ yếu là về phần công nghệ. Quả thực vậy, MS SQL 2000 là một hệ quản trị cơ sở dữ liệu sử dụng chủ yếu cho các doanh nghiệp vừa và nhỏ, khả năng của MS SQL 2000 không đáp ứng được mô hình của một doanh nghiệp có quy mô lớn như BIDV.

6.1. Vấn đề với ETL Rút trích dữ liệu chậm tốn tài nguyên

Rút trích dữ liệu là một khâu đóng vai trò quan trọng trong hệ thống kho dữ liệu. Tại BIDV, cấu phần ETL được xây dựng trên MS SQL 2000, sử dụng các dts của SQL để thực hiện trích dữ liệu. Ưu điểm của phương pháp này là khá đơn giản khi thiết kế, code dễ hiểu, khá rõ ràng vì dts của SQL hỗ trợ đồ hoạ, rất dễ sử dụng và maintain. Tuy vậy nhược điểm của phương pháp này là chậm, tốn tài nguyên máy chủ.

6.2. Khó khăn trong phân phối báo cáo tới người dùng cuối

Hệ thống kho dữ liệu hiện tại của BIDV có module phân phối báo cáo tới người sử dụng cuối rất kém. Cụ thể là hệ thống này tạo một loạt các báo cáo Excel dạng pivot table trên máy chủ kho dữ liệu OLAP (windows NT), shared các file này ở dạng chỉ đọc (read - only) sau đó phân quyền cho người sử dụng cuối thông qua giao diện module phân phối báo cáo để mở các file báo cáo đã tạo sẵn trên. Nhược điểm của phương pháp này là tất cả các máy tính của người sử dụng cuối phải tạo ra cùng một user có password giống hệt user và password của hệ điều hành đã được tạo sẵn trên máy chủ kho dữ liệu OLAP. Các máy trạm của người sử dụng cuối đều phải cài đặt chương trình và phải sử dụng Microsoft Office 2003.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ––––––––––oOo–––––––––– TẠ LIÊN DUNG ĐỀ TÀI ỨNG DỤNG CÔNG NGHỆ KHO DỮ LIỆU TRONG CÔNG TÁC QUẢN LÝ NGUỒN VỐN TẠI NGÂN HÀNG Chuyên ngành: Công nghệ thông tin Mã số: 1.10 LUẬN VĂN THẠC SĨ Người hướng dẫn khoa học: PGS.TS Nguyễn Đình Hoá HÀ NỘI 2007 TIEU LUAN MOI download : [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV MỤC LỤC LỜI CÁM ƠN. TỔNG QUAN VỀ KHO DỮ LIỆU. KHÁI NIỆM CHUNG VỀ KHO DỮ LIỆU. Hệ thống cơ sở dữ liệu xử lý giao dịch (OLTP).

Hệ thống Kho dữ liệu. Chợ dữ liệu (Data Mart). Kiến trúc của một Kho dữ liệu. CÁC THÀNH PHẦN CỦA KHO DỮ LIỆU.

Rút trích dữ liệu (ETL – Extract Transformation Loading). Trích dữ liệu - Extract. Chuyển đổi dữ liệu - Transform. Nạp dữ liệu (Load).

Làm mới dữ liệu. Tổng hợp, phân tích dữ liệu và tạo Kho dữ liệu OLAP. Dạng nhiều chiều (Multidimensional) - MOLAP. Dạng quan hệ (relational) - ROLAP.

Dạng lai (Hybird) - HOLAP. Phân phối dữ liệu lƣu trữ (báo cáo) tới ngƣời sử dụng. Mô hình khái niệm và các công cụ đầu cuối. Mô hình khái niệm.

Các công cụ đầu cuối. Các phƣơng pháp thiết kế cơ sở dữ liệu. CẤU TRÚC CỦA KHO DỮ LIỆU TẠI BIDV. HỆ ĐIỀU HÀNH VÀ CƠ SỞ DỮ LIỆU NGUỒN:.

Dữ liệu tập trung:. Giao dịch online:. HỆ THỐNG KHO DỮ LIỆU. Mô hình kho dữ liệu của BIDV.

Cách thức hoạt động của kho dữ liệu tại BIDV. CÁC VẤN ĐỀ ĐANG TỒN TẠI CỦA KHO DỮ LIỆU TẠI BIDV. Rút trích dữ liệu (ETL). Kho dữ liệu OLAP.

Các vấn đề về phân phối báo cáo tới ngƣời sử dụng cuối. Mô hình ngân hàng. Hệ thống thông tin tại Hội sở chính của BIDV. Sự cần thiết của kho dữ liệu trong ngân hàng.

YÊU CẦU CHUNG CỦA HỆ THỐNG CHUYỂN VỐN NỘI BỘ. YÊU CẦU CHUNG. GIẢI THÍCH MỘT SỐ TỪ NGỮ ĐƢỢC SỬ DỤNG TRONG TÀI LIỆU. CÁC YÊU CẦU CỤ THỂ:.

42 Tạ Liên Dung - K10T3 2 TIEU LUAN MOI download : [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV 1. Kỳ hạn chuyển vốn. Giá chuyển vốn:. Đồng tiền giao dịch:.

Đánh giá hiệu quả của đơn vị kinh doanh:. Điều chỉnh chi phí:. Điều chỉnh thu nhập. PHÂN TÍCH THIẾT KẾ HỆ THỐNG CHUYỂN VỐN NỘI BỘ.

SƠ ĐỒ LUỒNG DỮ LIỆU. MÔ TẢ HOẠT ĐỘNG CỦA HỆ THỐNG. MÔ TẢ CÁC BẢNG DỮ LIỆU THỰC THỂ CỦA CƠ SỞ DỮ LIỆU SQL - KHO DỮ LIỆU. MÔ TẢ PACKAGE CỦA CHƢƠNG TRÌNH.

MÔ TẢ CÁC KHỐI OLAP. 67 Tạ Liên Dung - K10T3 3 TIEU LUAN MOI download : [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV 2. CHƢƠNG TRÌNH BÁO CÁO ĐỊNH GIÁ CHUYỂN VỐN NỘI BỘ 75 VII. CHƢƠNG TRÌNH THAM SỐ.

81 Tạ Liên Dung - K10T3 4 TIEU LUAN MOI download : [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV CHƢƠNG 1. TỔNG QUAN VỀ KHO DỮ LIỆU I. KHÁI NIỆM CHUNG VỀ KHO DỮ LIỆU Máy tính từ khi ra đời đã đóng vai trò vô cùng quan trọng trong lịch sử phát triển của nhân loại. Các máy tính cung cấp những công cụ tính toán mạnh, cho phép con người giải được các bài toán có số lượng tính toán khổng lồ mà trước đó không thể thực hiện được bằng tay.

Máy tính cũng góp phần làm đẩy nhanh tốc độ phát triển của nền khoa học kỹ thuật trên toàn thế giới. Cùng với sự phát triển như vũ bão của công nghệ phần cứng trong lĩnh vực công nghệ thông tin, công nghệ phần mềm cũng có những bước tiến dài trong lĩnh vực quản lý dữ liệu. Ban đầu là sự xuất hiện của những CSDL quan hệ chạy trên các máy để bàn như DBASE, ACCESS, FOXPRO, SQL Server., tạo điều kiện vô cùng thuận lợi cho nguời phát triển. Dường như máy tính và những chương trình của nó đã giải quyết được hầu hết các vấn đề trong lĩnh vực quản lý.

Tuy nhiên, trong thực tế, các công ty, tổ chức muốn thành công trên thị trường, ngoài việc tổ chức bán hàng tốt (giao dịch đơn giản, thuận tiện cho người mua và người quản lý bán hàng.), người lãnh đạo công ty phải nắm được thực chất các quá trình diễn ra trong đơn vị mình và trong môi trường kinh doanh mà đơn vị đó hoạt động để đưa ra các quyết định điều hành đúng đắn, kịp thời. Các hệ phần mềm kế toán, lập kế hoạch, giao dịch khách hàng, lập hoá đơn. mới chỉ có thể tự động thực hiện các chức năng giao dịch cơ bản của một đơn vị kinh doanh. Chính vì lý do đó những hệ thống này có một cái tên cổ điển là hệ thống xử lý giao dịch (OLTP- online transaction processing).

Hệ thống cơ sở dữ liệu xử lý giao dịch (OLTP) Hệ thống OLTP cho phép các giao dịch thay đổi dữ liệu trong bảng (thông qua các lệnh insert, update, delete, join.) trong quá trình xử lý. Hệ thống cho phép nhiều ứng dụng cùng truy cập dữ liệu tại một thời điểm. Các ứng dụng trên client bao gồm tất cả các loại ứng dụng như ngân hàng, bán vé trực tuyến, bán vé hàng không, thanh toán cước phí. Sử dụng hệ thống OLTP có các ưu điểm sau: Tạ Liên Dung - K10T3 6 TIEU LUAN MOI download : [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV - Xử lý các chuyển tác tương tác.

- Dễ bảo trì và khống chế dữ liệu thừa. - Thiết lập dữ liệu quan hệ trọn vẹn. - Tính hiệu quả cao. - Giảm thời gian giao dịch của khách hàng.

Các CSDL trong các hệ OLTP thường được thiết kế thoả mãn 3NF (Third Normal Form) hoặc tốt hơn. Đặc điểm của hệ thống OLTP là nó lưu trữ các dữ liệu "thô", có nghĩa là mức độ tổng quát, trừu tượng của dữ liệu này rất thấp. Nói cách khác OLPT rất có ích để tìm trả lời những câu truy vấn dạng: Tổng sản lượng sản phẩm X do công ty bán được trong 6 tháng đầu năm, mặt hàng nào bán chạy nhất tại địa phương Y trong tháng vừa qua. Trong khi đó các nhà quản lý ở mức cao của công ty rất ít khi quan tâm đến những câu hỏi loại đó.

Điều họ cần chú ý là những câu hỏi trừu tượng hơn như: Tiêu thụ A tại B đang giảm, nếu thay đổi 3%-5% giá của sản phẩm A tại khu vực B, tình trạng tiêu thụ sẽ thay đổi ra sao trong 6 tháng cuối năm và tại sao? Các hệ thống OLTP hiện nay trả lời rất tốt câu hỏi dạng 1 bằng các công cụ của hệ CSDL quan hệ nhưng để tìm đáp án cho những câu hỏi dạng 2 là không đơn giản. Những yếu tố căn bản cản trở việc sử dụng dữ liệu của các hệ thống OLPT trong việc phân tích dữ liệu là: + Các số liệu ở mức quá chi tiết + Các số liệu được phân bố ở những hệ thống khác nhau, có các thủ tục truy cập khác nhau và ở những CSDL hoàn toàn khác nhau. + Các số liệu không được cập nhập cùng một chu kỳ dẫn đến sự mất đồng bộ. + Việc tổ chức truy cập từ rất nhiều bảng dữ liệu khác nhau có ảnh hưởng rất xấu tới hiệu suất của các hệ thống vì mục đích của các hệ thống này là nhằm phục vụ các giao dịch trực tuyến.

Trong môi trường thừa thãi số liệu, nhà phân tích không thể tìm ra cho mình thông tin cần thiết nhằm có được sự hiểu biết thấu đáo về những quá trình Tạ Liên Dung - K10T3 7 TIEU LUAN MOI download : [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV xảy ra xung quanh. Tình trạng số liệu quá chi tiết và không có được sự liên kết với nhau của các số liệu phản ánh các quá trình tương đối độc lập của một thực thể là lý do trực tiếp dẫn đến sự khủng hoảng này. Vì vậy, người ta đã đưa ra giải pháp tích hợp các hệ thống OLTP để tạo ra một hệ thống chứa đầy đủ thông tin. Tuy nhiên giải pháp này có hai nhược điểm lớn: - Phải liên kết các hệ thống có xuất xứ khác nhau về phần cứng và phần mềm hệ thống.

Các chương trình cần có sự thống nhất về định nghĩa dữ liệu cũng như phương pháp biểu diễn dữ liệu. Vấn đề này rất phức tạp thậm chí đối với các hệ thống có thiết kế phân tích tốt và hoàn toàn không khả thi đối với những hệ thống được mô tả kém. - Việc truy vấn để tạo báo cáo thường xuyên phải khoá rất nhiều bảng, cản trở sự truy xuất của nhân viên khai thác trong quá trình làm việc hàng ngày và làm ảnh hưởng trực tiếp đến khách hàng. Với sự phát triển như vũ bão của các ngành công nghệ, nhu cầu sử dụng cơ sở dữ liệu hiện nay cũng đã thay đổi rất nhiều, từ việc quản lý, phân tích dữ liệu truyền thống tiến tới nhu cầu phân tích xử lý dữ liệu trực tuyến, nhất là nhu cầu hỗ trợ quyết định.

Vào những năm 90 của thế kỷ trước, B.Inmon đề xướng một giải pháp kỹ thuật gọi là Data Warehoushing - kỹ thuật xây dựng các kho dữ liệu. Data Warehouse hay DWH (kho dữ liệu) được định nghĩa như một tập hợp các phương tiện cho phép hình dung dữ liệu một cách tổng thể, hướng đối tượng để giúp cho việc phân tích và ra quyết định. Những người đầu tiên đưa ra ý tưởng về DWH xác định rằng tiến hành phân tích trực tiếp trên dữ liệu của các hệ xử lý giao dịch và không hiệu quả. Các dữ liệu từ một vài OLTP được biến đổi và sau đó đưa vào một nguồn dữ liệu duy nhất là DWH.

Quá trình này được gọi là đưa dữ liệu vào DWH, gồm các công đoạn chính sau: + Làm sạch (Bỏ các dữ liệu không cần thiết hoặc quá chuyên dụng) + Liên kết các số liệu (Tính trước số liệu tích, tổng, trung bình .) Tạ Liên Dung - K10T3 8 TIEU LUAN MOI download : [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV + Biến đổi dữ liệu: số liệu được biến đổi thành dạng thích hợp, tổ chức lại phù hợp với DWH + Tích hợp số liệu từ các nguồn khác nhau. + Đồng bộ hoá số liệu ở một thời điểm xác định.