ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ––––––––––oOo–––––––––– TẠ LIÊN DUNG ĐỀ TÀI ỨNG DỤNG CÔNG NGHỆ KHO DỮ LIỆU TRONG CÔNG TÁC QUẢN LÝ NGUỒN VỐN TẠI NGÂN HÀNG Chuyên ngành: Công nghệ thông tin Mã số: 1.10 LUẬN VĂN THẠC SĨ Người hướng dẫn khoa học: PGS.TS Nguyễn Đình Hoá HÀ NỘI 2007 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Kho dữ liệu chuyển vốn Nội bộ tại BIDV MỤC LỤC LỜI CÁM ƠN. TỔNG QUAN VỀ KHO DỮ LIỆU. KHÁI NIỆM CHUNG VỀ KHO DỮ LIỆU. Hệ thống cơ sở dữ liệu xử lý giao dịch (OLTP).
Hệ thống Kho dữ liệu. Chợ dữ liệu (Data Mart). Kiến trúc của một Kho dữ liệu. CÁC THÀNH PHẦN CỦA KHO DỮ LIỆU.
Rút trích dữ liệu (ETL – Extract Transformation Loading). Trích dữ liệu - Extract. Chuyển đổi dữ liệu - Transform. Nạp dữ liệu (Load).
Làm mới dữ liệu. Tổng hợp, phân tích dữ liệu và tạo Kho dữ liệu OLAP. Dạng nhiều chiều (Multidimensional) - MOLAP. Dạng quan hệ (relational) - ROLAP.
Dạng lai (Hybird) - HOLAP. Phân phối dữ liệu lƣu trữ (báo cáo) tới ngƣời sử dụng. Mô hình khái niệm và các công cụ đầu cuối. Mô hình khái niệm.
Các công cụ đầu cuối. Các phƣơng pháp thiết kế cơ sở dữ liệu. CẤU TRÚC CỦA KHO DỮ LIỆU TẠI BIDV. HỆ ĐIỀU HÀNH VÀ CƠ SỞ DỮ LIỆU NGUỒN:.
Dữ liệu tập trung:. Giao dịch online:. HỆ THỐNG KHO DỮ LIỆU. Mô hình kho dữ liệu của BIDV.
Cách thức hoạt động của kho dữ liệu tại BIDV. CÁC VẤN ĐỀ ĐANG TỒN TẠI CỦA KHO DỮ LIỆU TẠI BIDV. Rút trích dữ liệu (ETL). Kho dữ liệu OLAP.
Các vấn đề về phân phối báo cáo tới ngƣời sử dụng cuối. Mô hình ngân hàng. Hệ thống thông tin tại Hội sở chính của BIDV. Sự cần thiết của kho dữ liệu trong ngân hàng.
YÊU CẦU CHUNG CỦA HỆ THỐNG CHUYỂN VỐN NỘI BỘ. YÊU CẦU CHUNG. GIẢI THÍCH MỘT SỐ TỪ NGỮ ĐƢỢC SỬ DỤNG TRONG TÀI LIỆU. CÁC YÊU CẦU CỤ THỂ:.
42 Tạ Liên Dung - K10T3 2 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Kho dữ liệu chuyển vốn Nội bộ tại BIDV 1. Kỳ hạn chuyển vốn. Giá chuyển vốn:. Đồng tiền giao dịch:.
Đánh giá hiệu quả của đơn vị kinh doanh:. Điều chỉnh chi phí:. Điều chỉnh thu nhập. PHÂN TÍCH THIẾT KẾ HỆ THỐNG CHUYỂN VỐN NỘI BỘ.
SƠ ĐỒ LUỒNG DỮ LIỆU. MÔ TẢ HOẠT ĐỘNG CỦA HỆ THỐNG. MÔ TẢ CÁC BẢNG DỮ LIỆU THỰC THỂ CỦA CƠ SỞ DỮ LIỆU SQL - KHO DỮ LIỆU. MÔ TẢ PACKAGE CỦA CHƢƠNG TRÌNH.
MÔ TẢ CÁC KHỐI OLAP. 67 Tạ Liên Dung - K10T3 3 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Kho dữ liệu chuyển vốn Nội bộ tại BIDV 2. CHƢƠNG TRÌNH BÁO CÁO ĐỊNH GIÁ CHUYỂN VỐN NỘI BỘ 75 VII. CHƢƠNG TRÌNH THAM SỐ.
81 Tạ Liên Dung - K10T3 4 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Kho dữ liệu chuyển vốn Nội bộ tại BIDV CHƢƠNG 1. TỔNG QUAN VỀ KHO DỮ LIỆU I. KHÁI NIỆM CHUNG VỀ KHO DỮ LIỆU Máy tính từ khi ra đời đã đóng vai trò vô cùng quan trọng trong lịch sử phát triển của nhân loại. Các máy tính cung cấp những công cụ tính toán mạnh, cho phép con người giải được các bài toán có số lượng tính toán khổng lồ mà trước đó không thể thực hiện được bằng tay.
Máy tính cũng góp phần làm đẩy nhanh tốc độ phát triển của nền khoa học kỹ thuật trên toàn thế giới. Cùng với sự phát triển như vũ bão của công nghệ phần cứng trong lĩnh vực công nghệ thông tin, công nghệ phần mềm cũng có những bước tiến dài trong lĩnh vực quản lý dữ liệu. Ban đầu là sự xuất hiện của những CSDL quan hệ chạy trên các máy để bàn như DBASE, ACCESS, FOXPRO, SQL Server., tạo điều kiện vô cùng thuận lợi cho nguời phát triển. Dường như máy tính và những chương trình của nó đã giải quyết được hầu hết các vấn đề trong lĩnh vực quản lý.
Tuy nhiên, trong thực tế, các công ty, tổ chức muốn thành công trên thị trường, ngoài việc tổ chức bán hàng tốt (giao dịch đơn giản, thuận tiện cho người mua và người quản lý bán hàng.), người lãnh đạo công ty phải nắm được thực chất các quá trình diễn ra trong đơn vị mình và trong môi trường kinh doanh mà đơn vị đó hoạt động để đưa ra các quyết định điều hành đúng đắn, kịp thời. Các hệ phần mềm kế toán, lập kế hoạch, giao dịch khách hàng, lập hoá đơn. mới chỉ có thể tự động thực hiện các chức năng giao dịch cơ bản của một đơn vị kinh doanh. Chính vì lý do đó những hệ thống này có một cái tên cổ điển là hệ thống xử lý giao dịch (OLTP- online transaction processing).
Hệ thống cơ sở dữ liệu xử lý giao dịch (OLTP) Hệ thống OLTP cho phép các giao dịch thay đổi dữ liệu trong bảng (thông qua các lệnh insert, update, delete, join.) trong quá trình xử lý. Hệ thống cho phép nhiều ứng dụng cùng truy cập dữ liệu tại một thời điểm. Các ứng dụng trên client bao gồm tất cả các loại ứng dụng như ngân hàng, bán vé trực tuyến, bán vé hàng không, thanh toán cước phí. Sử dụng hệ thống OLTP có các ưu điểm sau: Tạ Liên Dung - K10T3 6 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Kho dữ liệu chuyển vốn Nội bộ tại BIDV - Xử lý các chuyển tác tương tác.
- Dễ bảo trì và khống chế dữ liệu thừa. - Thiết lập dữ liệu quan hệ trọn vẹn. - Tính hiệu quả cao. - Giảm thời gian giao dịch của khách hàng.
Các CSDL trong các hệ OLTP thường được thiết kế thoả mãn 3NF (Third Normal Form) hoặc tốt hơn. Đặc điểm của hệ thống OLTP là nó lưu trữ các dữ liệu "thô", có nghĩa là mức độ tổng quát, trừu tượng của dữ liệu này rất thấp. Nói cách khác OLPT rất có ích để tìm trả lời những câu truy vấn dạng: Tổng sản lượng sản phẩm X do công ty bán được trong 6 tháng đầu năm, mặt hàng nào bán chạy nhất tại địa phương Y trong tháng vừa qua. Trong khi đó các nhà quản lý ở mức cao của công ty rất ít khi quan tâm đến những câu hỏi loại đó.
Điều họ cần chú ý là những câu hỏi trừu tượng hơn như: Tiêu thụ A tại B đang giảm, nếu thay đổi 3%-5% giá của sản phẩm A tại khu vực B, tình trạng tiêu thụ sẽ thay đổi ra sao trong 6 tháng cuối năm và tại sao? Các hệ thống OLTP hiện nay trả lời rất tốt câu hỏi dạng 1 bằng các công cụ của hệ CSDL quan hệ nhưng để tìm đáp án cho những câu hỏi dạng 2 là không đơn giản. Những yếu tố căn bản cản trở việc sử dụng dữ liệu của các hệ thống OLPT trong việc phân tích dữ liệu là: + Các số liệu ở mức quá chi tiết + Các số liệu được phân bố ở những hệ thống khác nhau, có các thủ tục truy cập khác nhau và ở những CSDL hoàn toàn khác nhau. + Các số liệu không được cập nhập cùng một chu kỳ dẫn đến sự mất đồng bộ. + Việc tổ chức truy cập từ rất nhiều bảng dữ liệu khác nhau có ảnh hưởng rất xấu tới hiệu suất của các hệ thống vì mục đích của các hệ thống này là nhằm phục vụ các giao dịch trực tuyến.
Trong môi trường thừa thãi số liệu, nhà phân tích không thể tìm ra cho mình thông tin cần thiết nhằm có được sự hiểu biết thấu đáo về những quá trình Tạ Liên Dung - K10T3 7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Kho dữ liệu chuyển vốn Nội bộ tại BIDV xảy ra xung quanh. Tình trạng số liệu quá chi tiết và không có được sự liên kết với nhau của các số liệu phản ánh các quá trình tương đối độc lập của một thực thể là lý do trực tiếp dẫn đến sự khủng hoảng này. Vì vậy, người ta đã đưa ra giải pháp tích hợp các hệ thống OLTP để tạo ra một hệ thống chứa đầy đủ thông tin. Tuy nhiên giải pháp này có hai nhược điểm lớn: - Phải liên kết các hệ thống có xuất xứ khác nhau về phần cứng và phần mềm hệ thống.
Các chương trình cần có sự thống nhất về định nghĩa dữ liệu cũng như phương pháp biểu diễn dữ liệu. Vấn đề này rất phức tạp thậm chí đối với các hệ thống có thiết kế phân tích tốt và hoàn toàn không khả thi đối với những hệ thống được mô tả kém. - Việc truy vấn để tạo báo cáo thường xuyên phải khoá rất nhiều bảng, cản trở sự truy xuất của nhân viên khai thác trong quá trình làm việc hàng ngày và làm ảnh hưởng trực tiếp đến khách hàng. Với sự phát triển như vũ bão của các ngành công nghệ, nhu cầu sử dụng cơ sở dữ liệu hiện nay cũng đã thay đổi rất nhiều, từ việc quản lý, phân tích dữ liệu truyền thống tiến tới nhu cầu phân tích xử lý dữ liệu trực tuyến, nhất là nhu cầu hỗ trợ quyết định.
Vào những năm 90 của thế kỷ trước, B.Inmon đề xướng một giải pháp kỹ thuật gọi là Data Warehoushing - kỹ thuật xây dựng các kho dữ liệu. Data Warehouse hay DWH (kho dữ liệu) được định nghĩa như một tập hợp các phương tiện cho phép hình dung dữ liệu một cách tổng thể, hướng đối tượng để giúp cho việc phân tích và ra quyết định. Những người đầu tiên đưa ra ý tưởng về DWH xác định rằng tiến hành phân tích trực tiếp trên dữ liệu của các hệ xử lý giao dịch và không hiệu quả. Các dữ liệu từ một vài OLTP được biến đổi và sau đó đưa vào một nguồn dữ liệu duy nhất là DWH.
Quá trình này được gọi là đưa dữ liệu vào DWH, gồm các công đoạn chính sau: + Làm sạch (Bỏ các dữ liệu không cần thiết hoặc quá chuyên dụng) + Liên kết các số liệu (Tính trước số liệu tích, tổng, trung bình .) Tạ Liên Dung - K10T3 8 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Kho dữ liệu chuyển vốn Nội bộ tại BIDV + Biến đổi dữ liệu: số liệu được biến đổi thành dạng thích hợp, tổ chức lại phù hợp với DWH + Tích hợp số liệu từ các nguồn khác nhau. + Đồng bộ hoá số liệu ở một thời điểm xác định.