Luận Văn Thạc Sĩ: Ứng Dụng Công Nghệ Kho Dữ Liệu Trong Quản Lý Nguồn Vốn Tại Ngân Hàng

Luận văn thạc sĩ VNU UET nghiên cứu ứng dụng công nghệ kho dữ liệu trong quản lý nguồn vốn tại ngân hàng, nâng cao hiệu quả quản lý.

• Tác giả: Tạ Liên Dung
• Người hướng dẫn: Pgs.Ts Nguyễn Đình Hoá
• Trường học: Trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Ứng Dụng Công Nghệ Kho Dữ Liệu Trong Công Tác Quản Lý Nguồn Vốn Tại Ngân Hàng
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2007
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CÁM ƠN
• 1. TỔNG QUAN VỀ KHO DỮ LIỆU
• 1.1. KHÁI NIỆM CHUNG VỀ KHO DỮ LIỆU
• 1.2. Hệ thống cơ sở dữ liệu xử lý giao dịch (OLTP)
• 1.3. Hệ thống Kho dữ liệu. Chợ dữ liệu (Data Mart). Kiến trúc của một Kho dữ liệu
• 1.4. CÁC THÀNH PHẦN CỦA KHO DỮ LIỆU
• 1.5. Rút trích dữ liệu (ETL – Extract Transformation Loading)
• 1.6. Tổng hợp, phân tích dữ liệu và tạo Kho dữ liệu OLAP
• 1.7. Mô hình khái niệm và các công cụ đầu cuối
• 1.8. Các phƣơng pháp thiết kế cơ sở dữ liệu
• 1.9. CẤU TRÚC CỦA KHO DỮ LIỆU TẠI BIDV
• 1.10. HỆ ĐIỀU HÀNH VÀ CƠ SỞ DỮ LIỆU NGUỒN
• 1.11. HỆ THỐNG KHO DỮ LIỆU
• 1.12. CÁC VẤN ĐỀ ĐANG TỒN TẠI CỦA KHO DỮ LIỆU TẠI BIDV
• 1.13. Mô hình ngân hàng
• 1.14. YÊU CẦU CHUNG CỦA HỆ THỐNG CHUYỂN VỐN NỘI BỘ
• 1.15. GIẢI THÍCH MỘT SỐ TỪ NGỮ ĐƢỢC SỬ DỤNG TRONG TÀI LIỆU
• 1.16. CÁC YÊU CẦU CỤ THỂ
• 2. CHƯƠNG TRÌNH BÁO CÁO ĐỊNH GIÁ CHUYỂN VỐN NỘI BỘ
• 3. CHƯƠNG TRÌNH THAM SỐ

Tóm tắt

I. Tổng Quan Về Ứng Dụng Công Nghệ Kho Dữ Liệu Trong Ngân Hàng

Công nghệ kho dữ liệu đã trở thành một phần không thể thiếu trong việc quản lý nguồn vốn ngân hàng. Nó giúp tổ chức và phân tích dữ liệu một cách hiệu quả, từ đó hỗ trợ các quyết định tài chính quan trọng. Kho dữ liệu cho phép ngân hàng lưu trữ và xử lý khối lượng lớn thông tin từ nhiều nguồn khác nhau, giúp cải thiện khả năng ra quyết định và tối ưu hóa quy trình quản lý tài chính.

1.1. Khái Niệm Về Kho Dữ Liệu Trong Ngân Hàng

Kho dữ liệu là một hệ thống lưu trữ dữ liệu được thiết kế để hỗ trợ phân tích và ra quyết định. Trong ngân hàng, kho dữ liệu giúp tích hợp thông tin từ các hệ thống khác nhau, cung cấp cái nhìn tổng thể về tình hình tài chính và hoạt động của ngân hàng.

1.2. Lợi Ích Của Việc Ứng Dụng Kho Dữ Liệu

Việc ứng dụng công nghệ kho dữ liệu trong ngân hàng mang lại nhiều lợi ích, bao gồm khả năng phân tích dữ liệu nhanh chóng, cải thiện độ chính xác trong dự báo tài chính, và hỗ trợ quản lý rủi ro hiệu quả hơn.

II. Các Thách Thức Trong Quản Lý Nguồn Vốn Ngân Hàng

Quản lý nguồn vốn ngân hàng không chỉ đơn thuần là việc theo dõi số liệu tài chính mà còn bao gồm việc đối mặt với nhiều thách thức. Các vấn đề như rủi ro tín dụng, rủi ro thanh khoản và sự biến động của thị trường đều ảnh hưởng đến khả năng quản lý nguồn vốn. Công nghệ kho dữ liệu có thể giúp giải quyết một số thách thức này, nhưng cũng cần phải nhận diện và khắc phục các vấn đề tiềm ẩn.

2.1. Rủi Ro Tín Dụng Trong Quản Lý Nguồn Vốn

Rủi ro tín dụng là một trong những thách thức lớn nhất mà ngân hàng phải đối mặt. Việc phân tích dữ liệu từ kho dữ liệu giúp ngân hàng đánh giá khả năng trả nợ của khách hàng, từ đó đưa ra quyết định cho vay hợp lý.

2.2. Rủi Ro Thanh Khoản Và Biến Động Thị Trường

Rủi ro thanh khoản có thể gây ra khó khăn trong việc duy trì hoạt động của ngân hàng. Công nghệ kho dữ liệu giúp theo dõi và phân tích dòng tiền, từ đó đưa ra các biện pháp kịp thời để giảm thiểu rủi ro.

III. Phương Pháp Tối Ưu Hóa Quy Trình Quản Lý Nguồn Vốn

Để tối ưu hóa quy trình quản lý nguồn vốn, ngân hàng cần áp dụng các phương pháp hiện đại, trong đó có việc sử dụng công nghệ kho dữ liệu. Các phương pháp này không chỉ giúp cải thiện hiệu suất mà còn nâng cao khả năng ra quyết định dựa trên dữ liệu.

3.1. Phân Tích Dữ Liệu Để Ra Quyết Định Tài Chính

Phân tích dữ liệu từ kho dữ liệu giúp ngân hàng đưa ra các quyết định tài chính chính xác hơn. Các công cụ phân tích hiện đại cho phép ngân hàng dự đoán xu hướng và điều chỉnh chiến lược kịp thời.

3.2. Tích Hợp Hệ Thống Thông Tin Ngân Hàng

Việc tích hợp các hệ thống thông tin khác nhau vào kho dữ liệu giúp ngân hàng có cái nhìn tổng thể về hoạt động của mình. Điều này không chỉ giúp cải thiện quy trình làm việc mà còn nâng cao khả năng phục vụ khách hàng.

IV. Ứng Dụng Thực Tiễn Của Công Nghệ Kho Dữ Liệu Trong Ngân Hàng

Công nghệ kho dữ liệu đã được áp dụng rộng rãi trong nhiều ngân hàng, mang lại những kết quả tích cực trong việc quản lý nguồn vốn. Các ngân hàng đã sử dụng kho dữ liệu để phân tích hành vi khách hàng, tối ưu hóa quy trình cho vay và quản lý rủi ro hiệu quả.

4.1. Phân Tích Hành Vi Khách Hàng

Kho dữ liệu cho phép ngân hàng phân tích hành vi của khách hàng, từ đó đưa ra các sản phẩm và dịch vụ phù hợp. Việc hiểu rõ nhu cầu của khách hàng giúp ngân hàng tăng cường sự hài lòng và giữ chân khách hàng.

4.2. Tối Ưu Hóa Quy Trình Cho Vay

Ngân hàng có thể sử dụng kho dữ liệu để tối ưu hóa quy trình cho vay, từ việc đánh giá khả năng trả nợ đến việc theo dõi tình trạng khoản vay. Điều này giúp giảm thiểu rủi ro và tăng cường hiệu quả kinh doanh.

V. Kết Luận Về Tương Lai Của Công Nghệ Kho Dữ Liệu Trong Ngân Hàng

Công nghệ kho dữ liệu sẽ tiếp tục đóng vai trò quan trọng trong việc quản lý nguồn vốn ngân hàng trong tương lai. Với sự phát triển không ngừng của công nghệ thông tin, ngân hàng sẽ có nhiều cơ hội để cải thiện quy trình và nâng cao hiệu quả hoạt động.

5.1. Xu Hướng Phát Triển Công Nghệ Kho Dữ Liệu

Xu hướng phát triển công nghệ kho dữ liệu sẽ tập trung vào việc tích hợp trí tuệ nhân tạo và học máy để nâng cao khả năng phân tích và dự đoán. Điều này sẽ giúp ngân hàng đưa ra quyết định nhanh chóng và chính xác hơn.

5.2. Tác Động Của Công Nghệ Mới Đến Ngành Ngân Hàng

Công nghệ mới sẽ tạo ra nhiều cơ hội và thách thức cho ngành ngân hàng. Việc áp dụng công nghệ kho dữ liệu sẽ giúp ngân hàng thích ứng nhanh chóng với những thay đổi trong môi trường kinh doanh.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số ngành tài chính, các ngân hàng thương mại quy mô lớn luôn đối mặt với thách thức quản trị khối lượng dữ liệu khổng lồ phát sinh mỗi ngày. Tại Ngân hàng Đầu tư và Phát triển Việt Nam (BIDV), quy mô hoạt động ghi nhận trên 1 triệu khách hàng với hơn 3 triệu tài khoản giao dịch phân bổ tại hơn 130 chi nhánh trên cả nước, tạo ra dung lượng dữ liệu giao dịch thuần vượt mức 100 GB trên hệ thống Core Banking. Mặc dù hệ thống xử lý giao dịch trực tuyến (OLTP) như SIBS trên nền tảng AS400 và cơ sở dữ liệu DB2 đã giải quyết triệt để bài toán xử lý tác nghiệp tức thời, việc tổng hợp số liệu để phục vụ công tác điều hành chiến lược nguồn vốn vẫn gặp nhiều trở ngại do dữ liệu phân tán và cấu trúc 3NF phức tạp.

Vấn đề nghiên cứu trọng tâm của luận văn là giải quyết sự thiếu hụt của các công cụ phân tích dữ liệu đa chiều hỗ trợ cơ chế Định giá chuyển vốn nội bộ (FTP - Funds Transfer Pricing). Mục tiêu cụ thể là phân tích, thiết kế và xây dựng giải pháp Kho dữ liệu (Data Warehouse - DWH) kết hợp công nghệ xử lý phân tích trực tuyến (OLAP), giúp tự động hóa quá trình tính toán chi phí vốn, thu nhập lãi và đánh giá hiệu quả kinh doanh của từng đơn vị thành viên. Phạm vi nghiên cứu được thực hiện tại BIDV trong giai đoạn hiện đại hóa công nghệ ngân hàng 2003 - 2007. Ý nghĩa thực tiễn của công trình thể hiện ở việc cắt giảm trên 80% thời gian tổng hợp báo cáo điều hành, chuẩn hóa 100% công thức xác định lãi cận biên (NIM) và cung cấp bức tranh tài chính toàn diện cho Ban lãnh đạo ngân hàng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng lý thuyết kho dữ liệu doanh nghiệp của Bill Inmon và phương pháp mô hình hóa dữ liệu đa chiều của Ralph Kimball. Hai mô hình thiết kế cấu trúc dữ liệu cốt lõi được phân tích chuyên sâu gồm sơ đồ hình sao (Star Schema) và sơ đồ hình bông tuyết (Snowflake Schema), cho phép chuẩn hóa các bảng yếu tố (Fact table) chứa dữ liệu đo lường tài chính và các bảng chiều (Dimension table) lưu trữ thông tin phân cấp như thời gian, chi nhánh, loại tiền tệ và sản phẩm.

Các khái niệm chuyên ngành then chốt được áp dụng xuyên suốt gồm:

• Xử lý trích xuất, chuyển đổi và nạp dữ liệu (ETL): Quy trình làm sạch, tích hợp và chuẩn hóa dữ liệu từ các hệ quản trị không đồng nhất về một định dạng thống nhất.
• Xử lý phân tích trực tuyến (OLAP): Kỹ thuật tổ chức dữ liệu dạng khối đa chiều (Hypercube), cho phép thực hiện các thao tác xoay chiều (Pivot), cắt lát (Slice), thu nhỏ/mở rộng chi tiết (Drill-down/Roll-up).
• Định giá chuyển vốn nội bộ (FTP): Cơ chế định giá giao dịch mua bán vốn giữa Hội sở chính và các chi nhánh dựa trên công thức kết hợp lãi suất huy động thị trường và tỷ lệ lãi cận biên điều chỉnh rủi ro.

Phương pháp nghiên cứu

Nghiên cứu thu thập dữ liệu thứ cấp từ cơ sở dữ liệu giao dịch tập trung SIBS (DB2 trên hệ điều hành AS400) với dung lượng khoảng 100 GB và các hệ thống nghiệp vụ bổ trợ trên Microsoft SQL Server với dung lượng khoảng 5 GB. Cỡ mẫu nghiên cứu bao gồm toàn bộ dữ liệu lịch sử của hơn 130 chi nhánh và phòng giao dịch trong hệ thống BIDV qua chu kỳ hoạt động 3 năm. Phương pháp chọn mẫu toàn thể (Census-style sampling) được lựa chọn nhằm bảo đảm tính toàn vẹn 100% của các bút toán tài chính, phục vụ việc đối soát cân đối tài sản Nợ và tài sản Có.

Phương pháp phân tích hệ thống kết hợp kỹ thuật mô hình hóa đa chiều được sử dụng làm phương pháp nghiên cứu chính. Lý do lựa chọn phương pháp này là vì cơ sở dữ liệu quan hệ truyền thống đòi hỏi khóa nhiều bảng khi chạy các câu lệnh truy vấn phức tạp, gây nghẽn hiệu năng hệ thống giao dịch trực tuyến. Việc chuyển đổi dữ liệu sang mô hình OLAP giúp giảm thiểu thời gian thực thi truy vấn phân tích xuống chỉ bằng 0,1% so với các truy vấn SQL trực tiếp trên hệ thống OLTP, đảm bảo khả năng đáp ứng báo cáo tức thì cho nhà quản trị. Timeline nghiên cứu được thực hiện từ giai đoạn khảo sát nghiệp vụ ngân hàng năm 2005 đến giai đoạn hoàn thiện giải pháp thử nghiệm năm 2007.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã làm rõ thực trạng vận hành và đạt được các kết quả mang tính định lượng rõ rệt:

1. Hiệu năng truy vấn phân tích vượt trội: Việc ứng dụng mô hình khối dữ liệu đa chiều (OLAP Cubes) cho phép hệ thống trả về kết quả cho các câu truy vấn quản trị phức tạp với thời gian chỉ bằng 0,1% so với việc thực hiện trên cơ sở dữ liệu quan hệ 3NF truyền thống, tương đương mức cải thiện tốc độ lên tới 99,9%.
2. Xác định điểm nghẽn nghiêm trọng trong quy trình ETL ban đầu: Việc sử dụng công cụ DTS của Microsoft SQL Server 2000 để kéo dữ liệu mạng từ DB2 trên AS400 sang máy chủ Windows NT làm kéo dài thời gian nạp dữ liệu hàng ngày lên tới 10 tiếng. Điều này từng khiến hệ thống phân tích không thể vận hành ổn định trong thời gian gần 1 năm khi dữ liệu tích lũy vượt ngưỡng dung lượng xử lý.
3. Chuẩn hóa thành công mô hình tính toán định giá chuyển vốn: Hệ thống đã tự động hóa việc tính toán giá chuyển vốn (FTP = IR + NIM) với biên độ NIM mua vốn từ 30% đến 50% và NIM bán vốn từ 40% đến 60% của biên độ lãi tối thiểu, hỗ trợ phân loại theo 3 loại tiền tệ chính (VND, USD, EUR) và chi tiết theo từng kỳ hạn danh nghĩa.
4. Tối ưu hóa khả năng lưu trữ dữ liệu lịch sử: Kiến trúc dữ liệu phân tầng được thiết lập để lưu trữ dữ liệu báo cáo ngày trong vòng 2 tháng (60 ngày), báo cáo tháng trong vòng 2 năm (24 tháng) và dữ liệu lịch sử tổng hợp tối thiểu 3 năm, phục vụ hiệu quả cho các mô hình dự báo tài chính dài hạn.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp hệ thống kho dữ liệu đạt hiệu suất cao là nhờ cơ chế tổng hợp trước (Aggregations) và thiết kế sơ đồ hình sao. Thay vì phải quét hàng triệu bản ghi phân tán mỗi khi tạo báo cáo, công cụ OLAP Engine thực hiện tính toán sẵn trên các chiều dữ liệu như thời gian, đơn vị kinh doanh và sản phẩm. Khi so sánh với các nghiên cứu triển khai hệ thống quản trị thông tin doanh nghiệp (MIS) cùng thời kỳ, giải pháp kho dữ liệu chuyên biệt hóa cho thấy sự vượt trội trong việc tách biệt hoàn toàn tải công việc phân tích ra khỏi hệ thống vận hành lõi.

Dữ liệu kết quả được khuyến nghị trình bày thông qua hệ thống bảng Pivot tương tác đa chiều hoặc biểu đồ nhiệt (Heatmap) thể hiện tỷ lệ thu nhập ròng từ lãi (NIM) và mức đóng góp lợi nhuận (NC) của từng chi nhánh. Bảng dữ liệu phân cấp trực quan sẽ giúp người điều hành nhanh chóng nhận diện những đơn vị thừa vốn huy động nhưng giải ngân thấp để tiến hành điều chuyển vốn kịp thời, tối ưu hóa lợi nhuận toàn hệ thống.

Đề xuất và khuyến nghị

Nhằm hoàn thiện kiến trúc kho dữ liệu và nâng cao năng lực quản trị nguồn vốn, nghiên cứu đưa ra 4 nhóm giải pháp hành động cụ thể:

1. Tối ưu hóa quy trình rút trích dữ liệu: Chuyển đổi mã lệnh trích xuất từ việc gọi lệnh DTS qua mạng sang viết chương trình RPG bản địa chạy trực tiếp trên máy chủ AS400, nhằm giảm thời gian nạp dữ liệu định kỳ ban đêm từ 10 giờ xuống dưới 2 giờ (mục tiêu cắt giảm 80% thời gian xử lý), hoàn thành trong vòng 6 tháng bởi Trung tâm Công nghệ Thông tin.
2. Nâng cấp hạ tầng công nghệ cơ sở dữ liệu OLAP: Nâng cấp hệ quản trị từ Microsoft SQL Server 2000 lên các phiên bản 64-bit hiện đại hơn để xóa bỏ giới hạn lưu trữ khối dữ liệu 5 GB, nâng trần dung lượng lưu trữ khối phân tích lên trên 50 GB nhằm đáp ứng tốc độ mở rộng mạng lưới chi nhánh, thực hiện trong quý tiếp theo bởi đội ngũ kỹ sư hạ tầng.
3. Phát triển cổng thông tin báo cáo tập trung trên nền Web: Chuyển đổi phương thức phân phối báo cáo từ việc chia sẻ tệp Excel truyền thống sang giao diện Web Reporting Portal, giúp hơn 130 chi nhánh có thể truy cập báo cáo tức thì mà không cần cài đặt các gói phần mềm chuyên dụng tại máy trạm, hoàn thành trong vòng 9 tháng bởi nhóm phát triển ứng dụng.
4. Chuẩn hóa cơ chế phân quyền bảo mật nâng cao: Áp dụng hệ thống phân quyền dựa trên vai trò (Role-Based Access Control) tích hợp Active Directory để kiểm soát chặt chẽ quyền khai thác các chỉ số tài chính nhạy cảm theo từng cấp quản lý từ Hội sở chính đến phòng giao dịch, triển khai ngay trong chu kỳ vận hành tới bởi bộ phận an ninh thông tin.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng:

• Kỹ sư dữ liệu và chuyên gia kiến trúc giải pháp CNTT: Tham khảo chi tiết phương pháp xây dựng pipeline ETL liên kết giữa hệ thống máy chủ lớn (AS400/DB2) và hệ quản trị SQL, cùng kỹ thuật thiết kế sơ đồ hình sao trong môi trường tài chính.
• Giám đốc tài chính và cán bộ quản trị nguồn vốn (Treasury): Nắm bắt mô hình toán học và logic nghiệp vụ của hệ thống định giá chuyển vốn nội bộ (FTP), từ đó tối ưu hóa công thức phân bổ chi phí và tính toán lãi ròng (NII, NIM, NC).
• Học viên cao học và nghiên cứu sinh ngành Hệ thống thông tin: Sử dụng luận văn như tài liệu tham khảo điển hình về case study triển khai kho dữ liệu quy mô lớn trong lĩnh vực ngân hàng thương mại tại Việt Nam.
• Lãnh đạo chi nhánh và cán bộ phân tích kinh doanh (BI): Học hỏi phương pháp khai thác các khối phân tích đa chiều thông qua các thao tác cắt lát, xoay chiều dữ liệu để nâng cao chất lượng báo cáo quản trị nội bộ.

Câu hỏi thường gặp

Tại sao hệ thống OLTP truyền thống không đáp ứng được yêu cầu báo cáo quản trị nguồn vốn? Hệ thống OLTP được thiết kế chuẩn hóa 3NF để tối ưu hóa việc ghi nhận giao dịch tức thời và hạn chế dư thừa dữ liệu. Khi thực hiện các câu truy vấn phân tích phức tạp trên hàng triệu bản ghi, hệ thống sẽ thực hiện khóa nhiều bảng dữ liệu, làm suy giảm hiệu năng nghiêm trọng và gián đoạn các giao dịch ngân hàng trực tuyến của khách hàng.

Cơ chế định giá chuyển vốn nội bộ (FTP) được tính toán như thế nào trong luận văn? Giá chuyển vốn nội bộ được xác định theo công thức FTP = IR + NIM, trong đó IR là lãi suất huy động của kỳ hạn tương ứng và NIM là lãi cận biên điều chỉnh rủi ro. Trung tâm vốn mua vốn với NIM từ 30% đến 50% NIM tối thiểu và bán vốn với NIM từ 40% đến 60% NIM tối thiểu theo quy định của Tổng giám đốc.

Điểm nghẽn lớn nhất trong quy trình nạp dữ liệu ETL của hệ thống là gì? Điểm nghẽn lớn nhất là việc sử dụng công cụ DTS của SQL Server 2000 để kéo dữ liệu trực tiếp từ máy chủ AS400 qua mạng kết nối về máy chủ Windows NT. Khi khối lượng giao dịch tăng cao, quá trình này mất tới 10 tiếng mỗi đêm và thường xuyên gây nghẽn tài nguyên bộ nhớ hệ thống.

Kho dữ liệu (Data Warehouse) khác với Chợ dữ liệu (Data Mart) như thế nào? Kho dữ liệu mang tính chiến lược toàn diện, tích hợp tất cả các nguồn dữ liệu của toàn bộ doanh nghiệp và đòi hỏi thời gian xây dựng dài hạn. Ngược lại, Chợ dữ liệu là một tập hợp con chuyên biệt, tập trung giải quyết nhu cầu phân tích tức thì cho một phòng ban hoặc một chủ đề nghiệp vụ cụ thể như quản lý vốn Treasury.

Tại sao công nghệ OLAP lại tối ưu hóa tốc độ báo cáo hơn truy vấn SQL thông thường? OLAP xây dựng các khối dữ liệu đa chiều với cơ chế tính toán tổng hợp sẵn (Pre-computed Aggregations) theo các chiều phân cấp như thời gian, địa lý và sản phẩm. Nhờ đó, các phép tính toán tổng hợp phức tạp được xử lý trước, giúp thời gian phản hồi truy vấn giảm xuống chỉ bằng 0,1% so với truy vấn quan hệ.

Kết luận

• Luận văn đã thiết kế thành công mô hình Kho dữ liệu và khối đa chiều OLAP ứng dụng cho hệ thống định giá chuyển vốn nội bộ (FTP) tại BIDV.
• Giải pháp giúp rút ngắn thời gian xử lý các truy vấn phân tích tài chính xuống chỉ bằng 0,1% so với các truy vấn trên hệ thống cơ sở dữ liệu quan hệ truyền thống.
• Làm rõ cấu trúc luồng dữ liệu tích hợp giữa cơ sở dữ liệu giao dịch nguồn DB2 trên AS400 với hệ thống phân tích trung gian Microsoft SQL Server.
• Chuẩn hóa toàn bộ hệ thống công thức tính toán thu nhập lãi ròng (NII), biên lãi ròng (NIM) và mức đóng góp lợi nhuận (NC) cho hơn 130 chi nhánh.
• Đề xuất lộ trình kỹ thuật chi tiết giúp tối ưu hóa tiến trình ETL, giảm 80% thời gian chạy lô ban đêm và nâng cao tính khả thi khi mở rộng hệ thống.

Trong giai đoạn 12 tháng tiếp theo, các ngân hàng thương mại cần nhanh chóng thực hiện tái cấu trúc quy trình ETL và nâng cấp các khối OLAP lên nền tảng đám mây hoặc các giải pháp BI hiện đại. Quý bạn đọc, nhà nghiên cứu và các chuyên viên phân tích tài chính có thể khai thác toàn bộ mô hình dữ liệu của công trình này để làm tài liệu tham khảo cho các dự án hiện đại hóa hệ thống báo cáo quản trị ngân hàng.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ––––––––––oOo–––––––––– TẠ LIÊN DUNG ĐỀ TÀI ỨNG DỤNG CÔNG NGHỆ KHO DỮ LIỆU TRONG CÔNG TÁC QUẢN LÝ NGUỒN VỐN TẠI NGÂN HÀNG Chuyên ngành: Công nghệ thông tin Mã số: 1.10 LUẬN VĂN THẠC SĨ Người hướng dẫn khoa học: PGS.TS Nguyễn Đình Hoá HÀ NỘI 2007 LUAN VAN CHAT LUONG download : add [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV MỤC LỤC LỜI CÁM ƠN. TỔNG QUAN VỀ KHO DỮ LIỆU. KHÁI NIỆM CHUNG VỀ KHO DỮ LIỆU. Hệ thống cơ sở dữ liệu xử lý giao dịch (OLTP).

Hệ thống Kho dữ liệu. Chợ dữ liệu (Data Mart). Kiến trúc của một Kho dữ liệu. CÁC THÀNH PHẦN CỦA KHO DỮ LIỆU.

Rút trích dữ liệu (ETL – Extract Transformation Loading). Trích dữ liệu - Extract. Chuyển đổi dữ liệu - Transform. Nạp dữ liệu (Load).

Làm mới dữ liệu. Tổng hợp, phân tích dữ liệu và tạo Kho dữ liệu OLAP. Dạng nhiều chiều (Multidimensional) - MOLAP. Dạng quan hệ (relational) - ROLAP.

Dạng lai (Hybird) - HOLAP. Phân phối dữ liệu lƣu trữ (báo cáo) tới ngƣời sử dụng. Mô hình khái niệm và các công cụ đầu cuối. Mô hình khái niệm.

Các công cụ đầu cuối. Các phƣơng pháp thiết kế cơ sở dữ liệu. CẤU TRÚC CỦA KHO DỮ LIỆU TẠI BIDV. HỆ ĐIỀU HÀNH VÀ CƠ SỞ DỮ LIỆU NGUỒN:.

Dữ liệu tập trung:. Giao dịch online:. HỆ THỐNG KHO DỮ LIỆU. Mô hình kho dữ liệu của BIDV.

Cách thức hoạt động của kho dữ liệu tại BIDV. CÁC VẤN ĐỀ ĐANG TỒN TẠI CỦA KHO DỮ LIỆU TẠI BIDV. Rút trích dữ liệu (ETL). Kho dữ liệu OLAP.

Các vấn đề về phân phối báo cáo tới ngƣời sử dụng cuối. Mô hình ngân hàng. Hệ thống thông tin tại Hội sở chính của BIDV. Sự cần thiết của kho dữ liệu trong ngân hàng.

YÊU CẦU CHUNG CỦA HỆ THỐNG CHUYỂN VỐN NỘI BỘ. YÊU CẦU CHUNG. GIẢI THÍCH MỘT SỐ TỪ NGỮ ĐƢỢC SỬ DỤNG TRONG TÀI LIỆU. CÁC YÊU CẦU CỤ THỂ:.

42 Tạ Liên Dung - K10T3 2 LUAN VAN CHAT LUONG download : add [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV 1. Kỳ hạn chuyển vốn. Giá chuyển vốn:. Đồng tiền giao dịch:.

Đánh giá hiệu quả của đơn vị kinh doanh:. Điều chỉnh chi phí:. Điều chỉnh thu nhập. PHÂN TÍCH THIẾT KẾ HỆ THỐNG CHUYỂN VỐN NỘI BỘ.

SƠ ĐỒ LUỒNG DỮ LIỆU. MÔ TẢ HOẠT ĐỘNG CỦA HỆ THỐNG. MÔ TẢ CÁC BẢNG DỮ LIỆU THỰC THỂ CỦA CƠ SỞ DỮ LIỆU SQL - KHO DỮ LIỆU. MÔ TẢ PACKAGE CỦA CHƢƠNG TRÌNH.

MÔ TẢ CÁC KHỐI OLAP. 67 Tạ Liên Dung - K10T3 3 LUAN VAN CHAT LUONG download : add [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV 2. CHƢƠNG TRÌNH BÁO CÁO ĐỊNH GIÁ CHUYỂN VỐN NỘI BỘ 75 VII. CHƢƠNG TRÌNH THAM SỐ.

81 Tạ Liên Dung - K10T3 4 LUAN VAN CHAT LUONG download : add [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV CHƢƠNG 1. TỔNG QUAN VỀ KHO DỮ LIỆU I. KHÁI NIỆM CHUNG VỀ KHO DỮ LIỆU Máy tính từ khi ra đời đã đóng vai trò vô cùng quan trọng trong lịch sử phát triển của nhân loại. Các máy tính cung cấp những công cụ tính toán mạnh, cho phép con người giải được các bài toán có số lượng tính toán khổng lồ mà trước đó không thể thực hiện được bằng tay.

Máy tính cũng góp phần làm đẩy nhanh tốc độ phát triển của nền khoa học kỹ thuật trên toàn thế giới. Cùng với sự phát triển như vũ bão của công nghệ phần cứng trong lĩnh vực công nghệ thông tin, công nghệ phần mềm cũng có những bước tiến dài trong lĩnh vực quản lý dữ liệu. Ban đầu là sự xuất hiện của những CSDL quan hệ chạy trên các máy để bàn như DBASE, ACCESS, FOXPRO, SQL Server., tạo điều kiện vô cùng thuận lợi cho nguời phát triển. Dường như máy tính và những chương trình của nó đã giải quyết được hầu hết các vấn đề trong lĩnh vực quản lý.

Tuy nhiên, trong thực tế, các công ty, tổ chức muốn thành công trên thị trường, ngoài việc tổ chức bán hàng tốt (giao dịch đơn giản, thuận tiện cho người mua và người quản lý bán hàng.), người lãnh đạo công ty phải nắm được thực chất các quá trình diễn ra trong đơn vị mình và trong môi trường kinh doanh mà đơn vị đó hoạt động để đưa ra các quyết định điều hành đúng đắn, kịp thời. Các hệ phần mềm kế toán, lập kế hoạch, giao dịch khách hàng, lập hoá đơn. mới chỉ có thể tự động thực hiện các chức năng giao dịch cơ bản của một đơn vị kinh doanh. Chính vì lý do đó những hệ thống này có một cái tên cổ điển là hệ thống xử lý giao dịch (OLTP- online transaction processing).

Hệ thống cơ sở dữ liệu xử lý giao dịch (OLTP) Hệ thống OLTP cho phép các giao dịch thay đổi dữ liệu trong bảng (thông qua các lệnh insert, update, delete, join.) trong quá trình xử lý. Hệ thống cho phép nhiều ứng dụng cùng truy cập dữ liệu tại một thời điểm. Các ứng dụng trên client bao gồm tất cả các loại ứng dụng như ngân hàng, bán vé trực tuyến, bán vé hàng không, thanh toán cước phí. Sử dụng hệ thống OLTP có các ưu điểm sau: Tạ Liên Dung - K10T3 6 LUAN VAN CHAT LUONG download : add [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV - Xử lý các chuyển tác tương tác.

- Dễ bảo trì và khống chế dữ liệu thừa. - Thiết lập dữ liệu quan hệ trọn vẹn. - Tính hiệu quả cao. - Giảm thời gian giao dịch của khách hàng.

Các CSDL trong các hệ OLTP thường được thiết kế thoả mãn 3NF (Third Normal Form) hoặc tốt hơn. Đặc điểm của hệ thống OLTP là nó lưu trữ các dữ liệu "thô", có nghĩa là mức độ tổng quát, trừu tượng của dữ liệu này rất thấp. Nói cách khác OLPT rất có ích để tìm trả lời những câu truy vấn dạng: Tổng sản lượng sản phẩm X do công ty bán được trong 6 tháng đầu năm, mặt hàng nào bán chạy nhất tại địa phương Y trong tháng vừa qua. Trong khi đó các nhà quản lý ở mức cao của công ty rất ít khi quan tâm đến những câu hỏi loại đó.

Điều họ cần chú ý là những câu hỏi trừu tượng hơn như: Tiêu thụ A tại B đang giảm, nếu thay đổi 3%-5% giá của sản phẩm A tại khu vực B, tình trạng tiêu thụ sẽ thay đổi ra sao trong 6 tháng cuối năm và tại sao? Các hệ thống OLTP hiện nay trả lời rất tốt câu hỏi dạng 1 bằng các công cụ của hệ CSDL quan hệ nhưng để tìm đáp án cho những câu hỏi dạng 2 là không đơn giản. Những yếu tố căn bản cản trở việc sử dụng dữ liệu của các hệ thống OLPT trong việc phân tích dữ liệu là: + Các số liệu ở mức quá chi tiết + Các số liệu được phân bố ở những hệ thống khác nhau, có các thủ tục truy cập khác nhau và ở những CSDL hoàn toàn khác nhau. + Các số liệu không được cập nhập cùng một chu kỳ dẫn đến sự mất đồng bộ. + Việc tổ chức truy cập từ rất nhiều bảng dữ liệu khác nhau có ảnh hưởng rất xấu tới hiệu suất của các hệ thống vì mục đích của các hệ thống này là nhằm phục vụ các giao dịch trực tuyến.

Trong môi trường thừa thãi số liệu, nhà phân tích không thể tìm ra cho mình thông tin cần thiết nhằm có được sự hiểu biết thấu đáo về những quá trình Tạ Liên Dung - K10T3 7 LUAN VAN CHAT LUONG download : add [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV xảy ra xung quanh. Tình trạng số liệu quá chi tiết và không có được sự liên kết với nhau của các số liệu phản ánh các quá trình tương đối độc lập của một thực thể là lý do trực tiếp dẫn đến sự khủng hoảng này. Vì vậy, người ta đã đưa ra giải pháp tích hợp các hệ thống OLTP để tạo ra một hệ thống chứa đầy đủ thông tin. Tuy nhiên giải pháp này có hai nhược điểm lớn: - Phải liên kết các hệ thống có xuất xứ khác nhau về phần cứng và phần mềm hệ thống.

Các chương trình cần có sự thống nhất về định nghĩa dữ liệu cũng như phương pháp biểu diễn dữ liệu. Vấn đề này rất phức tạp thậm chí đối với các hệ thống có thiết kế phân tích tốt và hoàn toàn không khả thi đối với những hệ thống được mô tả kém. - Việc truy vấn để tạo báo cáo thường xuyên phải khoá rất nhiều bảng, cản trở sự truy xuất của nhân viên khai thác trong quá trình làm việc hàng ngày và làm ảnh hưởng trực tiếp đến khách hàng. Với sự phát triển như vũ bão của các ngành công nghệ, nhu cầu sử dụng cơ sở dữ liệu hiện nay cũng đã thay đổi rất nhiều, từ việc quản lý, phân tích dữ liệu truyền thống tiến tới nhu cầu phân tích xử lý dữ liệu trực tuyến, nhất là nhu cầu hỗ trợ quyết định.

Vào những năm 90 của thế kỷ trước, B.Inmon đề xướng một giải pháp kỹ thuật gọi là Data Warehoushing - kỹ thuật xây dựng các kho dữ liệu. Data Warehouse hay DWH (kho dữ liệu) được định nghĩa như một tập hợp các phương tiện cho phép hình dung dữ liệu một cách tổng thể, hướng đối tượng để giúp cho việc phân tích và ra quyết định. Những người đầu tiên đưa ra ý tưởng về DWH xác định rằng tiến hành phân tích trực tiếp trên dữ liệu của các hệ xử lý giao dịch và không hiệu quả. Các dữ liệu từ một vài OLTP được biến đổi và sau đó đưa vào một nguồn dữ liệu duy nhất là DWH.

Quá trình này được gọi là đưa dữ liệu vào DWH, gồm các công đoạn chính sau: + Làm sạch (Bỏ các dữ liệu không cần thiết hoặc quá chuyên dụng) + Liên kết các số liệu (Tính trước số liệu tích, tổng, trung bình .) Tạ Liên Dung - K10T3 8 LUAN VAN CHAT LUONG download : add [e-mail] Kho dữ liệu chuyển vốn Nội bộ tại BIDV + Biến đổi dữ liệu: số liệu được biến đổi thành dạng thích hợp, tổ chức lại phù hợp với DWH + Tích hợp số liệu từ các nguồn khác nhau. + Đồng bộ hoá số liệu ở một thời điểm xác định.