Luận Văn Thạc Sĩ: Xây Dựng Kho Dữ Liệu Đảm Bảo Hiệu Năng Cho Ngân Hàng BIDV

Luận văn thạc sĩ VNU UET nghiên cứu xây dựng kho dữ liệu hiệu năng cho ngân hàng BIDV và thử nghiệm hệ thống báo cáo phân tích khách hàng.

• Tác giả: Nguyễn Văn Đức
• Người hướng dẫn: Pgs. Trương Anh Hoàng
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Xây dựng kho dữ liệu đảm bảo hiệu năng cho ngân hàng BIDV và thử nghiệm với hệ thống báo cáo phân tích khách hàng
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: HỆ THỐNG KHO DỮ LIỆU
• 1.1. Tổng quan kho dữ liệu
• 1.2. Kiến trúc chung của kho dữ liệu
• 1.3. Mô hình logic của kho dữ liệu
• 1.4. Mô hình dữ liệu đa chiều
• 1.5. Hiện trạng hệ thống kho dữ liệu trong ngân hàng
• 1.5.1. Tổng quan hệ thống báo cáo trong ngân hàng
• 1.5.2. Kiến trúc của kho dữ liệu trong ngân hàng
• 1.5.3. Đánh giá các mặt hạn chế của hệ thống kho dữ liệu hiện tại
• 2. CHƯƠNG 2: XÂY DỰNG HỆ THỐNG KHO DỮ LIỆU ĐÁP ỨNG HIỆU NĂNG XỬ LÝ CHO NGÂN HÀNG
• 2.1. Một số giải pháp công nghệ về kho dữ liệu
• 2.2. Thiết kế, xây dựng mô hình hệ thống kho dữ liệu mới
• 2.2.1. Các thành phần cần nâng cấp, bổ sung
• 2.2.1.1. Hệ thống cơ sở dữ liệu chuyên dụng cho bài toán kho dữ liệu
• 2.2.1.2. Hệ thống công cụ trích lọc dữ liệu
• 2.2.1.2.1. Tầm quan trọng của quá trình trích lọc dữ liệu
• 2.2.1.2.2. Hệ thống trích lọc dữ liệu IBM DataStage
• 2.2.1.3. Hệ thống phân phối báo cáo tập trung
• 2.2.1.3.1. Các công cụ chính của IBM Cognos
• 2.2.1.3.2. Một số đặc trưng cơ bản của IBM Cognos
• 2.2.2. Mô hình thiết kế tổng thể cho kho dữ liệu
• 2.2.2.1. Kiến trúc tổng quan của IBM Banking Data Model
• 2.2.2.2. Những điểm nổi bật của IBM Banking Model
• 2.2.3. Kết quả thử nghiệm
• 2.2.3.1. Thực nghiệm so sánh tốc độ trên các cơ sở dữ liệu
• 2.2.3.2. Thực nghiệm với hệ thống công cụ trích lọc dữ liệu
• 2.2.3.3. Nhận xét thực nghiệm
• 3. CHƯƠNG 3: THỬ NGHIỆM VỚI BÀI TOÁN PHÂN TÍCH KHÁCH HÀNG
• 3.1. Yêu cầu chức năng
• 3.2. Thiết kế tổng thể
• 3.2.1. Mô hình logic
• 3.2.2. Thiết kế bảo mật
• 3.3. Thiết kế dữ liệu chuyên đề Phân tích khách hàng
• 3.3.1. Thiết kế dữ liệu chỉ tiêu
• 3.3.2. Thiết kế mô hình dữ liệu đa chiều với công cụ IBM Cognos Framework Manager
• 3.3.3. Thiết kế job trích xuất dữ liệu từ kho dữ liệu vào kho dữ liệu chuyên đề Phân tích khách hàng
• 3.3.4. Thiết kế lớp bảo mật phân quyền theo người dùng
• 3.3.5. Triển khai dữ liệu đa chiều lên máy chủ Cognos
• 3.3.6. Khai thác dữ liệu đa chiều
• 3.3.7. Kết quả thử nghiệm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Xây Dựng Kho Dữ Liệu Hiệu Năng Cho Ngân Hàng BIDV

Kho dữ liệu là một phần quan trọng trong hệ thống thông tin của ngân hàng. Đặc biệt, ngân hàng BIDV cần một kho dữ liệu hiệu năng cao để xử lý khối lượng lớn thông tin. Việc xây dựng kho dữ liệu không chỉ giúp cải thiện hiệu suất mà còn hỗ trợ ra quyết định nhanh chóng và chính xác.

1.1. Định Nghĩa Kho Dữ Liệu Ngân Hàng

Kho dữ liệu ngân hàng là nơi lưu trữ và quản lý thông tin từ nhiều nguồn khác nhau. Nó giúp tổ chức dữ liệu theo cách dễ dàng truy cập và phân tích.

1.2. Tầm Quan Trọng Của Kho Dữ Liệu Trong Ngân Hàng

Kho dữ liệu đóng vai trò quan trọng trong việc hỗ trợ các quyết định chiến lược, quản lý rủi ro và tối ưu hóa quy trình kinh doanh.

II. Vấn Đề Hiện Tại Của Hệ Thống Kho Dữ Liệu Ngân Hàng BIDV

Hệ thống kho dữ liệu hiện tại của BIDV gặp nhiều thách thức. Các vấn đề như hiệu suất xử lý chậm, dữ liệu không đồng nhất và thiếu tính linh hoạt trong việc mở rộng là những điểm cần khắc phục.

2.1. Các Hạn Chế Của Hệ Thống Hiện Tại

Hệ thống hiện tại không đáp ứng được nhu cầu xử lý dữ liệu lớn và thường xuyên gặp phải tình trạng quá tải.

2.2. Tác Động Của Các Vấn Đề Đến Hoạt Động Ngân Hàng

Các vấn đề này ảnh hưởng đến khả năng ra quyết định và hiệu quả hoạt động của ngân hàng, dẫn đến mất cơ hội kinh doanh.

III. Phương Pháp Xây Dựng Kho Dữ Liệu Hiệu Năng Cho BIDV

Để xây dựng kho dữ liệu hiệu năng cao, ngân hàng BIDV cần áp dụng các công nghệ tiên tiến và phương pháp tối ưu hóa quy trình xử lý dữ liệu.

3.1. Ứng Dụng Công Nghệ Mới Trong Kho Dữ Liệu

Sử dụng các công nghệ như ETL, OLAP và các công cụ phân tích dữ liệu hiện đại để cải thiện hiệu suất.

3.2. Thiết Kế Mô Hình Dữ Liệu Đa Chiều

Mô hình dữ liệu đa chiều giúp tổ chức dữ liệu theo nhiều khía cạnh, từ đó dễ dàng phân tích và khai thác thông tin.

IV. Ứng Dụng Thực Tiễn Của Kho Dữ Liệu Trong Ngân Hàng BIDV

Kho dữ liệu không chỉ là nơi lưu trữ thông tin mà còn là công cụ hỗ trợ ra quyết định. Các ứng dụng thực tiễn của kho dữ liệu bao gồm phân tích khách hàng, quản lý rủi ro và tối ưu hóa quy trình kinh doanh.

4.1. Phân Tích Khách Hàng Để Tăng Trưởng Doanh Thu

Sử dụng kho dữ liệu để phân tích hành vi khách hàng, từ đó đưa ra các chiến lược marketing hiệu quả.

4.2. Quản Lý Rủi Ro Hiệu Quả Hơn

Kho dữ liệu giúp ngân hàng theo dõi và phân tích các yếu tố rủi ro, từ đó đưa ra các biện pháp phòng ngừa kịp thời.

V. Kết Luận Và Tương Lai Của Kho Dữ Liệu Ngân Hàng BIDV

Việc xây dựng kho dữ liệu hiệu năng cao là một bước đi quan trọng cho ngân hàng BIDV. Tương lai của kho dữ liệu sẽ phụ thuộc vào khả năng áp dụng công nghệ mới và cải tiến quy trình quản lý dữ liệu.

5.1. Hướng Phát Triển Kho Dữ Liệu Trong Tương Lai

Ngân hàng cần tiếp tục đầu tư vào công nghệ và đào tạo nhân lực để tối ưu hóa kho dữ liệu.

5.2. Tầm Nhìn Chiến Lược Đối Với Kho Dữ Liệu

Kho dữ liệu sẽ trở thành nền tảng cho các quyết định chiến lược và phát triển bền vững của ngân hàng trong tương lai.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN ĐỨC Xây dựng kho dữ liệu đảm bảo hiệu năng cho ngân hàng BIDV và thử nghiệm với hệ thống báo cáo phân tích khách hàng LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà nội - 2015 HÀ NỘI 2015 LUAN VAN CHAT LUONG download : add [e-mail] ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN ĐỨC Xây dựng kho dữ liệu đảm bảo hiệu năng cho ngân hàng BIDV và thử nghiệm với hệ thống báo cáo phân tích khách hàng Ngành : CÔNG NGHỆ THÔNG TIN Chuyên ngành : KỸ THUẬT PHẦN MỀM Mã số : 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: PGS. TRƯƠNG ANH HOÀNG Hà nội - 2015 LUAN VAN CHAT LUONG download HÀ NỘI :2015 add [e-mail] 1 LỜI CẢM ƠN Trước tiên tôi xin được bày tỏ sự trân trọng và lòng biết ơn đối với PGS. Trương Anh Hoàng, Giảng viên Khoa Công nghệ thông tin - Trường Đại học Công nghệ - ĐHQGHN. Trong thời gian học tập và làm luận văn tốt nghiệp, thầy đã dành nhiều thời gian quý báu, tận tình chỉ bảo và hướng dẫn tôi trong việc nghiên cứu, thực hiện luận văn. Tôi xin được cảm ơn các GS, TS, các thầy cô giáo đã giảng dạy tôi trong quá trình học tập và làm luận văn. Các thầy cô đã giúp tôi hiểu sâu sắc và thấu đáo hơn lĩnh vực mà mình nghiên cứu để có thể vận dụng các kiến thức đó một cách hiệu quả nhất vào trong công tác của mình. Xin cảm ơn các bạn bè, đồng nghiệp và nhất là các thành viên trong gia đình đã tạo mọi điều kiện tốt nhất, giúp đỡ, động viên, ủng hộ và cổ vũ tôi trong suốt quá trình học tập và nghiên cứu để hoàn thành tốt bản luận văn tốt nghiệp này. Tác giả Nguyễn Văn Đức LUAN VAN CHAT LUONG download : add [e-mail] 2 LỜI CAM ĐOAN Tôi xin cam đoan rằng, đây là công trình nghiên cứu của tôi trong đó có sự giúp đỡ rất lớn của thầy hướng dẫn và các đồng nghiệp ở cơ quan. Các nội dung nghiên cứu và kết quả trong đề tài này là hoàn toàn trung thực. Trong luận văn, tôi có tham khảo đến một số tài liệu của một số tác giả đã được liệt kê tại phần Tài liệu tham khảo ở cuối luận văn. Hà Nội, ngày……tháng……năm 2015 Tác giả Nguyễn Văn Đức LUAN VAN CHAT LUONG download : add [e-mail] 3 MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT . 6 DANH MỤC BẢNG BIỂU . 7 DANH MỤC HÌNH VẼ, ĐỒ THỊ . HỆ THỐNG KHO DỮ LIỆU .1 Tổng quan kho dữ liệu .2 Kiến trúc chung của kho dữ liệu .3 Mô hình logic của kho dữ liệu .4 Mô hình dữ liệu đa chiều .5 Hiện trạng hệ thống kho dữ liệu trong ngân hàng .1 Tổng quan hệ thống báo cáo trong ngân hàng .2 Kiến trúc của kho dữ liệu trong ngân hàng .3 Đánh giá các mặt hạn chế của hệ thống kho dữ liệu hiện tại .1 Cơ sở dữ liệu dùng cho bài toán kho dữ liệu.2 Công cụ trích lọc dữ liệu .3 Công cụ phân phối báo cáo .4 Mô hình thiết kế kho dữ liệu . XÂY DỰNG HỆ THỐNG KHO DỮ LIỆU ĐÁP ỨNG HIỆU NĂNG XỬ LÝ CHO NGÂN HÀNG .2 Một số giải pháp công nghệ về kho dữ liệu .3 Thiết kế, xây dựng mô hình hệ thống kho dữ liệu mới . 21 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.4 Các thành phần cần nâng cấp, bổ sung .1 Hệ thống cơ sở dữ liệu chuyên dụng cho bài toán kho dữ liệu .2 Hệ thống công cụ trích lọc dữ liệu .1 Tầm quan trọng của quá trình trích lọc dữ liệu .2 Hệ thống trích lọc dữ liệu IBM DataStage .3 Hệ thống phân phối báo cáo tập trung .1 Các công cụ chính của IBM Cognos .2 Một số đặc trưng cơ bản của IBM Cognos .4 Mô hình thiết kế tổng thể cho kho dữ liệu .1 Kiến trúc tổng quan của IBM Banking Data Model .2 Những điểm nổi bật của IBM Banking Model .5 Kết quả thử nghiệm .1 Thực nghiệm so sánh tốc độ trên các cơ sở dữ liệu .2 Thực nghiệm với hệ thống công cụ trích lọc dữ liệu .3 Nhận xét thực nghiệm. THỬ NGHIỆM VỚI BÀI TOÁN PHÂN TÍCH KHÁCH HÀNG .2 Yêu cầu chức năng .3 Thiết kế tổng thể .1 Mô hình logic .2 Thiết kế bảo mật .4 Thiết kế dữ liệu chuyên đề Phân tích khách hàng .1 Thiết kế dữ liệu chỉ tiêu . 48 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Thiết kế mô hình dữ liệu đa chiều với công cụ IBM Cognos Framework Manager .3 Thiết kế job trích xuất dữ liệu từ kho dữ liệu vào kho dữ liệu chuyên đề Phân tích khách hàng .4 Thiết kế lớp bảo mật phân quyền theo người dùng .5 Triển khai dữ liệu đa chiều lên máy chủ Cognos .6 Khai thác dữ liệu đa chiều .7 Kết quả thử nghiệm . 56 TÀI LIỆU THAM KHẢO. 59 LUAN VAN CHAT LUONG download : add [e-mail] 6 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Từ viết tắt Ý nghĩa Hệ thống máy chủ của IBM triển khai Core Banking cho ngân AS400 hàng ASTs The Application Solution Templates Model BDW IBM Banking Data Warehouse BI Business Intelligence BIDV Ngân hàng TMCP Đầu tư và Phát triển Việt Nam Core Banking Hệ thống ngân hàng lõi DataMart Dữ liệu chuyên đề DTS Data Transformation Services DWH Data Warehosuse EDM Enterprise Data Model Phần mở rộng có thể thêm vào để biến hệ thống xử lý hiện tại Engine thành hệ thống tính toán lớn hơn ETL Extract Transform Load FSDM Financial Services Data Model ODBC Microsoft Open Database Connectivity OLAP Online Analytical Processing OLTP Online Transaction Processing STG Staging Area LUAN VAN CHAT LUONG download : add [e-mail] 7 DANH MỤC BẢNG BIỂU Bảng 2.14 Bảng kết quả thực nghiệm 1 .15 Bảng kết quả thực nghiệm 2 .16 Bảng kết quả thực nghiệm 3 .18 Bảng kết quả thực nghiệm mô hình ET-L và E-T-L. 43 LUAN VAN CHAT LUONG download : add [e-mail] 8 DANH MỤC HÌNH VẼ, ĐỒ THỊ Hình 1.1 Kiến trúc cơ bản của kho dữ liệu.2 Mô hình dữ liệu đa chiều.3 Kiến trúc kho dữ liệu trong ngân hàng .1 Mô hình tổng thể kho dữ liệu mới .2 Mô hình xử lý theo ET-L .3 Mô hình xử lý theo EL-T .4 Mô hình xử lý theo E-T-L .5 E-T-L thiết kế theo công cụ IBM DataStage.6 Hệ thống DataStage mở rộng cấu phần Engine .7 Các công cụ của hệ thống phân phối báo cáo tập trung .8 Công cụ Framework Manager .9 Mô hình mở rộng của hệ thống IBM Cognos .10 Kiến trúc tổng quát của IBM Banking Data Model .11 Kiến trúc tổng quát của FSDM .12 Khu vực mẫu theo các mảng nghiệp vụ trong ngân hàng .13 Khu vực mẫu theo các mảng báo cáo tuân thủ .17 Kết quả của 3 lần thực nghiệm về thời gian truy vấn dữ liệu .19 Kết quả của 3 lần thực nghiệm theo mô hình E-T-L và ET-L về thời gian ảnh hưởng tới máy chủ nguồn .1 Nhóm chuyên đề lợi nhuận trong mô hình kho dữ liệu.2 Bài toán phân tích khách hàng trong mô hình kho dữ liệu mới .3 Mô hình thực thể trong thiết kế dữ liệu đa chiều .4 Thiết kế dữ liệu đa chiều . 50 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.5 Luồng jobs DWH_MASTER .6 Luồng jobs Load_Source_to_STG .7 Luồng jobs dữ liệu chuyên đề .8 Luồng jobs xử lý chi tiết dữ liệu liên quan tới tiền gửi có kỳ hạn .9 Triển khai dữ liệu đa chiều lên máy chủ Cognos .10 Mành hình khai thác dữ liệu đa chiều .11 Kết quả khai thác dữ liệu . 54 LUAN VAN CHAT LUONG download : add [e-mail] 10 MỞ ĐẦU Cùng với sự phát triển nhanh chóng và không ngừng mở rộng quy mô của các tổ chức tài chính ngân hàng, trong quá trình hoạt động khối lượng dữ liệu thông tin lưu trữ ngày càng gia tăng. Trong suốt quá trình phát triển đó việc thu thập và xử lý kho dữ liệu khổng lồ trở lên quan trọng hơn bao giờ hết. Việc tổ chức lưu trữ và khai thác kho dữ liệu một cách hiệu quả sẽ giúp cho các tổ chức tài chính ngân hàng thực hiện tốt công tác quản trị điều hành, quản trị rủi ro, hỗ trợ ra quyết định và hoạch định chiến lược kinh doanh. Hệ thống kho dữ liệu trong ngân hàng sẽ giúp xây dựng một nền tảng dữ liệu và công nghệ mạnh mẽ, tin cậy, giúp đáp ứng các yêu cầu hiện tại và nhu cầu phát triển và mở rộng trong tương lai. Là trung tâm của các hệ thống phân tích thông tin, dữ liệu toàn ngân hàng sẽ được hợp nhất tại kho dữ liệu. Nhằm đáp ứng và cung cấp thông tin một cách kịp thời, chính xác, đồng thời là nền tảng cho việc xây dựng các ứng dụng phân tích dữ liệu, hỗ trợ ra quyết định. Do đó hiệu năng xử lý dữ liệu của kho dữ liệu trong ngân hàng cần được nâng cao để đáp ứng được nhu cầu khai thác sử dụng của tổ chức tài chính ngân hàng. Hiệu năng của một hệ thống kho dữ liệu được thể hiện qua một số các phương diện chính như sau: Tốc độ xử lý dữ liệu trên tập dữ liệu lớn, khả năng mở rộng và phát triển kho dữ liệu bao gồm về việc phát triển mô hình dữ liệu và hạ tầng kho dữ liệu, tùy biến theo yêu cầu khai thác và phân tích dữ liệu của người dùng. Với thực trạng hiện nay của ngân hàng BIDV chưa có một hệ thống kho dữ liệu tổng thể, thống nhất toàn ngân hàng, chưa đáp ứng tốt về hiệu năng và tồn tại khá nhiều hạn chế. Đây là một bài toán thực tế hiện tại của ngân hàng, tác giả đã cùng với các đồng nghiệp đã nghiên cứu và lên phương án xây dựng một nền tảng công nghệ thông tin trong toàn ngân hàng để đáp ứng những yêu cầu về hệ thống công nghệ thông tin hỗ trợ các ban nghiệp vụ trong môi trường kinh doanh mới, trong đó với vai trò là đầu mối về hệ thống kho dữ liệu tác giả đã nghiên cứu, đánh giá những hạn chế của hệ thống kho dữ liệu cũ và đưa ra những giải pháp để giải quyết những hạn chế của hệ thống kho dữ liệu cũ. Để hướng tới xây dựng một hệ thống kho dữ liệu có hiệu năng xử lý cao đề tài “Xây dựng kho dữ liệu đảm bảo hiệu năng cho ngân hàng BIDV và thử nghiệm với hệ thống báo cáo phân tích khách hàng” đã được chọn làm đề tài luận văn cao học của tôi.