Luận Văn Thạc Sĩ: Xây Dựng Kho Dữ Liệu Đảm Bảo Hiệu Năng Cho Ngân Hàng BIDV

Luận văn thạc sĩ VNU UET nghiên cứu xây dựng kho dữ liệu hiệu năng cho ngân hàng BIDV và thử nghiệm hệ thống báo cáo phân tích khách hàng.

• Tác giả: Nguyễn Văn Đức
• Người hướng dẫn: Pgs. Trương Anh Hoàng
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Xây dựng kho dữ liệu đảm bảo hiệu năng cho ngân hàng BIDV và thử nghiệm với hệ thống báo cáo phân tích khách hàng
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: HỆ THỐNG KHO DỮ LIỆU
• 1.1. Tổng quan kho dữ liệu
• 1.2. Kiến trúc chung của kho dữ liệu
• 1.3. Mô hình logic của kho dữ liệu
• 1.4. Mô hình dữ liệu đa chiều
• 1.5. Hiện trạng hệ thống kho dữ liệu trong ngân hàng
• 1.5.1. Tổng quan hệ thống báo cáo trong ngân hàng
• 1.5.2. Kiến trúc của kho dữ liệu trong ngân hàng
• 1.5.3. Đánh giá các mặt hạn chế của hệ thống kho dữ liệu hiện tại
• 2. CHƯƠNG 2: XÂY DỰNG HỆ THỐNG KHO DỮ LIỆU ĐÁP ỨNG HIỆU NĂNG XỬ LÝ CHO NGÂN HÀNG
• 2.1. Một số giải pháp công nghệ về kho dữ liệu
• 2.2. Thiết kế, xây dựng mô hình hệ thống kho dữ liệu mới
• 2.2.1. Các thành phần cần nâng cấp, bổ sung
• 2.2.1.1. Hệ thống cơ sở dữ liệu chuyên dụng cho bài toán kho dữ liệu
• 2.2.1.2. Hệ thống công cụ trích lọc dữ liệu
• 2.2.1.2.1. Tầm quan trọng của quá trình trích lọc dữ liệu
• 2.2.1.2.2. Hệ thống trích lọc dữ liệu IBM DataStage
• 2.2.1.3. Hệ thống phân phối báo cáo tập trung
• 2.2.1.3.1. Các công cụ chính của IBM Cognos
• 2.2.1.3.2. Một số đặc trưng cơ bản của IBM Cognos
• 2.2.2. Mô hình thiết kế tổng thể cho kho dữ liệu
• 2.2.2.1. Kiến trúc tổng quan của IBM Banking Data Model
• 2.2.2.2. Những điểm nổi bật của IBM Banking Model
• 2.2.3. Kết quả thử nghiệm
• 2.2.3.1. Thực nghiệm so sánh tốc độ trên các cơ sở dữ liệu
• 2.2.3.2. Thực nghiệm với hệ thống công cụ trích lọc dữ liệu
• 2.2.3.3. Nhận xét thực nghiệm
• 3. CHƯƠNG 3: THỬ NGHIỆM VỚI BÀI TOÁN PHÂN TÍCH KHÁCH HÀNG
• 3.1. Yêu cầu chức năng
• 3.2. Thiết kế tổng thể
• 3.2.1. Mô hình logic
• 3.2.2. Thiết kế bảo mật
• 3.3. Thiết kế dữ liệu chuyên đề Phân tích khách hàng
• 3.3.1. Thiết kế dữ liệu chỉ tiêu
• 3.3.2. Thiết kế mô hình dữ liệu đa chiều với công cụ IBM Cognos Framework Manager
• 3.3.3. Thiết kế job trích xuất dữ liệu từ kho dữ liệu vào kho dữ liệu chuyên đề Phân tích khách hàng
• 3.3.4. Thiết kế lớp bảo mật phân quyền theo người dùng
• 3.3.5. Triển khai dữ liệu đa chiều lên máy chủ Cognos
• 3.3.6. Khai thác dữ liệu đa chiều
• 3.3.7. Kết quả thử nghiệm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Xây Dựng Kho Dữ Liệu Hiệu Năng Cho Ngân Hàng BIDV

Kho dữ liệu là một phần quan trọng trong hệ thống thông tin của ngân hàng. Đặc biệt, ngân hàng BIDV cần một kho dữ liệu hiệu năng cao để xử lý khối lượng lớn thông tin. Việc xây dựng kho dữ liệu không chỉ giúp cải thiện hiệu suất mà còn hỗ trợ ra quyết định nhanh chóng và chính xác.

1.1. Định Nghĩa Kho Dữ Liệu Ngân Hàng

Kho dữ liệu ngân hàng là nơi lưu trữ và quản lý thông tin từ nhiều nguồn khác nhau. Nó giúp tổ chức dữ liệu theo cách dễ dàng truy cập và phân tích.

1.2. Tầm Quan Trọng Của Kho Dữ Liệu Trong Ngân Hàng

Kho dữ liệu đóng vai trò quan trọng trong việc hỗ trợ các quyết định chiến lược, quản lý rủi ro và tối ưu hóa quy trình kinh doanh.

II. Vấn Đề Hiện Tại Của Hệ Thống Kho Dữ Liệu Ngân Hàng BIDV

Hệ thống kho dữ liệu hiện tại của BIDV gặp nhiều thách thức. Các vấn đề như hiệu suất xử lý chậm, dữ liệu không đồng nhất và thiếu tính linh hoạt trong việc mở rộng là những điểm cần khắc phục.

2.1. Các Hạn Chế Của Hệ Thống Hiện Tại

Hệ thống hiện tại không đáp ứng được nhu cầu xử lý dữ liệu lớn và thường xuyên gặp phải tình trạng quá tải.

2.2. Tác Động Của Các Vấn Đề Đến Hoạt Động Ngân Hàng

Các vấn đề này ảnh hưởng đến khả năng ra quyết định và hiệu quả hoạt động của ngân hàng, dẫn đến mất cơ hội kinh doanh.

III. Phương Pháp Xây Dựng Kho Dữ Liệu Hiệu Năng Cho BIDV

Để xây dựng kho dữ liệu hiệu năng cao, ngân hàng BIDV cần áp dụng các công nghệ tiên tiến và phương pháp tối ưu hóa quy trình xử lý dữ liệu.

3.1. Ứng Dụng Công Nghệ Mới Trong Kho Dữ Liệu

Sử dụng các công nghệ như ETL, OLAP và các công cụ phân tích dữ liệu hiện đại để cải thiện hiệu suất.

3.2. Thiết Kế Mô Hình Dữ Liệu Đa Chiều

Mô hình dữ liệu đa chiều giúp tổ chức dữ liệu theo nhiều khía cạnh, từ đó dễ dàng phân tích và khai thác thông tin.

IV. Ứng Dụng Thực Tiễn Của Kho Dữ Liệu Trong Ngân Hàng BIDV

Kho dữ liệu không chỉ là nơi lưu trữ thông tin mà còn là công cụ hỗ trợ ra quyết định. Các ứng dụng thực tiễn của kho dữ liệu bao gồm phân tích khách hàng, quản lý rủi ro và tối ưu hóa quy trình kinh doanh.

4.1. Phân Tích Khách Hàng Để Tăng Trưởng Doanh Thu

Sử dụng kho dữ liệu để phân tích hành vi khách hàng, từ đó đưa ra các chiến lược marketing hiệu quả.

4.2. Quản Lý Rủi Ro Hiệu Quả Hơn

Kho dữ liệu giúp ngân hàng theo dõi và phân tích các yếu tố rủi ro, từ đó đưa ra các biện pháp phòng ngừa kịp thời.

V. Kết Luận Và Tương Lai Của Kho Dữ Liệu Ngân Hàng BIDV

Việc xây dựng kho dữ liệu hiệu năng cao là một bước đi quan trọng cho ngân hàng BIDV. Tương lai của kho dữ liệu sẽ phụ thuộc vào khả năng áp dụng công nghệ mới và cải tiến quy trình quản lý dữ liệu.

5.1. Hướng Phát Triển Kho Dữ Liệu Trong Tương Lai

Ngân hàng cần tiếp tục đầu tư vào công nghệ và đào tạo nhân lực để tối ưu hóa kho dữ liệu.

5.2. Tầm Nhìn Chiến Lược Đối Với Kho Dữ Liệu

Kho dữ liệu sẽ trở thành nền tảng cho các quyết định chiến lược và phát triển bền vững của ngân hàng trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên bùng nổ dữ liệu tài chính, các tổ chức ngân hàng thương mại tại Việt Nam phải đối mặt với khối lượng giao dịch gia tăng theo cấp số nhân. Tại Ngân hàng Thương mại Cổ phần Đầu tư và Phát triển Việt Nam, hệ thống báo cáo kho dữ liệu cũ vận hành trực tiếp trên máy chủ lõi AS400 chia sẻ chung với cơ sở dữ liệu DB2 của hệ thống giao dịch trực tuyến. Kiến trúc dùng chung này tạo ra xung đột tài nguyên trầm trọng khi tiến trình xử lý trích xuất dữ liệu dung lượng khoảng 30GB bắt đầu từ 02:00 sáng nhưng kéo dài đến tận 12:00 trưa mỗi ngày. Việc này làm suy giảm nghiêm trọng hiệu năng giao dịch của ngân hàng trong khung giờ mở cửa kinh doanh từ 08:00 sáng. Bên cạnh đó, công cụ trích lọc dữ liệu cũ dựa trên nền tảng Microsoft DTS và công cụ khai thác báo cáo phân tán qua tập tin Excel bộc lộ nhiều điểm nghẽn về giới hạn dòng dữ liệu, bảo mật yếu và thiếu khả năng mở rộng.

Mục tiêu cốt lõi của nghiên cứu là khảo sát, đánh giá toàn diện các hạn chế của hệ thống cũ, từ đó thiết kế và triển khai kiến trúc kho dữ liệu chuyên dụng có hiệu năng cao cho toàn hệ thống ngân hàng. Phạm vi nghiên cứu tập trung vào việc ứng dụng nền tảng thiết bị chuyên dụng IBM Netezza, công cụ trích lọc dữ liệu IBM InfoSphere DataStage và hệ thống phân phối báo cáo tập trung IBM Cognos BI, đồng thời chuẩn hóa cấu trúc theo mô hình dữ liệu tài chính ngân hàng chuẩn quốc tế. Nghiên cứu tiến hành thử nghiệm thực tế trên tập dữ liệu vận hành thực tế tại trụ sở chính và hơn 300 chi nhánh trực thuộc trong giai đoạn 2014-2015.

Ý nghĩa thực tiễn của công trình được chứng minh qua các chỉ số đo lường vượt bậc: rút ngắn thời gian thu thập 300GB dữ liệu thô xuống chỉ còn khoảng 30 phút, giảm tải hoàn toàn cho hệ thống xử lý giao dịch lõi, giảm độ trễ truy vấn phân tích đa chiều từ 26,50 giây xuống dưới 0,20 giây và hỗ trợ 350 người dùng truy cập đồng thời trước 08:00 sáng mỗi ngày làm việc.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng lý thuyết kho dữ liệu doanh nghiệp của Bill Inmon kết hợp cùng mô hình dữ liệu đa chiều của Ralph Kimball. Trọng tâm của kiến trúc là sự phân định rạch ròi giữa hệ thống xử lý giao dịch trực tuyến (OLTP) với đặc tính ghi dữ liệu liên tục, chuẩn hóa cao và hệ thống xử lý phân tích trực tuyến (OLAP) với đặc tính đọc dữ liệu khối lượng lớn, tối ưu hóa qua các cấu trúc hình sao, sơ đồ bông tuyết và khối lập phương dữ liệu.

Mô hình dữ liệu ngân hàng chuẩn IBM Banking Data Model và khung dữ liệu dịch vụ tài chính Financial Services Data Model được áp dụng làm xương sống logic. Khung lý thuyết này tổ chức toàn bộ thực thể kinh doanh của ngân hàng vào 9 vùng dữ liệu chuẩn mực gồm: Đối tượng liên quan, Phân loại, Thỏa thuận quan hệ, Sản phẩm dịch vụ, Địa điểm kinh doanh, Điều kiện điều khoản, Sự kiện nghiệp vụ, Tài sản tài nguyên và Hướng chiến lược kinh doanh.

Ngoài ra, nghiên cứu vận dụng lý thuyết đường ống tích hợp dữ liệu với ba mô hình chuyển đổi chính: trích xuất - chuyển đổi tại nguồn - tải nạp (ET-L), trích xuất - tải nạp - chuyển đổi tại đích (EL-T) và trích xuất - chuyển đổi độc lập - tải nạp (E-T-L). Lý thuyết kiến trúc hướng dịch vụ trên nền tảng Web được tích hợp để thiết lập mạng lưới phân phối báo cáo đa tầng gồm tầng hiển thị, tầng ứng dụng phân tích và tầng dữ liệu bảo mật.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được trích xuất từ các hệ thống tác nghiệp phân tán của ngân hàng bao gồm: hệ thống ngân hàng lõi AS400, phân hệ thanh toán liên ngân hàng, hệ thống quản lý thẻ ATM, phân hệ đầu tư và thị trường vốn chạy trên nền tảng Oracle và Sybase.

Phương pháp chọn mẫu có chủ đích được áp dụng trên tập dữ liệu thực tế quy mô lớn. Cụ thể, nghiên cứu sử dụng hai bảng dữ liệu tác nghiệp nòng cốt: bảng thông tin số dư tài khoản tiền gửi với quy mô 7.000.000 dòng dữ liệu và bảng hồ sơ thông tin khách hàng với quy mô 6.000.000 dòng dữ liệu.

Phương pháp phân tích dựa trên thực nghiệm so sánh đối đầu được lựa chọn vì đây là phương pháp khoa học chuẩn xác nhất để định lượng hiệu năng của hệ quản trị cơ sở dữ liệu và công cụ đường ống xử lý. Tác giả tiến hành chạy lặp lại 5 lần cho mỗi kịch bản truy vấn từ đơn giản đến phức tạp trên cùng một cấu hình dữ liệu để tính toán giá trị trung bình thời gian thực thi. Môi trường kiểm thử bao gồm thiết bị máy chủ cơ sở dữ liệu IBM Netezza TwinFin 6, máy chủ xử lý trích lọc dữ liệu IBM InfoSphere DataStage trên máy chủ IBM x3650 M4 và máy chủ phân phối báo cáo IBM Cognos BI. Timeline nghiên cứu và đo lường thực nghiệm được hoàn tất toàn diện trong năm 2015.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa hệ thống cũ và kiến trúc kho dữ liệu mới mang lại ba phát hiện quan trọng:

Thứ nhất, tốc độ truy vấn trên hệ thống cơ sở dữ liệu chuyên dụng IBM Netezza vượt trội hoàn toàn so với cơ sở dữ liệu trên máy chủ AS400. Đối với phép tính tổng số dư trên 7.000.000 dòng dữ liệu của bảng tài khoản, thời gian phản hồi trung bình của máy chủ cũ là 26,50 giây, trong khi Netezza chỉ mất 0,14 giây (tốc độ nhanh hơn khoảng 189 lần, tương ứng mức giảm thời gian xử lý đạt 99,47%). Đối với truy vấn kết nối phức tạp giữa 7.000.000 dòng dữ liệu số dư và 6.000.000 dòng hồ sơ khách hàng gom nhóm theo chi nhánh, thời gian xử lý trên hệ thống cũ là 20,00 giây, trong khi Netezza xử lý trong 0,15 giây (nhanh hơn 133 lần). Đối với truy vấn tìm kiếm lọc chuỗi ký tự theo họ khách hàng, thời gian giảm từ 14,00 giây xuống còn 0,16 giây.

Thứ hai, việc chuyển đổi quy trình trích lọc từ mô hình ET-L sang mô hình E-T-L độc lập trên IBM DataStage đã giải phóng hoàn toàn áp lực tính toán cho hệ thống ngân hàng lõi. Khi toàn bộ các phép kết nối bảng, tính tổng và gom nhóm được đưa lên hệ thống động cơ tính toán song song của DataStage, thời gian chiếm dụng tài nguyên tính toán trên máy chủ nguồn giảm từ 26,50 giây xuống chỉ còn thời gian đọc dữ liệu thuần túy từ 8,00 đến 16,00 giây cho mỗi khối công việc.

Thứ ba, hiệu năng tổng thể của chu trình xử lý dữ liệu đầu ngày ghi nhận bước nhảy vọt. Hệ thống cũ mất 10 tiếng (từ 02:00 đến 12:00) để xử lý 30GB dữ liệu, trong khi hệ thống mới chỉ mất 30 phút để nạp 300GB dữ liệu thô vào vùng đệm tạm thời (tăng gấp 10 lần dung lượng nhưng giảm 95% thời gian). Hệ thống báo cáo chuyên đề phân tích khách hàng phục vụ ổn định 300 đơn vị chi nhánh và 350 người dùng đồng thời, cung cấp đầy đủ thông tin báo cáo trước 08:00 sáng với dữ liệu lịch sử lưu trữ trên 3 năm.

Thảo luận kết quả

Sự cách biệt vượt trội về hiệu năng bắt nguồn từ sự khác biệt bản chất trong kiến trúc phần cứng và phần mềm. Hệ thống máy chủ AS400 được tối ưu hóa cho các giao dịch đơn lẻ dạng dòng, khi phải gánh các câu lệnh tính toán quét toàn bảng dung lượng lớn sẽ nhanh chóng bị nghẽn cổ chai bộ nhớ và vi xử lý. Ngược lại, thiết bị IBM Netezza sở hữu kiến trúc xử lý song song khối lượng lớn kết hợp với các bộ vi mạch mảng phần cứng có thể lập trình (FPGA), cho phép lọc dữ liệu ngay tại tầng đĩa cứng với tốc độ quét đạt 145TB mỗi giờ và tốc độ nạp dữ liệu tối thiểu 2TB mỗi giờ.

Dữ liệu thực nghiệm khi được biểu diễn trực quan trên các biểu đồ cột cho thấy độ dốc giảm thiểu thời gian ấn tượng từ mức 26,50 giây của hệ thống cũ xuống đường tiệm cận 0,14 giây trên Netezza ở cả ba kịch bản thử nghiệm. Bảng so sánh mô hình xử lý đường ống cũng minh chứng rõ ràng việc tách rời tầng chuyển đổi giúp đường tải CPU của máy chủ giao dịch lõi giữ mức an toàn tuyệt đối trong khung giờ cao điểm.

Khi so sánh với các giải pháp khác trên thị trường như Oracle Exadata hay Microsoft SQL Server, giải pháp Netezza kết hợp DataStage và Cognos chứng minh ưu thế vượt trội về khả năng triển khai nhanh trong vòng 24 giờ, chi phí sở hữu giảm khoảng 50% so với giải pháp tương đương và loại bỏ hoàn toàn các tác vụ cấu hình chỉ mục hay phân vùng phức tạp do hệ thống sở hữu cơ chế tự tối ưu hóa truy vấn thông minh.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và triển khai thực nghiệm thành công, tác giả đưa ra 4 nhóm giải pháp chiến lược nhằm tối ưu hóa hạ tầng dữ liệu cho ngân hàng:

• Tách biệt triệt để môi trường phân tích dữ liệu khỏi hệ thống giao dịch nghiệp vụ lõi: Khối Công nghệ thông tin cần chuyển đổi 100% các báo cáo quản trị định kỳ sang hệ thống kho dữ liệu chuyên dụng Netezza thông qua quy trình E-T-L của IBM DataStage. Mục tiêu duy trì mức tải CPU của hệ thống ngân hàng lõi dưới 15% trong suốt thời gian trích xuất dữ liệu đầu ngày. Lộ trình triển khai hoàn thành trong 6 tháng.

• Chuẩn hóa toàn diện mô hình dữ liệu doanh nghiệp theo khung chuẩn quốc tế: Ban Quản trị Dữ liệu cần áp dụng triệt để 9 vùng thực thể của mô hình IBM Financial Services Data Model cho toàn bộ các nguồn dữ liệu phát sinh mới từ ngân hàng số, thẻ tín dụng và kênh giao dịch trực tuyến. Mục tiêu tái sử dụng ít nhất 80% cấu trúc dữ liệu và giảm 50% thời gian xây dựng các kho dữ liệu chuyên đề mới. Lộ trình thực hiện liên tục trong 12 tháng.

• Triển khai kiến trúc bảo mật dữ liệu đa tầng và phân quyền thông minh: Phòng An toàn Thông tin phối hợp cùng Ban Phát triển Ứng dụng tích hợp hệ thống quản lý danh tính Active Directory vào công cụ IBM Cognos Framework Manager. Thiết lập cơ chế kiểm soát truy cập phân tán đảm bảo người dùng tại 300 chi nhánh chỉ được phép khai thác dữ liệu thuộc phạm vi đơn vị, trong khi Hội sở chính có thẩm quyền xem xét toàn hàng. Thời gian hoàn thiện trong vòng 3 tháng.

• Tự động hóa cảnh báo rủi ro và phân tích chuyên sâu đa chiều: Khối Quản trị Rủi ro và Khối Khách hàng cá nhân cần ứng dụng công cụ IBM Cognos Event Studio và Metric Studio để thiết lập hơn 50 bộ chỉ tiêu giám sát tự động. Mục tiêu cung cấp các báo cáo đo lường lợi nhuận, phân loại nhóm nợ, biến động huy động vốn định kỳ trước 08:00 sáng hàng ngày với độ trễ xử lý sự kiện dưới 5 phút. Lộ trình thực hiện trong 9 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả của luận văn mang lại giá trị tham khảo thiết thực cho 4 nhóm đối tượng chính:

• Kỹ sư dữ liệu và Kiến trúc sư hệ thống thông tin ngân hàng: Tài liệu cung cấp bản thiết kế kỹ thuật chi tiết về cấu trúc kho dữ liệu chuyên dụng, kinh nghiệm xây dựng các luồng công việc trích lọc dữ liệu song song trên DataStage và phương pháp tối ưu hóa thiết bị xử lý dữ liệu lớn Netezza phục vụ xử lý hàng trăm gigabyte dữ liệu mỗi ngày.

• Cán bộ quản lý rủi ro và Chuyên viên phân tích kinh doanh tài chính: Nhận được phương pháp luận rõ ràng về cách xây dựng kho dữ liệu chuyên đề lợi nhuận và phân tích khách hàng dựa trên 11 chiều dữ liệu quản trị như nhân khẩu học, nhóm nợ, xếp hạng tín dụng và biến động số dư qua các chu kỳ năm, quý, tháng.

• Học viên cao học và Nhà nghiên cứu chuyên ngành Công nghệ thông tin: Tìm thấy nguồn tài liệu thực chứng phong phú với các số liệu đo lường cụ thể về độ trễ truy vấn, phương pháp so sánh hiệu năng giữa các kiến trúc phần cứng cũng như mô hình tổ chức dữ liệu chuẩn mực cho ngành tài chính ngân hàng.

• Lãnh đạo chuyển đổi số và Giám đốc công nghệ thông tin tại các tổ chức tài chính: Bản đề án đóng vai trò như một cẩm nang tư vấn công nghệ giúp định hình lộ trình hiện đại hóa hạ tầng phân tích thông minh, đánh giá chi phí đầu tư và phương án tích hợp hệ sinh thái phần mềm từ nhiều nhà cung cấp khác nhau.

Câu hỏi thường gặp

1. Tại sao cơ sở dữ liệu chuyên dụng IBM Netezza lại đạt tốc độ truy vấn nhanh hơn máy chủ AS400 gần 189 lần? IBM Netezza là thiết bị tích hợp phần cứng và phần mềm chuyên dụng cho xử lý phân tích với kiến trúc xử lý song song khối lượng lớn. Hệ thống sử dụng các bộ gia tốc phần cứng FPGA giúp lọc và nén dữ liệu trực tiếp tại tầng ổ đĩa với tốc độ quét lên tới 145TB mỗi giờ, giảm thiểu tối đa việc truyền tải dữ liệu dư thừa lên bộ nhớ, khác biệt hoàn toàn với cơ chế xử lý tuần tự của AS400.

2. Mô hình xử lý E-T-L của DataStage giúp giải quyết triệt để tình trạng nghẽn mạng hệ thống như thế nào? Trong mô hình cũ ET-L, các phép tính toán biến đổi phức tạp như kết nối bảng và tính tổng bị ép thực thi trực tiếp tại máy chủ nguồn AS400 gây nghẽn hệ thống giao dịch. DataStage áp dụng mô hình E-T-L, chuyển toàn bộ các phép tính toán nặng sang động cơ độc lập của máy chủ trích lọc, giúp rút ngắn thời gian chiếm dụng nguồn từ 26,50 giây xuống mức 8,00 giây cho mỗi khối dữ liệu.

3. Khung dữ liệu Financial Services Data Model mang lại giá trị gì cho kiến trúc kho dữ liệu ngân hàng? Khung dữ liệu FSDM cung cấp mô hình nghiệp vụ tổng thể gồm 9 vùng dữ liệu chuẩn hóa như Đối tượng liên quan, Sản phẩm, Thỏa thuận và Điều kiện kinh doanh. Cấu trúc này loại bỏ sự chồng chéo thông tin, cung cấp phiên bản dữ liệu duy nhất đáng tin cậy và đáp ứng sẵn sàng 80% các mẫu báo cáo quản trị tài sản nợ có và tuân thủ theo tiêu chuẩn Basel II.

4. Hệ thống phân phối báo cáo IBM Cognos bảo đảm an toàn dữ liệu cho hơn 300 chi nhánh bằng cách nào? Hệ thống tích hợp máy chủ phân quyền tập trung với hệ thống thư mục người dùng Active Directory hiện hữu của ngân hàng. Thông qua công cụ Framework Manager, chính sách bảo mật dữ liệu đa cấp được áp dụng trực tiếp vào mô hình dữ liệu đa chiều, giới hạn tự động quyền truy cập dữ liệu cục bộ của từng chi nhánh và chỉ cấp quyền xem tổng thể cho người dùng tại Hội sở chính.

5. Hệ thống báo cáo phân tích khách hàng thử nghiệm cung cấp những chỉ tiêu kinh doanh trọng yếu nào? Kho dữ liệu chuyên đề phân tích khách hàng cho phép người dùng khai thác động dữ liệu lịch sử 3 năm qua 11 chiều phân tích gồm nhóm nợ, độ tuổi, xếp hạng tín dụng, địa bàn kinh doanh. Các chỉ tiêu đo lường chính bao gồm tổng số dư huy động cuối kỳ quy đổi, so sánh mức độ tăng trưởng số dư với cuối tháng trước, quý trước và năm trước được cung cấp tự động trước 08:00 sáng mỗi ngày.

Kết luận

• Luận văn đã giải quyết triệt để bài toán xung đột hiệu năng giữa hệ thống giao dịch trực tuyến và hệ thống kho dữ liệu tại BIDV, rút ngắn thời gian xử lý dữ liệu đầu ngày từ 10 tiếng xuống còn 30 phút cho 300GB dữ liệu.
• Ứng dụng thành công hệ thống máy chủ cơ sở dữ liệu chuyên dụng IBM Netezza, chứng minh hiệu năng truy vấn tăng từ 133 đến 189 lần trên các tập dữ liệu thực tế quy mô từ 6 đến 7 triệu bản ghi.
• Thiết lập quy trình trích lọc dữ liệu E-T-L chuẩn mực trên nền tảng IBM DataStage, giải phóng hoàn toàn gánh nặng tính toán biến đổi dữ liệu khỏi máy chủ giao dịch lõi.
• Chuẩn hóa mô hình dữ liệu ngân hàng theo khung chuẩn quốc tế IBM Banking Data Model và triển khai hệ thống phân phối báo cáo tập trung IBM Cognos BI phục vụ 350 người dùng tại hơn 300 đơn vị trực thuộc.
• Thử nghiệm thành công kho dữ liệu chuyên đề phân tích khách hàng, cung cấp báo cáo đa chiều ổn định, chính xác và kịp thời trước 08:00 sáng hàng ngày.

Đóng góp lớn nhất của nghiên cứu là cung cấp phương án kiến trúc tổng thể, khả thi và đã được kiểm chứng thực nghiệm thực tế để thay thế hạ tầng phân tích cũ kỹ bằng một hệ thống kho dữ liệu hiện đại, có khả năng mở rộng quy mô dữ liệu lên mức hàng trăm terabyte. Trong giai đoạn tiếp theo, hệ thống được định hướng mở rộng tích hợp cơ chế đồng bộ dữ liệu thời gian thực Change Data Capture và áp dụng các thuật toán học máy dự báo hành vi rời bỏ dịch vụ của khách hàng trong vòng 12 đến 24 tháng tới. Các tổ chức tài chính ngân hàng đang tìm kiếm giải pháp nâng cấp hạ tầng báo cáo thông minh được khuyến nghị tham khảo và áp dụng mô hình kiến trúc này để tối ưu hóa hiệu quả quản trị và tạo lập lợi thế cạnh tranh bền vững.

Trích đoạn nội dung tài liệu

Chương 1 hệ thống kho dữ liệu mới cần khắc phục được những hạn chế đã nêu với bốn phương diện cần cải tiến và bổ sung bao gồm: Hệ cơ sở dữ liệu chuyên dụng cho bài toán kho dữ liệu, hệ thống trích lọc dữ liệu, hệ thống phấn phối báo cáo và mô hình thiết kế tổng thể cho kho dữ liệu.2 Một số giải pháp công nghệ về kho dữ liệu Có nhiều phương thức để đánh giá các giải pháp kho dữ liệu hiện tại trên thế giới. Các hãng phân tích lớn và uy tín trên thế giới sử dụng các phân tích đa chiều, đồng thời theo xu hướng phát triển của Công nghệ thông tin như Gartners. Tuy nhiên, theo nhận định chung thì có bốn yếu tố chính ảnh hưởng đến việc lựa chọn một nền tảng công nghệ kho dữ liệu thích hợp đó là: giao diện, tính năng, hỗ trợ và nền tảng hệ thống. Các yếu tố này ảnh hưởng trực tiếp đến thành công của một dự án triển khai và áp dụng kho dữ liệu vào trong tổ chức/doanh nghiệp.

Các giải pháp kho dữ liệu lớn trên thế giới đang theo xu hướng thay đổi để thích hợp với xu hướng phát triển của BI cũng yêu cầu càng ngày càng phức tạp hơn trong việc phân tích dữ liệu. Một số giải pháp hiện nay có trên thị trường. Giải pháp của Microsoft: Microsoft cung cấp giải pháp kho dữ liệu khá toàn diện và đẩy đủ với cơ sở dữ liệu SQL Server 2008 [4], hệ thống Analyze Services, là giải pháp tương đối phổ biến. Ưu điểm: Thân thiện, dễ dùng, dễ phát triển, dễ bảo trì.

Nhược điểm: Hạn chế khi xử lý lượng dữ liệu lớn, phù hợp với các bài toán vừa và nhỏ, hệ thống bảo mật kém do sử dụng nền tảng windows LUAN VAN CHAT LUONG download : add [e-mail] 21 Giải pháp của Oracle: Oracle được đánh giá là một trong những công ty hàng đầu trong lĩnh vực giải pháp về kho dữ liệu với đẩy đủ các công cụ chuyên biệt cho bài toán kho dữ liệu đặc biệt với giải pháp Oracle Exadata Database Machine đã tối ưu rất nhiều cho bài toán kho dữ liệu [5]. Ưu điểm: Thị phần Oracle chiếm trên thị trường khá lớn khoảng 48%. Tiện dụng, thuận lợi cho việc tiếp cận và phát triển. Hệ thống cơ sở dữ liệu và máy chủ kho dữ liệu đã tích hợp thành máy duy nhất cung cấp hiệu năng xử lý tốt hơn.

Nhược điểm: Thông thường khi triển khai giải pháp của Oracle sẽ tốn công sức triển khai hơn. Chi phí về bản quyền phần mềm của Oracle cũng thường cao hơn các nhà cung cấp khác. Giải pháp của IBM: Được đánh giá là đơn vị cung cấp giải pháp kho dữ liệu và phân tích số liệu hàng đầu ở hầu hết các tổ chức đánh giá độc lập (cụ thể là Gartner và Forrester). Hiện tại IBM đang cung cấp hai giải pháp chính và chuyên dụng cho bài toán khai thác, phân tích báo cáo theo mô hình kho dữ liệu.

Cả hai giải pháp đều có mô hình giống nhau chỉ khác nhau về cấu phần cơ sở dữ liệu lưu trữ dữ liệu cụ thể [6]: Cả 2 giải pháp đều dùng Data Stage làm công cụ ETL. Công cụ Cognos cho cấu phần khai thác và phân phối báo cáo. Xây dựng kho dữ liệu trên nền tảng mô hình dữ liệu IBM Banking Data Model. 02 giải pháp khác nhau ở cấu phần kho dữ liệu: ISAS (IBM Smart Analytics System): Sử dụng appliance máy chủ ISAS 7710; kho dữ liệu xây dựng trên cơ sở dữ liệu DB2; Dữ liệu đa chiều cube xây dựng trên Inforsphere warehouse gắn chặt với cơ sở dữ liệu DB2.

Đây là giải pháp Hybrid (Hệ thống máy chủ có thể dùng cho cả bài toán phân tích báo cáo và giao dịch). Netezza: Sử dụng theo cơ chế appliance; tích hợp toàn bộ phần cứng, phần mềm (hệ điều hành, cơ sở dữ liệu, v.v…) trong một thiết bị duy nhất. Đây là giải pháp chỉ dùng cho hệ thống phân tích, khai thác báo cáo.3 Thiết kế, xây dựng mô hình hệ thống kho dữ liệu mới Trên cơ sở đã phân tích ở phần trước về hiện trạng, các mặt hạn chế và một số giải pháp hiện về kho dữ liệu có trên thị trường, tác giả đã chọn giải pháp của IBM với Netezza để xây dựng lại hệ thống kho dữ liệu mới trong ngân hàng đảm bảo hiệu năng xử lý của kho dữ liệu. LUAN VAN CHAT LUONG download : add [e-mail] 22 http:// www.com/ CoreBanking imgres?imgurl=http:// tinhocvanphong.jpg&imgrefurl=ht Cadencies tp:// Reporting Investment Management tinhocvanphong.v (Oracle) n/hoc-tin-hoc/excel- STG Payments Payment System 2010/khoa-hoc-excel- System Center ETL (Staging ETL Automic ETL Profitability 2010/ Reporting (Oracle) Area) &h=529&w=1024&tbn Regulatory Compliance Treasury System id=-- Summary Relationship Marketing J3eLOuaKdWkM:&doci Analysis (Sysbase) d=- Risk Management Contact Center qfVLXIiqWX1zM&ei=_ Wealth Management 5GuVcfaI8ermAWi- (Oracle) 7H4Aw&tbm=isch&ve d=0CEcQMygeMB5qF HR, ERP.

QoTCIfWiNrv7MYCFcc Vpgodon0MPw Mining Mô hình tổng quan hệ thống kho dữ liệu mới Hình 2.1 Mô hình tổng thể kho dữ liệu mới Trong hình 2.1 là mô hình tổng quát của kho dữ liệu mới với các phần sau [7] Hệ thống Source data: Bao gồm toàn bộ hệ thống nguồn của ngân hàng từ Core Banking, ATM system (DB2/AS400), Cadencies, Payments (Oracle), Treasury sysem (sysbase), v.v… Hệ thống máy chủ IBM Netezza được sử dụng với các khu vực lưu trữ như sau: Khu vực STG dữ liệu thô được tập kết lại từ các nguồn khác nhau thông qua cung cụ trích lọc dữ liệu IBM DataStage. Khu vụ SOR (System of Record) linh hồn của kho dữ liệu bao gồm tầng automic và summary được thiết kế theo chuẩn của IBM Banking Data Model. Khu vực DataMart các bài toán phân tích dữ liệu theo từng chủ đề. Hệ thống khai thác và phân phối báo cáo tập trung IBM Cognos.

Hệ thống người dùng cuối sử dụng khai thác, phân tích báo cáo qua công cụ IBM Cognos.4 Các thành phần cần nâng cấp, bổ sung 2.1 Hệ thống cơ sở dữ liệu chuyên dụng cho bài toán kho dữ liệu IBM Netezza là một hệ thống máy chủ chuyên dụng dùng cho bài toán kho dữ liệu hoàn chỉnh (Data warehouse Appliance) phần mềm cơ sở dữ liệu và phần cứng được tích hợp cùng một máy tăng hiệu năng tối đa cho bài toán truy xuất dữ liệu lớn. LUAN VAN CHAT LUONG download : add [e-mail] 23 Bên trong thiết bị kho dữ liệu Netezza là phần mềm chạy trên các thiết bị phần cứng đã được tối ưu hóa để đạt hiệu năng phân tích cao mà không cần bất kỳ hiệu chỉnh nào. Được khách hàng đánh giá là một thiết bị đơn giản nhưng lại có thể đáp ứng những yêu cầu rất cao về khai thác và phân tích dữ liệu, Netezza có khá nhiều ưu điểm như chi phí thấp (giá bằng 50% giá trung bình của các sản phẩm khác), thời gian triển khai ngắn (lắp đặt và triển khai trong 24 giờ), khả năng mở rộng cao (dung lượng dữ liệu người dùng lên tới hàng Petabytes) cùng với yêu cầu về nhân lực và quản trị đơn giản hơn rất nhiều. Công nghệ xử lý song song và việc bổ sung các bộ gia tốc xử lý bên cạnh bộ vi xử lý truyền thống đã mang lại cho Netezza hiệu suất vượt trội dẫn đầu thị trường.

Chính những điều này đã giúp khách hàng vượt qua các quan ngại khi cân nhắc đầu tư giải pháp kho dữ liệu. Rất nhiều tổ chức và doanh nghiệp thuộc mọi lĩnh vực như khối chính phủ, truyền thông, chứng khoán, bán lẻ, viễn thông, đã triển khai thành công IBM Netezza và tạo ra lợi thế cạnh tranh với doanh thu mới, cắt giảm chi phí hoạt động, giữ chân khách hàng và tăng lợi nhuận. Một số đặc điểm nổi bật của IBM Netezza: Hệ thống IBM Netezza hoạt động trong môi trường Active- Standby. Có hai máy chủ (host) một máy chủ active và một máy chủ standby dùng trong trường hợp máy chủ chính bị sự cố.

Thời gian downtime nhỏ khoảng mười phút. IBM Netezza có kiến trúc đặc biệt với những phần cứng chuyên biệt để xử lý dữ liệu một cách thông minh nhằm tăng tốc độ truy vấn dữ liệu. Tốc độ quét dữ liệu có thể lên 145TB/hr, tốc độ load dữ liệu tối thiểu 2TB/hr. Hệ thống dễ dàng mở rộng quy mô với việc tích hợp các cụm máy chủ thành một khối duy nhất.

Việc quản trị hệ thống đơn giản, không tốn nguồn lực cho người quản trị, các tham số tablespace, dbspace, physical log sizing, page/block sizing, extent sizing và các cấu hình cho table được thực hiện bởi hệ thống một cách tự động và trong suốt với người sử dụng. Hệ thống tuân thủ việc tăng tốc phân tích bằng cách tâ ̣p trung xử lý ta ̣i kho dữ liê ̣u thay vì xử lý ta ̣i máy chủ khai thác báo cáo. Có nghĩa là dữ liệu đã được phân tích trích xuất từ dưới máy chủ Netezza trước khi được hiển trị trên công cụ khai thác báo cáo. Đơn giản cho việc tối ưu hệ, thống không index, partition việc tối ưu hệ thống được tự động xử lý trong suốt với người dùng.

LUAN VAN CHAT LUONG download : add [e-mail] 24 Hệ thống phải cho phép chạy job với tải hỗn hợp nhiều người dùng (multi-user mixed worklod jobs), bao gồm nhiều phép SQL kết (join) và hợp (aggregation) mà không ảnh hưởng đến hiệu năng. Hệ thống có chức năng tự tối ưu hóa truy vấn (Query Optimizer). Việc thực nghiệm để kiểm chứng về tốc độ của Netezza sẽ được thực hiện ở phần 2.2 Hệ thống công cụ trích lọc dữ liệu 2.1 Tầm quan trọng của quá trình trích lọc dữ liệu Thiết kế và triển khai quy trình ETL sẽ là công trình phức tạp nhất trong tiến trình xây dựng kho dữ liệu tập trung. Quy trình là quy trình để “Chiết xuất, chuyển đổi và truyền tải” dữ liệu từ các hệ ứng dụng tác nghiệp gốc vào trong kho dữ liệu tập trung và từ kho dữ liệu tập trung qua các kho dữ liệu cục bộ.

Mỗi lần môi trường kho dữ liệu thêm một ứng dụng hoặc thêm một Cơ sở dữ liệu mới, quy trình ETL sẽ phải được bổ sung và ngày càng trở nên phức tạp hơn. Trên nguyên tắc về mặt “logic”, sẽ chỉ có một quy trình ETL để phục vụ toàn bộ môi trường làm việc của hệ thống kho dữ liệu tập trung. Vì sự cần thiết phải phối hợp rất chặt chẽ các quy trình ETL, do đó chỉ nên sử dụng một công cụ ETL duy nhất để vận hành cả hệ thống kho dữ liệu. Vì vậy, chức năng và chất lượng của công cụ ETL được chọn lựa sẽ là chìa khóa thành công trong việc xây dựng kho dữ liệu tập trung của ngân hàng.