Chương 1 hệ thống kho dữ liệu mới cần khắc phục được những hạn chế đã nêu với bốn phương diện cần cải tiến và bổ sung bao gồm: Hệ cơ sở dữ liệu chuyên dụng cho bài toán kho dữ liệu, hệ thống trích lọc dữ liệu, hệ thống phấn phối báo cáo và mô hình thiết kế tổng thể cho kho dữ liệu.2 Một số giải pháp công nghệ về kho dữ liệu Có nhiều phương thức để đánh giá các giải pháp kho dữ liệu hiện tại trên thế giới. Các hãng phân tích lớn và uy tín trên thế giới sử dụng các phân tích đa chiều, đồng thời theo xu hướng phát triển của Công nghệ thông tin như Gartners. Tuy nhiên, theo nhận định chung thì có bốn yếu tố chính ảnh hưởng đến việc lựa chọn một nền tảng công nghệ kho dữ liệu thích hợp đó là: giao diện, tính năng, hỗ trợ và nền tảng hệ thống. Các yếu tố này ảnh hưởng trực tiếp đến thành công của một dự án triển khai và áp dụng kho dữ liệu vào trong tổ chức/doanh nghiệp.
Các giải pháp kho dữ liệu lớn trên thế giới đang theo xu hướng thay đổi để thích hợp với xu hướng phát triển của BI cũng yêu cầu càng ngày càng phức tạp hơn trong việc phân tích dữ liệu. Một số giải pháp hiện nay có trên thị trường. Giải pháp của Microsoft: Microsoft cung cấp giải pháp kho dữ liệu khá toàn diện và đẩy đủ với cơ sở dữ liệu SQL Server 2008 [4], hệ thống Analyze Services, là giải pháp tương đối phổ biến. Ưu điểm: Thân thiện, dễ dùng, dễ phát triển, dễ bảo trì.
Nhược điểm: Hạn chế khi xử lý lượng dữ liệu lớn, phù hợp với các bài toán vừa và nhỏ, hệ thống bảo mật kém do sử dụng nền tảng windows LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 21 Giải pháp của Oracle: Oracle được đánh giá là một trong những công ty hàng đầu trong lĩnh vực giải pháp về kho dữ liệu với đẩy đủ các công cụ chuyên biệt cho bài toán kho dữ liệu đặc biệt với giải pháp Oracle Exadata Database Machine đã tối ưu rất nhiều cho bài toán kho dữ liệu [5]. Ưu điểm: Thị phần Oracle chiếm trên thị trường khá lớn khoảng 48%. Tiện dụng, thuận lợi cho việc tiếp cận và phát triển. Hệ thống cơ sở dữ liệu và máy chủ kho dữ liệu đã tích hợp thành máy duy nhất cung cấp hiệu năng xử lý tốt hơn.
Nhược điểm: Thông thường khi triển khai giải pháp của Oracle sẽ tốn công sức triển khai hơn. Chi phí về bản quyền phần mềm của Oracle cũng thường cao hơn các nhà cung cấp khác. Giải pháp của IBM: Được đánh giá là đơn vị cung cấp giải pháp kho dữ liệu và phân tích số liệu hàng đầu ở hầu hết các tổ chức đánh giá độc lập (cụ thể là Gartner và Forrester). Hiện tại IBM đang cung cấp hai giải pháp chính và chuyên dụng cho bài toán khai thác, phân tích báo cáo theo mô hình kho dữ liệu.
Cả hai giải pháp đều có mô hình giống nhau chỉ khác nhau về cấu phần cơ sở dữ liệu lưu trữ dữ liệu cụ thể [6]: Cả 2 giải pháp đều dùng Data Stage làm công cụ ETL. Công cụ Cognos cho cấu phần khai thác và phân phối báo cáo. Xây dựng kho dữ liệu trên nền tảng mô hình dữ liệu IBM Banking Data Model. 02 giải pháp khác nhau ở cấu phần kho dữ liệu: ISAS (IBM Smart Analytics System): Sử dụng appliance máy chủ ISAS 7710; kho dữ liệu xây dựng trên cơ sở dữ liệu DB2; Dữ liệu đa chiều cube xây dựng trên Inforsphere warehouse gắn chặt với cơ sở dữ liệu DB2.
Đây là giải pháp Hybrid (Hệ thống máy chủ có thể dùng cho cả bài toán phân tích báo cáo và giao dịch). Netezza: Sử dụng theo cơ chế appliance; tích hợp toàn bộ phần cứng, phần mềm (hệ điều hành, cơ sở dữ liệu, v.v…) trong một thiết bị duy nhất. Đây là giải pháp chỉ dùng cho hệ thống phân tích, khai thác báo cáo.3 Thiết kế, xây dựng mô hình hệ thống kho dữ liệu mới Trên cơ sở đã phân tích ở phần trước về hiện trạng, các mặt hạn chế và một số giải pháp hiện về kho dữ liệu có trên thị trường, tác giả đã chọn giải pháp của IBM với Netezza để xây dựng lại hệ thống kho dữ liệu mới trong ngân hàng đảm bảo hiệu năng xử lý của kho dữ liệu. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 22 http:// www.com/ CoreBanking imgres?imgurl=http:// tinhocvanphong.jpg&imgrefurl=ht Cadencies tp:// Reporting Investment Management tinhocvanphong.v (Oracle) n/hoc-tin-hoc/excel- STG Payments Payment System 2010/khoa-hoc-excel- System Center ETL (Staging ETL Automic ETL Profitability 2010/ Reporting (Oracle) Area) &h=529&w=1024&tbn Regulatory Compliance Treasury System id=-- Summary Relationship Marketing J3eLOuaKdWkM:&doci Analysis (Sysbase) d=- Risk Management Contact Center qfVLXIiqWX1zM&ei=_ Wealth Management 5GuVcfaI8ermAWi- (Oracle) 7H4Aw&tbm=isch&ve d=0CEcQMygeMB5qF HR, ERP.
QoTCIfWiNrv7MYCFcc Vpgodon0MPw Mining Mô hình tổng quan hệ thống kho dữ liệu mới Hình 2.1 Mô hình tổng thể kho dữ liệu mới Trong hình 2.1 là mô hình tổng quát của kho dữ liệu mới với các phần sau [7] Hệ thống Source data: Bao gồm toàn bộ hệ thống nguồn của ngân hàng từ Core Banking, ATM system (DB2/AS400), Cadencies, Payments (Oracle), Treasury sysem (sysbase), v.v… Hệ thống máy chủ IBM Netezza được sử dụng với các khu vực lưu trữ như sau: Khu vực STG dữ liệu thô được tập kết lại từ các nguồn khác nhau thông qua cung cụ trích lọc dữ liệu IBM DataStage. Khu vụ SOR (System of Record) linh hồn của kho dữ liệu bao gồm tầng automic và summary được thiết kế theo chuẩn của IBM Banking Data Model. Khu vực DataMart các bài toán phân tích dữ liệu theo từng chủ đề. Hệ thống khai thác và phân phối báo cáo tập trung IBM Cognos.
Hệ thống người dùng cuối sử dụng khai thác, phân tích báo cáo qua công cụ IBM Cognos.4 Các thành phần cần nâng cấp, bổ sung 2.1 Hệ thống cơ sở dữ liệu chuyên dụng cho bài toán kho dữ liệu IBM Netezza là một hệ thống máy chủ chuyên dụng dùng cho bài toán kho dữ liệu hoàn chỉnh (Data warehouse Appliance) phần mềm cơ sở dữ liệu và phần cứng được tích hợp cùng một máy tăng hiệu năng tối đa cho bài toán truy xuất dữ liệu lớn. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 23 Bên trong thiết bị kho dữ liệu Netezza là phần mềm chạy trên các thiết bị phần cứng đã được tối ưu hóa để đạt hiệu năng phân tích cao mà không cần bất kỳ hiệu chỉnh nào. Được khách hàng đánh giá là một thiết bị đơn giản nhưng lại có thể đáp ứng những yêu cầu rất cao về khai thác và phân tích dữ liệu, Netezza có khá nhiều ưu điểm như chi phí thấp (giá bằng 50% giá trung bình của các sản phẩm khác), thời gian triển khai ngắn (lắp đặt và triển khai trong 24 giờ), khả năng mở rộng cao (dung lượng dữ liệu người dùng lên tới hàng Petabytes) cùng với yêu cầu về nhân lực và quản trị đơn giản hơn rất nhiều. Công nghệ xử lý song song và việc bổ sung các bộ gia tốc xử lý bên cạnh bộ vi xử lý truyền thống đã mang lại cho Netezza hiệu suất vượt trội dẫn đầu thị trường.
Chính những điều này đã giúp khách hàng vượt qua các quan ngại khi cân nhắc đầu tư giải pháp kho dữ liệu. Rất nhiều tổ chức và doanh nghiệp thuộc mọi lĩnh vực như khối chính phủ, truyền thông, chứng khoán, bán lẻ, viễn thông, đã triển khai thành công IBM Netezza và tạo ra lợi thế cạnh tranh với doanh thu mới, cắt giảm chi phí hoạt động, giữ chân khách hàng và tăng lợi nhuận. Một số đặc điểm nổi bật của IBM Netezza: Hệ thống IBM Netezza hoạt động trong môi trường Active- Standby. Có hai máy chủ (host) một máy chủ active và một máy chủ standby dùng trong trường hợp máy chủ chính bị sự cố.
Thời gian downtime nhỏ khoảng mười phút. IBM Netezza có kiến trúc đặc biệt với những phần cứng chuyên biệt để xử lý dữ liệu một cách thông minh nhằm tăng tốc độ truy vấn dữ liệu. Tốc độ quét dữ liệu có thể lên 145TB/hr, tốc độ load dữ liệu tối thiểu 2TB/hr. Hệ thống dễ dàng mở rộng quy mô với việc tích hợp các cụm máy chủ thành một khối duy nhất.
Việc quản trị hệ thống đơn giản, không tốn nguồn lực cho người quản trị, các tham số tablespace, dbspace, physical log sizing, page/block sizing, extent sizing và các cấu hình cho table được thực hiện bởi hệ thống một cách tự động và trong suốt với người sử dụng. Hệ thống tuân thủ việc tăng tốc phân tích bằng cách tâ ̣p trung xử lý ta ̣i kho dữ liê ̣u thay vì xử lý ta ̣i máy chủ khai thác báo cáo. Có nghĩa là dữ liệu đã được phân tích trích xuất từ dưới máy chủ Netezza trước khi được hiển trị trên công cụ khai thác báo cáo. Đơn giản cho việc tối ưu hệ, thống không index, partition việc tối ưu hệ thống được tự động xử lý trong suốt với người dùng.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 24 Hệ thống phải cho phép chạy job với tải hỗn hợp nhiều người dùng (multi-user mixed worklod jobs), bao gồm nhiều phép SQL kết (join) và hợp (aggregation) mà không ảnh hưởng đến hiệu năng. Hệ thống có chức năng tự tối ưu hóa truy vấn (Query Optimizer). Việc thực nghiệm để kiểm chứng về tốc độ của Netezza sẽ được thực hiện ở phần 2.2 Hệ thống công cụ trích lọc dữ liệu 2.1 Tầm quan trọng của quá trình trích lọc dữ liệu Thiết kế và triển khai quy trình ETL sẽ là công trình phức tạp nhất trong tiến trình xây dựng kho dữ liệu tập trung. Quy trình là quy trình để “Chiết xuất, chuyển đổi và truyền tải” dữ liệu từ các hệ ứng dụng tác nghiệp gốc vào trong kho dữ liệu tập trung và từ kho dữ liệu tập trung qua các kho dữ liệu cục bộ.
Mỗi lần môi trường kho dữ liệu thêm một ứng dụng hoặc thêm một Cơ sở dữ liệu mới, quy trình ETL sẽ phải được bổ sung và ngày càng trở nên phức tạp hơn. Trên nguyên tắc về mặt “logic”, sẽ chỉ có một quy trình ETL để phục vụ toàn bộ môi trường làm việc của hệ thống kho dữ liệu tập trung. Vì sự cần thiết phải phối hợp rất chặt chẽ các quy trình ETL, do đó chỉ nên sử dụng một công cụ ETL duy nhất để vận hành cả hệ thống kho dữ liệu. Vì vậy, chức năng và chất lượng của công cụ ETL được chọn lựa sẽ là chìa khóa thành công trong việc xây dựng kho dữ liệu tập trung của ngân hàng.