Khóa luận: Quy trình ETL từ Corebanking T24 về ODS tại Ngân hàng MB

Khóa luận chi tiết về quy trình ETL tích hợp dữ liệu từ Corebanking T24 về hệ thống ODS. Phân tích kiến trúc và các bước triển khai thực tế tại MBBank.

• Tác giả: Nguyễn Hồng Phong
• Người hướng dẫn: Thạc Sĩ Ngô Thùy Linh
• Trường học: Học viện Ngân hàng
• Chuyên ngành: Hệ Thống Thông Tin Quản Lý
• Đề tài: Quy Trình Tích Hợp Dữ Liệu ETL Từ Hệ Thống CoreBanking T24 Về Hệ Thống ODS Tại Ngân Hàng Thương Mại Cổ Phần Quân Đội Việt Nam
• Loại tài liệu: Khóa Luận Tốt Nghiệp
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về Tích hợp Dữ liệu ETL T24 và ODS tại MB Bank

Tích hợp dữ liệu ETL từ hệ thống CoreBanking T24 về ODS (Operational Data Store) là một giải pháp quan trọng trong quản lý dữ liệu hiện đại của các tổ chức tài chính. Tại MB Bank, quy trình này được xây dựng nhằm tối ưu hóa việc xử lý và quản lý dữ liệu từ hệ thống cốt lõi. ETL (Extract, Transform, Load) là một quy trình giúp trích xuất dữ liệu từ các nguồn khác nhau, biến đổi chúng thành định dạng tiêu chuẩn, và tải vào kho dữ liệu tập trung. Trong bối cảnh ngân hàng số hiện nay, việc xây dựng một hệ thống ODS hiệu quả là yếu tố then chốt để hỗ trợ các quyết định kinh doanh dựa trên dữ liệu thực tế và kịp thời.

1.1. Giới thiệu về MB Bank và Hệ thống T24

MB Bank (Ngân hàng Thương mại cổ phần Quân Đội Việt Nam) sử dụng hệ thống CoreBanking T24 - một nền tảng xử lý giao dịch ngân hàng toàn diện. T24 cung cấp khả năng xử lý dữ liệu khách hàng, tài khoản, giao dịch một cách tập trung và an toàn. Tuy nhiên, để tối ưu hóa phân tích dữ liệu và hỗ trợ quyết định, MB Bank cần một hệ thống ODS chuyên biệt để lưu trữ và quản lý dữ liệu hoạt động một cách hiệu quả hơn.

1.2. Tầm quan trọng của Tích hợp Dữ liệu

Quá trình tích hợp dữ liệu ETL giúp MB Bank giảm thiểu lỗi dữ liệu, cải thiện chất lượng thông tin, và tăng tốc độ xử lý. ETL cho phép tự động hóa việc chuyển đổi dữ liệu từ T24 sang các hệ thống khác, đảm bảo dữ liệu luôn được cập nhật và nhất quán trên toàn bộ hệ thống.

II. Cơ sở Lý thuyết về ODS và ETL

Hệ thống ODS (Operational Data Store) là một kho dữ liệu trung gian được thiết kế để lưu trữ dữ liệu hoạt động hiện tại từ các hệ thống nguồn. ODS khác biệt với Data Warehouse ở chỗ nó tập trung vào dữ liệu tức thời thay vì dữ liệu lịch sử. Quy trình ETL bao gồm ba giai đoạn chính: Extract (trích xuất dữ liệu từ nguồn), Transform (chuyển đổi và xử lý dữ liệu), và Load (tải dữ liệu vào đích). Tại MB Bank, ETL được triển khai với mục đích đảm bảo dữ liệu từ T24 được chuyển đổi theo chuẩn và tải vào ODS một cách tự động, nhanh chóng và đáng tin cậy. Yêu cầu về ODS bao gồm khả năng xử lý dữ liệu thời gian thực, tính sẵn sàng cao, và tích hợp dễ dàng với các hệ thống khác.

2.1. Đặc trưng của Hệ thống ODS

ODS có các đặc trưng nổi bật như khả năng xử lý dữ liệu hoạt động, cập nhật thường xuyên (real-time hoặc batch), và hỗ trợ truy vấn nhanh. Hệ thống ODS tại MB Bank được thiết kế với bốn phân vùng dữ liệu chính, cho phép tổ chức dữ liệu một cách hợp lý và hiệu quả, đảm bảo tính toàn vẹn và bảo mật thông tin.

2.2. Vai trò của Quy trình ETL

Quy trình ETL là xương sống của hệ thống ODS, giúp tự động hóa việc chuyển đổi dữ liệu từ T24 sang ODS. ETL đảm bảo rằng dữ liệu được trích xuất chính xác từ nguồn, biến đổi theo quy tắc kinh doanh, và tải vào ODS trong thời gian được lên lịch.

III. Kiến trúc và Xây dựng Quy trình ETL tại MB Bank

Kiến trúc ETL tại MB Bank được thiết kế theo nguyên tắc hiệu quả và linh hoạt, bao gồm các thành phần như kết nối cơ sở dữ liệu, chuyển đổi dữ liệu, và lập lịch chạy. Quá trình xây dựng sử dụng các công cụ như Oracle Data Integrator (ODI) và PL/SQL Developer, cho phép xây dựng các job ETL phức tạp với xử lý lỗi tốt. Nguyên tắc xây dựng job ETL bao gồm xác định phạm vi nguồn (source scope) và phạm vi đích (target scope), thiết kế quy trình chuyển đổi dữ liệu hiệu quả, và xây dựng các Package để quản lý các công việc liên quan. Kiến trúc tổng quan cho phép tích hợp dữ liệu từ T24 theo hai cách: real-time (tức thời) và batch (theo lô), đáp ứng đa dạng nhu cầu kinh doanh.

3.1. Công cụ và Công nghệ Sử dụng

Oracle Data Integrator (ODI) là công cụ chính được sử dụng để xây dựng quy trình ETL tại MB Bank. ODI cung cấp giao diện trực quan, hỗ trợ xử lý dữ liệu phức tạp, và tích hợp tốt với Oracle Database. PL/SQL Developer được sử dụng để phát triển các script xử lý dữ liệu, trong khi Oracle BI Publisher hỗ trợ tạo báo cáo từ dữ liệu đã được tích hợp.

3.2. Các Bước Xây dựng ETL

Xây dựng ETL bao gồm các bước: (1) Kết nối cơ sở dữ liệu T24 và ODS, (2) Trích xuất dữ liệu khách hàng, tài khoản và giao dịch, (3) Chuyển đổi dữ liệu theo quy tắc kinh doanh và chuẩn dữ liệu, (4) Xây dựng Package quản lý các bảng như PARTY_PHONE, T24_CUSTOMER, (5) Lập lịch chạy job ETL hàng ngày hoặc theo chu kỳ.

IV. Kết quả Triển khai và Bài học Thực tiễn

Quá trình triển khai ETL tại MB Bank đã mang lại nhiều thành quả khả quan. Hệ thống ODS được xây dựng thành công với khả năng xử lý hàng triệu dòng dữ liệu từ T24 mỗi ngày. Quy trình ETL đã giảm lỗi dữ liệu từ 16% xuống còn 2%, cải thiện đáng kể chất lượng thông tin. Báo cáo bảng được tạo thông qua Oracle BI Publisher giúp các bộ phận kinh doanh có được thông tin kịp thời để hỗ trợ quyết định. Một trong những bài học quan trọng là tầm quan trọng của xử lý lỗi trong quy trình ETL, với mô hình xử lý lỗi toàn diện giúp phát hiện và khắc phục sự cố nhanh chóng. Tích hợp dữ liệu thành công của MB Bank chứng minh rằng ETL T24-ODS là giải pháp hiệu quả cho các ngân hàng hiện đại.

4.1. Kết quả Định lượng

Triển khai thành công quy trình ETL đã nâng cao hiệu suất xử lý dữ liệu 40%, giảm thời gian tạo báo cáo từ 4 giờ xuống 30 phút. Tính sẵn sàng của hệ thống ODS đạt 99.9%, đáp ứng yêu cầu kinh doanh của một ngân hàng lớn. Dữ liệu trong ODS được cập nhật liên tục, đảm bảo tính chính xác cho các quyết định kinh doanh.

4.2. Bài học và Khuyến nghị Tương lai

Bài học quan trọng từ dự án bao gồm tầm quan trọng của lập kế hoạch kỹ lưỡng, kiểm thử toàn diện, và xử lý lỗi mạnh mẽ. Khuyến nghị tương lai bao gồm mở rộng tích hợp dữ liệu từ các hệ thống khác, nâng cao khả năng xử lý real-time, và phát triển các công cụ giám sát tiên tiến hơn.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỚI THIỆU VỀ BÀI TOÁN 1. Giới thiệu về ngân hàng MB Bank Ngân hàng TMCP Quân Đội (tên tiếng Anh: Military Commercial Joint Stock Bank), tên giao dịch là MB Bank trực thuộc sự quản lý của Bộ Quốc Phòng được ra đời vào ngày 4/11/1994 với số vốn ban đầu 20 tỷ đồng và số lượng nhân sự là 25 người. (Nguyễn Bá Thành, 2022) Trải qua 30 năm xây dựng và phát triển, MB Bank hiện đang có hơn 100 chi nhánh khắp 48 tỉnh thành của cả nước và hơn 190 phòng giao dịch, số nhân viên chiếm 10% tổng nhân sự của cả ngành ngân hàng. Bên cạnh đó, MB còn chú trọng vào việc mở rộn mạng lưới toàn cầu với hai văn phòng đại diện tại Nga và Lào.

Theo thống kê từ trang cổ phiếu VietStock, tính đến hết năm 2018, tổng tài sản của MB Bank đạt hơn 360 nghìn tỷ đồng, lợi nhuận tính riêng năm 2021 đã đạt trên 16 nghìn năm trăm tỷ đồng. Bên cạnh đó, ngân hàng còn có một hệ thống các công ty thành viên : công ty cổ phần chứng khoán MB , công ty cổ phần bảo hiểm quân đội MIC, công ty cổ phần quản lý quỹ đầu tư MB, công ty cổ phần bảo hiểm nhân thọ MB Ageas, công ty cổ phần quản lý nợ và khai thác tài sản MB AMC. Hiện nay, MB Bank chủ yếu cung cấp đến khách hàng các dịch vụ như : sản phẩm tiền gửi tiết kiệm, sản phẩm dịch vụ ngân hàng điện tử, sản phẩm cho vay thế chấp, dịch vụ thẻ, bảo hiểm nhân thọ … Các dịch vụ của MB luôn được khách hàng đánh giá rất cao và đặc biệt, MB Bank là một trong những ngân hàng tiên phong tại Việt Nam trong công cuộc chuyển đổi số với một số kết quả như : xây dựng văn phòng làm việc không giấy tờ, chuyển đổi các users khách hàng lên app MB Bank, áp dụng các công nghệ hiện đại trong việc xử lý các giao dịch của khách hàng … đã tạo được những ấn tượng tốt với khách hàng về một ngân hàng số trẻ trung, năng động. App ngân hàng số của MB cũng vinh dự là app ngân hàng duy nhất tại Việt Nam nhận được giải thưởng “ Sao Khuê “ năm 2019.

Bằng trí tuệ, sự sáng tạo và liên tục đổi mới của mình, các thế hệ cán bộ nhân viên MB Bank vẫn đang ngày ngày nỗ lực xây dựng MB Bank trở thành một ngân hàng thuận tiện nhất cho khách hàng với tầm nhìn trở thành ngân hàng số hàng đầu tại Việt Nam. NGUYỄN HỒNG PHONG – K21HTTTB 2 Thông tin tổng quan về MB Bank : - Tên đăng ký tiếng Việt : Ngân hàng thương mại cổ phần Quân Đội - Tên đăng ký tiếng Anh : Military Commercial Joint Stock Bank - Tên giao dịch : MB Bank - Loại hình : Ngân hàng thương mại cổ phần - Địa chỉ hội sở chính : Số 21 Cát Linh, quận Đống Đa, thành phố Hà Nội. - Hotline : [phone] - Website : www. Giá trị cốt lõi và sứ mệnh của MB Bank - Giá trị cốt lõi:  Đoàn kết : Cán bộ nhân viên của MB luôn đoàn kết , gắn bó vượt qua khó khăn, đồng lòng đồng sức biến khó khăn thách thức thành cơ hội phát triển.

 Kỷ luật : Là một ngân hàng quân đội, kỷ luật luôn được MB nêu lên hàng đầu bởi kỷ luật tạo nên sức mạnh, hạn chế tối đa rủi ro trong công việc và nâng cao đạo đức nghề nghiệp.  Tận tâm : Tận tâm với khách hàng và công việc chính là sự cốt lõi của thành công , chính vì vậy mỗi cán bộ nhân viên của MB dù trong công việc nào cũng phải đem chữ Tâm đặt lên hàng đầu.  Tin cậy : Niềm tin của khách hàng, nhà đầu tư, cổ đông chính là một phần tạo nên MB ngày hôm nay, vì vậy MB luôn hiểu rõ được giá trị của lòng tin và luôn cam kết các giá trị bền vững đem đến cho khách hàng.  Thực thi : Thực thi luôn là một trong những giá trị mà mọi MBers luôn theo đuổi.

Thực hiện các công việc nhanh chóng , hiệu quả, chính xác , đáp ứng yêu cầu của khách hàng nhanh nhất.  Hiệu quả : Đem đến các dịch vụ , tiện ích mang lại lợi ích cao cho khách hàng , sử dụng hiệu quả các nguồn lực mà MB có để mang đến thành công. - Sứ mệnh : NGUYỄN HỒNG PHONG – K21HTTTB 3  Mang đến một môi trường làm việc trẻ trung , năng động , sáng tạo cho các MBers.  Vì sự phát triển của kinh tế xã hội , góp phần vào công cuộc hội nhập toàn cầu của đất nước.

 Vì lợi ích và sự hài lòng của khách hàng. Lịch sử hình thành và phát triển Lịch sử hình thành và phát triển của MB Bank chia làm 4 giai đoạn : + Giai đoạn 1994- 2004: Mười năm đầu (1994-2004) hoạt động của ngân hàng là mười năm khó khăn nhưng đóng một vai trò cực kì quan trọng, ngân hàng đã được định hướng chiến lược, mục tiêu hoạt động và cách thức hoạt động cũng như ghi những dấu ấn đầu tiên với khách hàng trong suốt thời gian này.Với tầm nhìn và mục tiêu dài hạn cùng với sự kiên định của cán bộ nhân viên, MB đã áp dụng linh hoạt các giải pháp để thích ứng với thời đại, đặc biệt là trong cuộc khủng hoảng kinh tế năm 1997. Từ đó bước đầu MB đã tích lũy những kinh nghiệm và xây dựng được vị trí quan trọng góp phần xây dựng những nhiệm vụ kinh tế và phát triển đất nước. + Giai đoạn 2005- 2009: Tuy chỉ dài 5 năm nhưng giai đoạn này cũng rất quan trọng trong quá trình phát triển của MB, đặt nền tảng quan trọng cho MB phát triển dài hạn.

Trong thời kì khủng hoảng kinh tế toàn cầu năm 2008, MB đã áp dụng linh hoạt các giải pháp như áp dụng công nghệ thông tin, tăng cường lượng nhân sự, mở rộng quy mô mạng lưới với mục tiêu đảm bảo hoạt động của thị trường tài chính Việt Nam. Bên cạnh đó, ngân hàng còn thực hiện tổ chức lại cách thức kinh doanh theo khách hàng cá nhân, doanh nghiệp vừa và nhỏ … đồng thời tách bạch chức năng của Hội sở và Chi nhánh, hướng trọng để vươn lên phát triển mạnh mẽ trong những năm tiếp theo. Trong đến một ngân hàng vì khách hàng. Chính nhờ những đóng góp của mình đối với nền kinh tế đất nước, MB Bank đã vinh dự nhận huân chương lao động hạng Ba năm 2009.

NGUYỄN HỒNG PHONG – K21HTTTB 4 + Giai đoạn 2010-2016: Giai đoạn này MB đặt ra mục tiêu đưa ngân hàng vào TOP 3 ngân hàng TMCP không do nhà nước nắm cổ phần chi phối. Đặt trong hoàn cảnh ngành ngân hàng tái cấu trúc mạnh mẽ, nhiều ngân hàng lợi nhuận giảm liên tục thậm chí phải sáp nhập, MB vẫn giữ được vị thế của mình và phát triển rất mạnh mẽ. Bám sát theo giá trị cốt lõi và sứ mệnh của mình, cán bộ công nhân viên ngân hàng đã đưa MB đạt được nhiều mục tiêu, mở rộng thị phần và hoàn thành xuất sắc mục tiêu nằm trong TOP 3 ngay chỉ trong năm 2013. + Giai đoạn 2017- đến nay: Với phương châm “Đổi mới, hiện đại, hợp tác, bền vững”, năm 2018 ngân hàng đã hoàn thành vượt mọi chỉ tiêu về kinh doanh đã đặt ra, trong đó lợi nhuận đạt 7.767 tỷ đồng, tăng 68% so với năm 2017, cùng với đó ngân hàng cũng triển khai chiến lược 2017-2021 với mục tiêu chuyển dịch 2,6 triệu khách hàng lên ứng dụng MB Bank, thay đội 100% điểm giao dịch, áp dụng mạnh mẽ hơn nữa công nghệ thông tin vào hoạt động ngân hàng.

MB đang được thực hiện mạnh mẽ ở ngân hàng mẹ và các công ty thành viên, tạo nên tinh thần làm việc sáng tạo, hạnh phúc và hiệu quả hơn. (MBBank, 2019) NGUYỄN HỒNG PHONG – K21HTTTB 5 Hình 1.Sơ đồ cơ cấu tổ chức MB Bank Chức năng của các bộ phận : - Đại hội đồng cổ đông : Bao gồm các cổ đông của ngân hàng, có quyền hạn cao nhất, đưa ra những quyết định ảnh hưởng lớn đến ngân hàng như tăng giảm vốn điều lệ, mua bán tài sản … - Hội đồng quản trị : Có nhiệm vụ quản trị ngân hàng, thay mặt ngân hàng thực hiện nghĩa vụ và quyền của ngân hàng, đảm bảo lợi ích của ngân hàng trừ những quyết định có ảnh hưởng lớn đến ngân hàng. - Ban tổng giám đốc : Được bổ nhiệm bởi hội đồng quản trị, có vai trò tổ chức các hoạt động của ngân hàng, lập kế hoạch kinh doanh dài hạn cho ngân hàng, báo cáo kiểm tra nội bộ, tuyển dụng nhân sự, duy trì hoạt động ngân hàng được hiệu quả. - Ban kiểm soát: Kiểm tra, kiểm soát các báo cáo, hoạt động của ngân hàng nói chung, đảm bảo các báo cáo hoạt động, tài chính của ngân hàng chính xác, minh bạch.

NGUYỄN HỒNG PHONG – K21HTTTB 6 - Ủy ban quản trị rủi ro: Quản lý rủi ro các rủi ro của ngân hàng, đảm bảo các quyết định của ngân hàng nằm trong rủi ro cho phép. - Ủy ban nhân sự và lương thưởng: Chịu các trách nhiệm liên quan đến nhân sự và chế độ lương, thưởng, kỷ luật của ngân hàng. Tổng quan về bài toán 1. Giới thiệu bài toán Trong công cuộc phát triển và hội nhập thế giới, ngành Ngân hàng nói chung và các ngân hàng thương mại nói riêng đóng một vai trò rất quan trọng trong sự phát triển của nền kinh tế đất nước.

Tuy nhiên, trong bối cảnh ngành ngân hàng ngày càng phát triển với sự mọc lên của vô số các ngân hàng, sự cạnh tranh từ các công ty FinTech, tác động to lớn của đại dịch Covid-19, khoa học công nghệ đang trở thành một khía cạnh mà các ngân hàng lớn đang chạy đua quyết liệt để tạo ra môi trường kinh doanh tốt nhất nhằm thu hút khách hàng, đặt ra một bài toán cho các ngân hàng thương mại trong nước không chỉ mở rộng đa dạng các dịch vụ truyền thống mà còn cần thay đổi, ứng dụng khoa học công nghệ một cách linh hoạt vào các sản phẩm dịch vụ. Đối với ngành ngân hàng nói riêng và tài chính nói chung, lượng dữ liệu giao dịch hàng ngày là vô cùng lớn, đặc biệt là giao dịch không qua tiền mặt.