Luận văn: Nghiên cứu & Xây dựng Kho Dữ Liệu Sản Phẩm tại Ngân hàng TMCP Đại Dương

Nghiên cứu & xây dựng kho dữ liệu sản phẩm ngân hàng hiệu quả. Tìm hiểu cấu trúc, quy trình và lợi ích cho hoạt động kinh doanh ngân hàng hiện đại.

• Tác giả: Nguyễn Đức Bình
• Người hướng dẫn: Gs. Vũ Đức Thi, Viện Cntt, Viện Kh&Cn Vn
• Trường học: Trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Và Xây Dựng Kho Dữ Liệu Sản Phẩm Tại Ngân Hàng Tmcp Đại Dương Trên Nền Tảng Hệ Quản Trị Csdl Oracle 10g
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• MỤC LỤC
• PHẦN MỞ ĐẦU
• 1. CHƯƠNG 1: LÝ THUYẾT KHO DỮ LIỆU
• 1.1. Tổng quan về kho dữ liệu
• 1.2. Lịch sử phát triển của kho dữ liệu:
• 1.3. Đặc trưng kho dữ liệu
• 1.3.1. Tính bền vững
• 1.3.2. Biến thời gian
• 1.3.3. Tính tích hợp
• 1.4. Sự khác nhau giữa hệ thống OLTP và kho dữ liệu
• 1.5. Kiến trúc kho dữ liệu
• 1.5.1. Kiến trúc kho dữ liệu cơ bản
• 1.5.2. Kiến trúc kho dữ liệu với vùng đệm
• 1.5.3. Kiến trúc kho dữ liệu với vùng đệm và kho dữ liệu cục bộ
• 1.6. Thiết kế kho dữ liệu
• 1.6.1. Thiết kế logic và thiết kế vật lý trong kho dữ liệu
• 1.6.2. Thiết kế logic
• 1.6.2.1. Lược kho dữ liệu
• 1.6.2.2. Lược đồ bông tuyết
• 1.6.2.3. So sánh lược đồ sao và bông tuyết
• 1.6.3. Thiêt kế vật lý
• 1.6.3.1. Chuyển thiết kế logic thành thiết kế vật lý
• 1.6.3.2. Tạo thiết kế vật lý
• 1.7. Đối tượng trong kho dữ liệu
• 1.7.1. Sự kiện và bảng sự kiện
• 1.7.2. Chiều và bảng chiều
• 1.7.3. Khối dữ liệu
• 1.8. Chiến lược xây dựng kho dữ liệu:
• 1.8.1. Chiến lược từ trên xuống
• 1.8.2. Chiến lược từ dưới lên
• 1.8.3. So sánh 02 phương pháp thiết kế
• 1.9. Chiết xuất dữ liệu
• 1.10. Chuyển đổi dữ liệu
• 1.11. Nạp dữ liệu
• 1.12. Kho dữ liệu cục bộ
• 2. CHƯƠNG 2: XÂY DƯNG KHO DỮ LIỆU SẢN PHẨM
• 2.1. Ngân hàng TMCP Đại Dương
• 2.2. Hệ thống CORE BANKING
• 2.3. Thực trạng hệ thống
• 2.4. Xây dựng kho dữ liệu
• 2.4.1. Đặc tả các thông tin cơ bản của dự án:
• 2.4.2. Phân tích nghiệp vụ
• 2.4.3. Xây dựng kho dữ liệu trung tâm
• 2.4.4. Xây dựng kho dữ liệu cục bộ
• 3. CHƯƠNG 3: CÀI ĐẶT, THỬ NGHIỆM
• 3.1. Giới thiệu về công cụ Oracle Warehouse Builder
• 3.2. Môi trường cài đặt và các thành phần:
• 3.2.1. Cài đặt với Oracle Warehouse Builder
• 3.2.2. Xây dựng bảng chiều
• 3.2.3. Xây dựng cube
• 3.2.4. Thiết lập nguồn, chiết xuất và xử lý dữ liệu
• 3.2.5. Nạp dữ liệu vào kho dữ liệu
• 3.2.6. Báo cáo dựa trên kho dữ liệu
• KẾT LUẬN VÀ ĐỊNH HƯỚNG
• TÀI LIỆU THAM KHẢO
• Danh mục các ký hiệu, chữ viết tắt
• DANH MỤC HÌNH VẼ ĐỒ THỊ

Tóm tắt

I. Tổng Quan Về Kho Dữ Liệu Sản Phẩm Ngân Hàng Nghiên Cứu

Kho dữ liệu (Data warehouse) nổi lên như một giải pháp tất yếu cho các ngân hàng hiện đại. Hệ thống giao dịch ngân hàng, với lượng giao dịch khổng lồ mỗi ngày trên nhiều nền tảng như core banking, Internet Banking, và mobile banking, tạo ra một lượng dữ liệu khổng lồ, rải rác và thường không nhất quán. Điều này gây khó khăn trong việc xử lý, khai thác thông tin hữu ích, phục vụ cho các quyết định quản trị. Ví dụ, các công ty như eBay và Amazon có thể dự đoán nhu cầu của khách hàng nhờ nghiên cứu thói quen mua sắm. Các công ty viễn thông có thể dự đoán khả năng khách hàng rời mạng. Tương tự, Wal-Mart có thể dự đoán sản phẩm nào bán chạy nhất. Trong lĩnh vực tài chính, hàng không, viễn thông, việc tổ chức dữ liệu lớn để phân tích, dự báo là vô cùng cần thiết. Cuộc khủng hoảng kinh tế năm 2010 đã khiến các tổ chức tài chính nhận ra tầm quan trọng của dự báo để quản lý rủi ro và nâng cao chất lượng dịch vụ. Hệ thống nghiệp vụ thường xuyên bị quá tải do tài nguyên dành cho báo cáo và nghiên cứu nhu cầu khách hàng không đủ. Vì vậy, việc xây dựng kho dữ liệu là cần thiết, nó sẽ là nền tảng cho việc triển khai hệ thống báo cáo phân tích tách biệt với hệ thống giao dịch nghiệp vụ.

1.1. Lịch sử phát triển của Kho Dữ Liệu Ngân Hàng

Kho dữ liệu bắt đầu phát triển vào cuối những năm 1980, đáp ứng nhu cầu phân tích dữ liệu và quản lý thông tin ngày càng tăng, vốn không thể thực hiện hiệu quả trên các hệ thống OLTP (Online Transaction Processing). Hệ thống OLTP được tối ưu hóa cho các giao dịch nghiệp vụ, tuy nhiên, số lượng dữ liệu giao dịch tăng nhanh chóng giữa các phòng ban, gây khó khăn cho việc tích hợp. Kho dữ liệu chứa dữ liệu từ nhiều nguồn khác nhau như dữ liệu quan hệ, tập tin phẳng, bảng tính, và dữ liệu bên ngoài tổ chức, được tổ chức tối ưu cho mục đích báo cáo. Kho dữ liệu cung cấp nền tảng để triển khai các công cụ báo cáo thân thiện với người dùng. Theo Bill Inmon, người được xem là cha đẻ của kho dữ liệu, kho dữ liệu là một tập hợp dữ liệu tương đối ổn định (nonvolatile), liên kết với thời gian (time-variant), được tích hợp (integrated) theo một chủ đề (subject-oriented) nhằm hỗ trợ quá trình tạo quyết định về mặt quản lý (Support management’s decision making process).

1.2. So sánh hệ thống OLTP và Data Warehouse Ngân Hàng

Điểm khác biệt chính giữa OLTP và kho dữ liệu là kho dữ liệu thường không được tổ chức theo dạng chuẩn 3NF, trong khi đây là chuẩn cho hầu hết các hệ thống OLTP. Kho dữ liệu và OLTP có những yêu cầu rất khác nhau. Kho dữ liệu được thiết kế cho truy vấn đặc biệt và phân tích dữ liệu. Khối lượng dữ liệu cần xử lý có thể nhỏ hoặc lớn, vì vậy kho dữ liệu phải được tối ưu hóa để thực hiện tốt cho nhiều loại truy vấn. Ngược lại, hệ thống OLTP được thiết kế để hỗ trợ các giao dịch đã được định nghĩa trước. Data warehouse được cập nhật thường xuyên bởi quá trình ETL (Extraction, Transformation, Loading) sử dụng kỹ thuật biến đổi dữ liệu với số lượng lớn. Người dùng cuối không trực tiếp cập nhật kho dữ liệu. Ngược lại, trong hệ thống OLTP, người dùng thường xuyên tạo và cập nhật dữ liệu. Kho dữ liệu sử dụng mô hình chiều (ví dụ: mô hình sao) để tối ưu hóa truy vấn và phân tích. OLTP sử dụng mô hình thiết kế theo chuẩn (ví dụ: 3NF) để tối ưu hóa các hoạt động cập nhật và đảm bảo tính nhất quán.

1.3. Các đặc trưng quan trọng của Dữ Liệu Sản Phẩm Ngân Hàng

Kho dữ liệu có các đặc trưng quan trọng sau: (1) Tính bền vững: Dữ liệu sau khi đã đưa vào kho thì không nên thay đổi. (2) Biến thời gian: Kho dữ liệu cần phạm vi thời gian dài hơn so với các hệ thống tác nghiệp. Dữ liệu cung cấp thông tin lịch sử (ví dụ, 5-10 năm trước). (3) Hướng chủ đề: Dữ liệu được tổ chức theo các đối tượng chính hoặc các quá trình kinh doanh, ví dụ: khách hàng, sản phẩm, nhà cung cấp, giao dịch bán hàng. (4) Tính tích hợp: Dữ liệu từ nhiều nguồn khác nhau cần được tích hợp. Ví dụ, các nguồn dữ liệu khác nhau có thể có những cách khác nhau để xác định một sản phẩm. Tuy nhiên, trong kho dữ liệu chỉ có một định nghĩa duy nhất cho sản phẩm.

II. Thách Thức Trong Quản Lý Dữ Liệu Sản Phẩm Ngân Hàng Hiện Nay

Trong bối cảnh ngân hàng số phát triển mạnh mẽ, quản lý dữ liệu sản phẩm trở nên vô cùng phức tạp. Dữ liệu sản phẩm ngân hàng thường nằm rải rác trên nhiều hệ thống khác nhau, từ hệ thống core banking truyền thống đến các ứng dụng mobile banking, internet banking, CRM và các hệ thống quản lý kênh phân phối khác. Sự phân tán này gây khó khăn trong việc tổng hợp, phân tích và đưa ra các quyết định kinh doanh dựa trên dữ liệu. Hơn nữa, dữ liệu sản phẩm ngân hàng thường xuyên thay đổi, với các sản phẩm mới được ra mắt, các sản phẩm cũ được điều chỉnh, và các thông tin sản phẩm được cập nhật liên tục. Việc theo dõi và quản lý các thay đổi này đòi hỏi một hệ thống quản lý dữ liệu mạnh mẽ và linh hoạt. Một thách thức khác là đảm bảo chất lượng dữ liệu. Dữ liệu sản phẩm ngân hàng thường chứa nhiều lỗi, thiếu sót và thông tin không chính xác. Việc làm sạch và chuẩn hóa dữ liệu là một quá trình tốn nhiều thời gian và công sức. Cuối cùng, việc bảo mật dữ liệu là một vấn đề quan trọng. Dữ liệu sản phẩm ngân hàng thường chứa các thông tin nhạy cảm về khách hàng và các sản phẩm tài chính. Việc bảo vệ dữ liệu này khỏi các truy cập trái phép là một ưu tiên hàng đầu.

2.1. Tính không nhất quán của Dữ Liệu Sản Phẩm Tài Chính

Dữ liệu về sản phẩm tài chính thường không nhất quán giữa các hệ thống và phòng ban khác nhau trong ngân hàng. Ví dụ, tên sản phẩm, mô tả, các điều khoản và điều kiện có thể khác nhau. Điều này gây khó khăn cho việc phân tích và so sánh dữ liệu, cũng như tạo ra trải nghiệm không đồng nhất cho khách hàng. Để giải quyết vấn đề này, cần có một quy trình chuẩn hóa dữ liệu, đảm bảo rằng dữ liệu sản phẩm được thống nhất trên tất cả các hệ thống và kênh phân phối.

2.2. Khó khăn trong việc tích hợp Dữ Liệu Sản Phẩm Ngân Hàng

Việc tích hợp dữ liệu sản phẩm ngân hàng từ các hệ thống khác nhau là một thách thức lớn. Các hệ thống này thường sử dụng các định dạng dữ liệu, giao thức và kiến trúc khác nhau. Việc xây dựng các kết nối và chuyển đổi dữ liệu đòi hỏi kiến thức chuyên môn và công cụ phù hợp. Hơn nữa, quá trình tích hợp có thể gây ảnh hưởng đến hiệu suất của các hệ thống nguồn. Do đó, cần có một kế hoạch tích hợp cẩn thận và sử dụng các kỹ thuật tích hợp dữ liệu hiệu quả.

2.3. Vấn đề về chất lượng Dữ Liệu Sản Phẩm Tài Chính

Chất lượng dữ liệu là một yếu tố quan trọng trong quản lý dữ liệu sản phẩm ngân hàng. Dữ liệu không chính xác, không đầy đủ hoặc không nhất quán có thể dẫn đến các quyết định kinh doanh sai lầm, gây tổn thất tài chính và làm giảm sự hài lòng của khách hàng. Để đảm bảo chất lượng dữ liệu, cần có các quy trình kiểm soát chất lượng dữ liệu, bao gồm xác thực dữ liệu, làm sạch dữ liệu, và giám sát chất lượng dữ liệu.

III. Giải Pháp Xây Dựng Kiến Trúc Kho Dữ Liệu Ngân Hàng Toàn Diện

Để giải quyết những thách thức trên, việc xây dựng một kiến trúc kho dữ liệu ngân hàng toàn diện là vô cùng quan trọng. Kiến trúc này phải đảm bảo khả năng thu thập, tích hợp, làm sạch, chuẩn hóa và phân tích dữ liệu sản phẩm từ nhiều nguồn khác nhau. Nó cũng cần phải cung cấp các công cụ và quy trình để quản lý chất lượng dữ liệu, bảo mật dữ liệu và theo dõi các thay đổi dữ liệu. Một kiến trúc kho dữ liệu tốt sẽ giúp ngân hàng có được cái nhìn tổng quan về các sản phẩm của mình, hiểu rõ hơn về nhu cầu của khách hàng, và đưa ra các quyết định kinh doanh sáng suốt hơn. Theo tài liệu “Mastering Data Warehouse Design” Wiley Publishing phát hành thì để đảm tính hiệu quả kho dữ liệu nên được thiết lập qua 08 bước sau:  Lựa chọn dữ liệu phù hợp : yêu cầu, phạm vi, nguồn dữ liệu…  Thêm thông tin thời gian vào dữ liệu: do OTLP là hệ thống phản ánh dữ liệu hiện trạng còn kho dữ liệu là dữ liệu phản ánh quá trình thời gian.  Thêm thông tin tính toán dữ liệu: các thông tin hỗ trợ việc xử lý thông tin như ngày làm việc hoặc ngày nghỉ, ngày thuộc tuần nào? Tháng nào. mục đích phục vụ việc cải thiện hiệu suất.  Quyết định mục độ chi tiết của dữ liệu sẽ đẩy vào kho dữ liệu.  Thực hiện việc tính toán các dữ liệu tổng hợp và lưu trữ sẵn sàng để phục vụ truy vấn dữ liệu.  Gộp các thực thể có chung mục đích để tối ưu hệ thống.  Tạo mảng dữ liệu theo nhu cầu kinh doanh về phân tích dữ liệu.  Phân chia dữ liệu.

3.1. Lựa chọn mô hình Kho Dữ Liệu phù hợp Star Snowflake

Việc lựa chọn mô hình kho dữ liệu phù hợp (ví dụ: mô hình sao, mô hình bông tuyết) là một quyết định quan trọng. Mô hình sao đơn giản và dễ hiểu, nhưng có thể không phù hợp với các yêu cầu phân tích phức tạp. Mô hình bông tuyết phức tạp hơn, nhưng có thể cung cấp khả năng phân tích chi tiết hơn. Sự lựa chọn phụ thuộc vào yêu cầu cụ thể của ngân hàng và các loại báo cáo và phân tích mà nó muốn thực hiện. Tùy theo thực tế mà ta lựa chọn lược đồ hình sao hay tuyết rơi. Việc lựa chọn được cân nhắc giữa 2 yếu tố: thời gian đáp ứng truy vấn và mức độ kiểm soát tính chặt chẽ dữ liệu.

3.2. Ứng dụng ETL để trích xuất và chuyển đổi Dữ Liệu Ngân Hàng

ETL (Extraction, Transformation, Loading) là một quá trình quan trọng để trích xuất dữ liệu từ các hệ thống nguồn, chuyển đổi nó thành một định dạng phù hợp, và tải nó vào kho dữ liệu. Việc lựa chọn công cụ ETL phù hợp và thiết kế quy trình ETL hiệu quả là rất quan trọng để đảm bảo rằng dữ liệu được nạp vào kho dữ liệu một cách chính xác và nhanh chóng. Các phương pháp và nhiệm vụ của ETL đã được biết đến trong nhiều năm, và không nhất thiết phải duy nhất cho các môi trường kho dữ liệu: một loạt các ứng dụng độc quyền và hệ thống cơ sở dữ liệu là xương sống của bất kỳ doanh nghiệp CNTT.

3.3. Xây dựng Mô Hình Dữ Liệu Sản Phẩm Ngân Hàng đa chiều

Việc xây dựng một mô hình dữ liệu đa chiều là rất quan trọng để hỗ trợ các yêu cầu phân tích phức tạp. Mô hình này cho phép người dùng phân tích dữ liệu sản phẩm theo nhiều chiều khác nhau, ví dụ: theo loại sản phẩm, kênh phân phối, khu vực địa lý, thời gian. Mô hình dữ liệu đa chiều cũng cần phải linh hoạt để đáp ứng các yêu cầu phân tích thay đổi. Một khối dữ liệu về cơ bản là có thể có N chiều (N-D). Những cạnh của khối được gọi là các chiều (dimensions), mà đó là các mặt hoặc các thực thể ứng với những khía cạnh mà tổ chức muốn ghi nhận.

IV. Ứng Dụng Phân Tích Dữ Liệu Sản Phẩm Ngân Hàng Trong Thực Tế

Khi kho dữ liệu được xây dựng, phân tích dữ liệu sản phẩm có thể được sử dụng để cải thiện hiệu suất kinh doanh. Phân tích này có thể giúp ngân hàng hiểu rõ hơn về hiệu quả của các sản phẩm khác nhau, xác định các cơ hội để tăng doanh thu và lợi nhuận, và cải thiện sự hài lòng của khách hàng. Phân tích cũng có thể giúp ngân hàng phát hiện các rủi ro tiềm ẩn và ngăn chặn gian lận. Điều này giúp cho khách hàng tiết kiệm thời gian, doanh nghiệp bán được nhiều hàng hơn. Với hệ thống dữ liệu tổ chức dữ liệu tốt có thể giúp doanh nghiệp xây dựng các mô hình dự báo như một công ty viễn thông có thể dự đoán tốt hơn về việc khách hàng rời mạng. Hay Wal-Mal có thể dự đoán sản phẩm nào sẽ được bán ra.

4.1. Tối ưu hóa danh mục Sản Phẩm Tài Chính dựa trên dữ liệu

Phân tích dữ liệu có thể giúp ngân hàng xác định các sản phẩm hoạt động tốt và các sản phẩm hoạt động kém. Thông tin này có thể được sử dụng để tối ưu hóa danh mục sản phẩm, loại bỏ các sản phẩm không hiệu quả và tập trung vào các sản phẩm có tiềm năng tăng trưởng cao. Các thông tin giúp rút ra các dự báo cho tương lai để hỗ trợ Ban Lãnh đạo ra quyết định.

4.2. Cải thiện chiến lược Marketing Sản Phẩm Ngân Hàng thông minh

Phân tích dữ liệu có thể giúp ngân hàng hiểu rõ hơn về nhu cầu và sở thích của khách hàng. Thông tin này có thể được sử dụng để cá nhân hóa các chiến dịch marketing, cung cấp các sản phẩm và dịch vụ phù hợp với từng khách hàng, và tăng tỷ lệ chuyển đổi.

4.3. Phát hiện và ngăn chặn Gian Lận Tài Chính hiệu quả

Phân tích dữ liệu có thể giúp ngân hàng phát hiện các hành vi gian lận, chẳng hạn như rửa tiền và tài trợ khủng bố. Các thuật toán phân tích dữ liệu có thể được sử dụng để xác định các giao dịch đáng ngờ, và cảnh báo cho các nhà điều tra gian lận.

V. Nghiên Cứu Xây Dựng Kho Dữ Liệu Sản Phẩm OceanBank Case Study

Nghiên cứu và xây dựng kho dữ liệu sản phẩm tại Ngân hàng TMCP Đại Dương (OceanBank) là một ví dụ điển hình về việc áp dụng các nguyên tắc và phương pháp quản lý dữ liệu vào thực tế. Qua tìm hiểu về hiện trạng hệ thống phần mềm nghiệp vụ và nhu cầu sử dụng báo cáo phân tích để hỗ trợ việc ra quyết định kinh doanh tại Ngân hàng TMCP Ocean bank. Hệ thống giao dịch nghiệp vụ vào thời điểm đầu và cuối tháng bị quá tải làm ảnh hưởng đến chất lượng phục vụ khách hàng của đơn vị, hệ thống báo cáo chạy trên core banking có định dạng excel, pdf và thời gian lấy dữ liệu dưới 03 tháng là không phù hợp với nhu cầu về phân tích báo cáo.

5.1. Mục tiêu và phạm vi dự án xây dựng Dữ Liệu Sản Phẩm

Mục tiêu của dự án là tạo ra một kho dữ liệu sản phẩm trung tâm, cung cấp thông tin chính xác, nhất quán và kịp thời cho các nhà quản lý và chuyên gia phân tích của OceanBank. Phạm vi của dự án bao gồm việc thu thập dữ liệu từ các hệ thống nguồn khác nhau, làm sạch và chuẩn hóa dữ liệu, xây dựng mô hình dữ liệu đa chiều, và phát triển các báo cáo và phân tích dựa trên dữ liệu.

5.2. Áp dụng mô hình Kiến Trúc Kho Dữ Liệu Ngân Hàng thực tế

Để đạt được các mục tiêu của dự án, OceanBank đã áp dụng một mô hình kiến trúc kho dữ liệu ba lớp, bao gồm lớp trích xuất dữ liệu (ETL), lớp kho dữ liệu trung tâm, và lớp kho dữ liệu cục bộ. Lớp ETL chịu trách nhiệm thu thập dữ liệu từ các hệ thống nguồn, làm sạch và chuẩn hóa dữ liệu, và tải nó vào lớp kho dữ liệu trung tâm. Lớp kho dữ liệu trung tâm lưu trữ dữ liệu trong một mô hình dữ liệu đa chiều. Lớp kho dữ liệu cục bộ cung cấp dữ liệu cho các nhóm người dùng khác nhau trong ngân hàng.

5.3. Kết quả và bài học kinh nghiệm xây dựng Kho Dữ Liệu

Dự án xây dựng kho dữ liệu sản phẩm tại OceanBank đã đạt được nhiều thành công. Ngân hàng đã có được một nguồn thông tin đáng tin cậy về các sản phẩm của mình, và có thể sử dụng thông tin này để cải thiện hiệu suất kinh doanh. Dự án cũng mang lại nhiều bài học kinh nghiệm quý báu, bao gồm tầm quan trọng của việc xác định rõ mục tiêu và phạm vi của dự án, sự cần thiết của việc có một đội ngũ dự án có kinh nghiệm, và tầm quan trọng của việc quản lý chất lượng dữ liệu.

VI. Tương Lai Của Kho Dữ Liệu Sản Phẩm Ngân Hàng Phát Triển

Tương lai của kho dữ liệu sản phẩm ngân hàng hứa hẹn nhiều thay đổi và tiến bộ. Với sự phát triển của công nghệ, các ngân hàng sẽ có thể thu thập và phân tích dữ liệu từ nhiều nguồn hơn, bao gồm các kênh truyền thông xã hội, thiết bị di động và IoT. Các ngân hàng cũng sẽ có thể sử dụng các kỹ thuật phân tích tiên tiến hơn, chẳng hạn như học máy và trí tuệ nhân tạo, để có được những hiểu biết sâu sắc hơn về khách hàng và sản phẩm của mình. Các ngân hàng cần có một hệ thống quản lý dữ liệu mạnh mẽ và linh hoạt để đáp ứng các yêu cầu phân tích ngày càng tăng. Các kho dữ liệu mới hơn cũng có xu hướng sử dụng kiến trúc dựa trên đám mây và các công cụ mã nguồn mở.

6.1. Ứng dụng Big Data và AI trong phân tích sản phẩm

Big Data và trí tuệ nhân tạo (AI) sẽ đóng một vai trò ngày càng quan trọng trong việc phân tích dữ liệu sản phẩm ngân hàng. Các ngân hàng có thể sử dụng các kỹ thuật này để xử lý lượng lớn dữ liệu, xác định các xu hướng tiềm ẩn, và dự đoán hành vi của khách hàng.

6.2. Tích hợp Kho Dữ Liệu Sản Phẩm với Ngân Hàng Số

Việc tích hợp kho dữ liệu sản phẩm với các kênh ngân hàng số sẽ cho phép ngân hàng cung cấp các dịch vụ cá nhân hóa hơn cho khách hàng. Ví dụ, ngân hàng có thể sử dụng dữ liệu sản phẩm để đề xuất các sản phẩm phù hợp với nhu cầu của từng khách hàng, và cung cấp các ưu đãi đặc biệt cho các khách hàng trung thành.

6.3. Tự động hóa và Chuẩn hóa quy trình quản lý dữ liệu

Việc tự động hóa và chuẩn hóa quy trình quản lý dữ liệu sẽ giúp ngân hàng tiết kiệm thời gian và chi phí, đồng thời cải thiện chất lượng dữ liệu. Các công cụ tự động hóa có thể được sử dụng để trích xuất, làm sạch, chuẩn hóa và tải dữ liệu vào kho dữ liệu. Các quy trình chuẩn hóa có thể được sử dụng để đảm bảo rằng dữ liệu được thống nhất trên tất cả các hệ thống và kênh phân phối.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: LÝ THUYẾT KHO DỮ LIỆU 1. Tổng quan về kho dữ liệu. Lịch sử phát triển của kho dữ liệu: Kho dữ liệu đã được phát triển vào cuối những năm 1980 để đáp ứng nhu cầu ngày càng tăng về phân tích dữ liệu và quản lý thông tin nhưng không thể đạt được bởi hệ thống OLTP. Do hệ thống OLTP được thiết kế để tối ưu hóa cho giao dịch nghiệp vụ, số lượng dữ liệu giao dịch đã được phát triển một cách nhanh chóng giữa các phòng ban trong một tổ chức nên việc thực hiện tích hợp dữ liệu khó khăn hơn.

Điều này tạo ra khó khăn cho việc báo cáo (tích hợp & phân tích dữ liệu). Kết quả là, một hệ thống riêng được gọi là kho dữ liệuđược thiết kế để giải quyết vấn đề này. Kho dữ liệu chứa các dữ liệu được tập hợp từ nhiều nguồn khác nhau như dữ liệu quan hệ, các tập tin phẳng, bảng tính, dữ liệu từ các nguồn bên ngoài tổ chức…. Và được tổ chức trong một cách tối ưu hóa cho mục đích báo cáo.

Với nền tảng kho dữ liệu được tổ chức tốt sẽ là cơ sở để triển khai các công cụ báo cáo thân thiện với người sử dụng. 1: Sơ đồ luồng dữ liệu 4 TIEU LUAN MOI download : skknchat@gmail. Có nhiều định nghĩa kho dữ liệu những chúng đều có một số điểm chung giống nhau. Theo Bill Inmon - người được biết đến như là cha đẻ của kho dữ liệu, kho dữ liệu được quy định như sau: "Data warehoue là một tập hợp dữ liệu tương đối ổn định (nonvolatile) , liên kết với thời gian (time-variant), được tích hợp (integrated) theo một chủ đề (subject-oriented) nhằm hỗ trợ quá trình tạo quyết định về mặt quản lý (Support management’s decision making process)" 1.

Đặc trưng kho dữ liệu. Tính bền vững. Khi thông tin đã đưa vào kho dữ liệu, dữ liệu không nên thay đổi. Điều này là hợp lý vì mục đích của một kho dữ liệu là để cho phép ta phân tích những gì đã xảy ra.

Dữ liệu đưa vào kho dữ liệu chỉ để đọc, việc sửa dữ liệu hầu như không được tiến hành vì điều này có thể dẫn đến phá vỡ sự toàn vẹn. Thông thường người ta không yêu cầu giảm thời gian đưa dữ liệu vào kho dữ liệu xuống mức tối thiểu, nhưng cần tối ưu hoá kho dữ liệu sao cho các truy vấn phục vụ cho việc phân tích đạt tốc độ tốt nhất. Các sơ đồ quan hệ sẽ tạo ra các Index hợp lý cũng như tạo ra sẵn các dữ liệu kết hợp. 2: Tính bền vững của DWH.

Biến thời gian. Yêu cầu quan trọng cho kho dữ liệu là phạm vi về thời gian dài hơn so với các hệ thống tác nghiệp. Cơ sở dữ liệu tác nghiệp: dữ liệu có giá trị hiện thời. Còn dữ liệu của kho dữ liệu: cung cấp thông tin lịch sử (ví dụ như, 5-10 năm trước).

Và yếu tố thời gian được lưu trữ trong CSDL. 5 TIEU LUAN MOI download : skknchat@gmail. 3: Đặc trưng biến thời gian. Dữ liệu được tổ chức theo các đối tượng chính hoặc các quá trình kinh doanh.

Ví dụ phổ biến của các dữ liệu theo định hướng đối tượng là khách hàng, sản phẩm, nhà cung cấp và giao dịch bán… Tập trung vào việc mô hình hóa và phân tích dữ liệu nhằm hỗ trợ đưa ra quyết định, mà không tập trung vào các hoạt động hay các xử lý giao dịch hàng ngày Hinh 1. 4: Đặc trưng hướng chủ đề. 6 TIEU LUAN MOI download : skknchat@gmail. Tính tích hợp.

Dữ liệu từ nhiều nguồn khác nhau như từ của các phòng ban trong tổ chức, từ các nguồn bên ngoài. Và nguồn dữ liệu khác nhau có thể có những cách khác nhau để xác định một đối tượng cụ thể. Tuy nhiên, trong một kho dữ liệu chỉ có một định nghĩa của sản phẩm. Điều này đạt được bằng cách sử dụng giải quyết xung đột về cách xác định đối tượng trong kho dữ liệu.

Và khi chúng ta đạt được điều này, chúng ta nói rằng dữ liệu được tích hợp. 5: Đặc trưng tính tích hợp. Sự khác nhau giữa hệ thống OLTP và kho dữ liệu Về cơ bản hệ thống OLTP và kho dữ liệu có một điểm khác biệt chính đó là kho dư liệu không được tổ chức theo dạng chuẩn 3NF. Nhưng 3NF lại là chuẩn cho hầu hết các hệ thống OLTP.

7 TIEU LUAN MOI download : [e-mail] Sự khác nhau giữa hệ OLTP và kho dữ liệu OLTP Kho dữ liệu Tổ chức Ở dạng chuẩn 3NF Mô hình chiều Chỉ mục Ít: tối ưu cho giao dịch Nhiều: Tối ưu cho báo cáo Liên kết bàng Ít Nhiều Dư thừa dữ liệu Không Có Dữ liệu tổng hợp Hiếm Phổ biến Hinh 1. 6: So sánh OLTP với DWH. Kho dữ liệu và các hệ thống OLTP có những yêu cầu rất khác nhau. Dưới đây là một số ví dụ về sự khác biệt giữa các kho dữ liệu điển hình và các hệ thống OLTP  Khối lượng công việc: Kho dữ liệu được thiết kế để phù hợp truy vấn đặc biệt và phân tích dữ liệu.

Nên khối lượng dữ liệu cần được xử lý không biết trước được có thể rất nhỏ hoặc rất lớn. Do đó, kho phải được tối ưu hóa để thực hiện tốt cho một loạt các thể truy vấn và các hoạt động phân tích. Hệ thống OLTP thiết kế hỗ trợ các các giao dịch đã được định nghĩa trước.  Việc chỉnh sửa dữ liệu: kho dữ liệu được cập nhật một cách thường xuyên bởi quá trình ETL (chạy đêm hoặc hàng tuần) sử dụng kỹ thuật biến đổi dữ liệu với số lượng lớn.

Người sử dụng cuối không trực tiếp cập nhập kho dữ liệu trừ một số trường hợp đặc biệt như khai phá dữ liệu… Ngược lại, hệ thống OLTP thì người sử dụng thường xuyên tạo, cập nhập dữ liệu vào cơ sở dữ liệu. Cơ sở dữ liệu OLTP là luôn được cập nhật và phản ánh tình trạng hiện tại của mỗi giao dịch kinh doanh.  Mô hình thiết kế: Kho dữ liệu sử dụng mô hình chiều (như mô hình sao) để tối ưu hóa việc truy vấn và phân tích dữ liệu. OLTP sử dụng mô hình thiết kế theo chuẩn (như 3NF) để tối ưu hóa các hoạt động câp nhập/thêm/xóa và để đảm bảo tính nhất quán của dữ liệu.

 Hoạt động thông thường: Dữ liệu hoạt động thông thường kho dữ liệu có thể là hàng nghìn hoặc hàng triệu bản ghi. OLTP truy cập thông thường chỉ liên quan đến một số lượng ít bản ghi.  Dữ liệu lịch sử: Kho dữ liệu có thể dữ liệu với thời gian dài như 5 năm, 10 năm… nhằm mục đích hỗ trợ quá trình phân tích. OLTP chỉ lưu dữ liệu trong thời gian ngắn.

Đó là những dữ liệu cần thiết để 8 TIEU LUAN MOI download : skknchat@gmail. Kiến trúc kho dữ liệu. Kiến trúc kho dữ liệu cơ bản Với kiến trúc cơ bản, người sử dụng cuối cùng nhận được dữ liệu từ các hệ thống nguồn thông qua kho dữ liệu. 7: Kiến trúc kho dữ liệu cơ bản.

Siêu dữ liệu và dữ liệu thô của một hệ thống OLTP truyền thống là sẵn có. Tóm lược rất có giá trị trong kho dữliệu, vì chúng tính toán trước các hoạt động lâu dài như truy vấn kho dữ liệu điển hìnhđể lấy thông tin về lượng hàng được bán trong tháng 1. Kiến trúc kho dữ liệu với vùng đệm. 8: Kiến trúc kho dữ liệu vùng đệm.

Với kiến trúc này, cần làm sạch và xử lý dữ liệu hoạt động trước khi đưa nó vào kho dữ liệu, mặc dù hầu hết kho dữ liệu sử dụng một vùng trung gian thay thế. Một vùng trung gian sẽ làm đon giản hoá việc quản lý kho dữ liệu chung. 9 TIEU LUAN MOI download : skknchat@gmail. Kiến trúc kho dữ liệu với vùng đệm và kho dữ liệu cục bộ.

Mặc dù kiến trúc trong hình 7 là khá phổ biến, tùy theo yêu cầu ta có thể kiếntrúc kho dữ liệu cho các nhóm khác nhau bên trong của tổ chức. Điều này có thế thực hiện bằng cách thêm các kho dữ liệu cục bộ, đó là các hệ thống được thiết kế cho một phạm vi cụ thể của doanh nghiệp. Hình 8 minh hoạ một ví dụ nơi mua, bán hàng, và hàng tồn kho được tách ra. Trong ví dụ này, một nhà phân tích tài chính có thể muốn phân tích dữ liệu lịch sử cho mua và bán Hinh 1.

9: Kiến trúc DWH với vùng đệm, DM. Thiết kế kho dữ liệu 1. Thiết kế logic và thiết kế vật lý trong kho dữ liệu Để xây dựng một kho dữ liệu thì cần xác định các yêu cầu kinh doanh và thống nhất phạm vi ứng dụng để từ đó đưa ra một bản thiết kế khái niệm. Bây giờ cần phải chuyển thiết kế khái niệm thành một hệ thống chuyển giao.

Để làm như vậy, cần tạo ra các thiết kế logic và thiết kế vật lý cho các kho dữ liệu. Cần xác định:  Nội dung dữ liệu cụ thể.  Mối quan hệ bên trong và giữa các nhóm dữ liệu.  Môi trường hệ thống hỗ trợ kho dữ liệu.

 Quá trình biến đổi dữ liệu cần thiết.  Tần suất mà dữ liệu được làm mới. Thiết kế logic xem xét các mối quan hệ logic giữa các chủ thể. Thiết kế vật lýxem xét cách thức hiệu quả nhất của việc lưu trữ và gọi ra các đối tượng, cũng như xử lý chúng từ một chuyển dịch và quan điểm sao lưu, phục hồi.

Thiết kế hướng tới các nhu cầu của người dùng cuối. Người dùng cuối thường muốn thực hiện phân tích và xem xét dữ liệu tổng hợp, hơn là giao 10 TIEU LUAN MOI download : [e-mail] tác riêng lẻ. Tuy nhiên, người dùng cuối có thể không biết những gì họ cần cho đến khi họ nhìn thấy nó. Ngoài ra, một thiết kế được lên kế hoạch chu đáo có tính đến sự tăng trưởng và thay đổi khi nhu cầu của người dùng thay đổi và tiến hóa.

Với thiết kế logic, tập trung vào các yêu cầu thông tin và lưu các chi tiết thực thi cho sau này. Thiết kế logic. Một thiết kế logic là trừu tượng và dựa trên các khái niệm. Ta không đề cập tới những chi tiết cài đặt vật lý.

Ta chỉ đề cập tới việc xác định những loại thông tin mà ta cần. Một kỹ thuật ta cần sử dụng làm mô hình cho các yêu cầu thông tin logic của tổ chức là mô hình thực thể quan hệ. Mô hình thực thể quan hệ liên quan đến việc xác định những thứ quan trọng (thực thể), các tính chất của những thuộc tính, và làm thế nào chúng liên hệ được với nhau (các mối quan hệ).