Luận văn: Khai phá dữ liệu luật kết hợp trong kho dữ liệu ngân hàng

Luận văn thạc sĩ khai phá dữ liệu: Phát hiện luật kết hợp trong kho dữ liệu ngân hàng. Ứng dụng luật khám phá hỗ trợ nghiệp vụ và ra quyết định.

• Tác giả: Nguyễn Thị Thu Trang
• Người hướng dẫn: PGS. Vũ Đức Thi
• Trường học: Trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Khai phá dữ liệu phát hiện luật kết hợp và Ứng dụng đối với kho dữ liệu của ngân hàng
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2008
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: KHO DỮ LIỆU VÀ PHÂN TÍCH DỮ LIỆU TRỰC TUYẾN
• 1.1. Hệ thống xử lý giao dịch trực tuyến (OLTP)
• 1.2. Kho dữ liệu (Data warehouse)
• 1.3. Hệ thống phân tích dữ liệu trực tuyến (OLAP)
• 1.4. Mô hình tổ chức dữ liệu (Data model)
• 1.4.1. Lược đồ hình sao (Star schema)
• 1.4.2. Lược đồ bông tuyết (Snowflake schema)
• 2. CHƯƠNG 2: KHAI PHÁ DỮ LIỆU PHÁT HIỆN LUẬT KẾT HỢP
• 2.1. Định nghĩa luật kết hợp
• 2.2. Ví dụ về luật kết hợp
• 2.3. Các định nghĩa cơ bản
• 2.4. Luật kết hợp nhị phân
• 2.5. Luật kết hợp định lượng
• 2.6. Luật kết hợp đơn chiều
• 2.7. Luật kết hợp đa chiều
• 2.8. Luật kết hợp đa mức
• 2.9. Khai phá luật kết hợp đa mức
• 2.10. Thuật toán Apriori
• 2.11. Khai phá luật kết hợp với OLAP
• 2.11.1. Xây dựng Data-cube
• 2.11.2. Khai phá các tập mục phổ biến dựa trên Data-cube
• 2.11.3. Sinh luật kết hợp từ tập mục phổ biến
• 2.11.4. Thuật toán đơn giản sinh luật kết hợp từ tập mục phổ biến
• 2.11.5. Khai phá luật kết hợp dựa trên Data-cube
• 3. CHƯƠNG 3: XÂY DỰNG ỨNG DỤNG MINH HOẠ
• 3.1. Xây dựng khung ứng dụng (Framework)
• 3.2. Tập hợp, làm sạch và chuẩn hoá dữ liệu
• 3.3. Xây dựng Data-cube
• 3.4. Khai phá luật kết hợp từ Data-cube
• TÀI LIỆU THAM KHẢO
• 3.5. Danh sách tài liệu tham khảo tiếng Việt
• 3.6. Danh sách tài liệu tham khảo tiếng Anh
• 3.7. Danh sách Websites tham khảo

Tóm tắt

I. Khai Phá Dữ Liệu Ngân Hàng Tổng Quan Tầm Quan Trọng

Trong bối cảnh cạnh tranh ngày càng gay gắt và yêu cầu quản trị rủi ro ngày càng cao, khai phá dữ liệu ngân hàng trở thành một công cụ không thể thiếu. Các ngân hàng hiện nay sở hữu một lượng dữ liệu khổng lồ về khách hàng, giao dịch, sản phẩm, và nhiều thông tin khác. Lượng dữ liệu này, nếu được phân tích và khai thác hiệu quả, sẽ mang lại những hiểu biết sâu sắc, giúp ngân hàng đưa ra các quyết định kinh doanh thông minh, cải thiện trải nghiệm khách hàng, và giảm thiểu rủi ro. Theo nghiên cứu của Đại học Quốc Gia Hà Nội, việc áp dụng thành công khai phá dữ liệu có thể giúp các ngân hàng tăng trưởng doanh thu lên đến 15% và giảm chi phí hoạt động đến 10%. Tuy nhiên, việc triển khai khai phá dữ liệu trong ngành ngân hàng cũng đặt ra nhiều thách thức, từ vấn đề bảo mật thông tin đến việc lựa chọn các phương pháp và công cụ phù hợp.

1.1. Vai trò của kho dữ liệu Data Warehouse trong ngân hàng

Kho dữ liệu đóng vai trò trung tâm trong việc thu thập, lưu trữ, và quản lý dữ liệu từ nhiều nguồn khác nhau trong ngân hàng, bao gồm hệ thống giao dịch, hệ thống quản lý khách hàng, và các nguồn dữ liệu bên ngoài. Một kho dữ liệu được thiết kế tốt sẽ đảm bảo tính toàn vẹn, nhất quán, và khả năng truy cập dữ liệu dễ dàng, tạo nền tảng vững chắc cho các hoạt động khai phá dữ liệu. Theo W.Inmon, cha đẻ của khái niệm Data Warehouse, kho dữ liệu là 'một bộ sưu tập hướng theo chủ đề, tích hợp, biến đổi theo thời gian và không thay đổi dữ liệu hỗ trợ việc ra quyết định quản lý'. Việc xây dựng một kho dữ liệu hiệu quả đòi hỏi sự đầu tư đáng kể về cơ sở hạ tầng, công nghệ, và nhân lực, nhưng lợi ích mang lại là vô cùng to lớn.

1.2. Giới thiệu hệ thống phân tích dữ liệu trực tuyến OLAP

Hệ thống OLAP (On-Line Analytical Processing) cho phép người dùng phân tích dữ liệu đa chiều một cách nhanh chóng và linh hoạt. Với OLAP, người dùng có thể dễ dàng thực hiện các thao tác như drill-down (phân tích sâu hơn), roll-up (tổng hợp dữ liệu), slice (cắt lát dữ liệu), và dice (cắt khối dữ liệu) để khám phá các xu hướng, mô hình, và mối quan hệ ẩn chứa trong dữ liệu. OLAP là một công cụ quan trọng để hỗ trợ việc ra quyết định trong ngân hàng, giúp các nhà quản lý hiểu rõ hơn về hiệu quả hoạt động, hành vi khách hàng, và các yếu tố rủi ro. Khác với hệ thống OLTP xử lý giao dịch hàng ngày, OLAP tập trung vào phân tích và báo cáo, cung cấp thông tin tổng quan và chi tiết về các khía cạnh khác nhau của hoạt động ngân hàng.

1.3. Các phương pháp khai phá dữ liệu phổ biến trong ngân hàng

Ngoài luật kết hợp, ngành ngân hàng còn sử dụng nhiều phương pháp khai phá dữ liệu khác như phân cụm (clustering) để phân loại khách hàng, phân loại (classification) để dự đoán khả năng trả nợ, và hồi quy (regression) để dự báo doanh thu. Mỗi phương pháp có những ưu điểm và hạn chế riêng, và việc lựa chọn phương pháp phù hợp phụ thuộc vào mục tiêu phân tích và đặc điểm của dữ liệu. Ví dụ, phân cụm có thể giúp ngân hàng xác định các phân khúc khách hàng khác nhau dựa trên hành vi và đặc điểm nhân khẩu học, từ đó đưa ra các chiến dịch marketing phù hợp. Phân loại có thể giúp ngân hàng đánh giá rủi ro tín dụng của khách hàng dựa trên lịch sử tín dụng và các thông tin khác, từ đó đưa ra quyết định cho vay chính xác hơn.

II. Luật Kết Hợp Trong Khai Phá Dữ Liệu Ngân Hàng Định Nghĩa

Luật kết hợp là một kỹ thuật khai phá dữ liệu được sử dụng để tìm ra các mối quan hệ hoặc quy luật giữa các mục (items) trong một tập dữ liệu lớn. Trong ngữ cảnh ngân hàng, một mục có thể là một sản phẩm, dịch vụ, hoặc hành vi của khách hàng. Một luật kết hợp có dạng 'Nếu A thì B' (A -> B), trong đó A là tiền đề (antecedent) và B là hệ quả (consequent). Độ mạnh của một luật kết hợp được đánh giá dựa trên hai chỉ số chính: độ hỗ trợ (support) và độ tin cậy (confidence). Độ hỗ trợ thể hiện tần suất xuất hiện của cả A và B trong tập dữ liệu, trong khi độ tin cậy thể hiện tỷ lệ các giao dịch chứa A cũng chứa B. Ngân hàng sử dụng luật kết hợp để khám phá các mối liên hệ giữa các sản phẩm, dịch vụ, và hành vi của khách hàng, từ đó đưa ra các quyết định kinh doanh thông minh hơn.

2.1. Giải thích các khái niệm cơ bản Độ hỗ trợ và độ tin cậy

Độ hỗ trợ (support) của một luật kết hợp A -> B là tỷ lệ các giao dịch trong tập dữ liệu chứa cả A và B. Ví dụ, nếu 10% khách hàng của ngân hàng mua cả sản phẩm A và sản phẩm B, thì độ hỗ trợ của luật A -> B là 10%. Độ tin cậy (confidence) của một luật kết hợp A -> B là tỷ lệ các giao dịch chứa A cũng chứa B. Ví dụ, nếu 70% khách hàng mua sản phẩm A cũng mua sản phẩm B, thì độ tin cậy của luật A -> B là 70%. Ngân hàng sử dụng độ hỗ trợ và độ tin cậy để đánh giá độ mạnh và ý nghĩa của các luật kết hợp, từ đó lựa chọn các luật phù hợp để áp dụng vào thực tế. Một luật có độ hỗ trợ thấp có thể không đáng tin cậy, trong khi một luật có độ tin cậy thấp có thể không mang lại nhiều giá trị.

2.2. Phân loại luật kết hợp Nhị phân định lượng đa chiều

Có nhiều loại luật kết hợp khác nhau, tùy thuộc vào loại dữ liệu và mục tiêu phân tích. Luật kết hợp nhị phân (binary association rules) chỉ quan tâm đến sự xuất hiện hoặc không xuất hiện của các mục. Ví dụ, 'Nếu khách hàng có thẻ tín dụng thì khách hàng cũng có tài khoản thanh toán'. Luật kết hợp định lượng (quantitative association rules) quan tâm đến số lượng hoặc giá trị của các mục. Ví dụ, 'Nếu khách hàng gửi tiết kiệm trên 100 triệu đồng thì khách hàng cũng có khoản vay trên 50 triệu đồng'. Luật kết hợp đa chiều (multi-dimensional association rules) quan tâm đến nhiều thuộc tính của dữ liệu. Ví dụ, 'Nếu khách hàng là nữ, tuổi từ 25-35, và có thu nhập trên 15 triệu đồng thì khách hàng cũng có thẻ tín dụng Platinum'. Việc lựa chọn loại luật kết hợp phù hợp phụ thuộc vào mục tiêu phân tích và đặc điểm của dữ liệu.

2.3. Các thuật toán khai phá luật kết hợp phổ biến Apriori

Thuật toán Apriori là một trong những thuật toán khai phá luật kết hợp phổ biến nhất. Apriori hoạt động dựa trên nguyên tắc rằng nếu một tập hợp các mục (itemset) là phổ biến (frequent), thì tất cả các tập con của nó cũng phải phổ biến. Thuật toán này bắt đầu bằng việc tìm tất cả các itemset có độ dài 1 (single itemset) là phổ biến, sau đó sử dụng các itemset này để tạo ra các itemset có độ dài 2, 3, và tiếp tục cho đến khi không tìm thấy thêm itemset phổ biến nào nữa. Thuật toán Apriori được sử dụng rộng rãi trong ngành ngân hàng để khám phá các mối quan hệ giữa các sản phẩm, dịch vụ, và hành vi của khách hàng. Tuy nhiên, Apriori có thể tốn nhiều thời gian và tài nguyên tính toán khi tập dữ liệu rất lớn.

III. Ứng Dụng Luật Kết Hợp Trong Ngân Hàng Tối Ưu Hóa Sản Phẩm

Luật kết hợp có thể được sử dụng để tối ưu hóa việc cung cấp sản phẩm và dịch vụ cho khách hàng. Bằng cách phân tích dữ liệu giao dịch và hành vi của khách hàng, ngân hàng có thể xác định các sản phẩm và dịch vụ thường được mua cùng nhau. Thông tin này có thể được sử dụng để tạo ra các gói sản phẩm hấp dẫn hơn, cải thiện hiệu quả của các chiến dịch marketing, và tăng doanh thu. Ví dụ, nếu ngân hàng phát hiện ra rằng khách hàng thường mua bảo hiểm du lịch cùng với vé máy bay, ngân hàng có thể tạo ra một gói sản phẩm bao gồm cả hai dịch vụ này với giá ưu đãi.

3.1. Xác định các sản phẩm dịch vụ đi kèm phổ biến

Luật kết hợp có thể giúp ngân hàng xác định các sản phẩm và dịch vụ thường được mua cùng nhau bởi khách hàng. Ví dụ, nếu ngân hàng phát hiện ra rằng khách hàng có tài khoản tiết kiệm thường cũng có thẻ tín dụng, ngân hàng có thể tập trung vào việc giới thiệu thẻ tín dụng cho khách hàng có tài khoản tiết kiệm. Tương tự, nếu ngân hàng phát hiện ra rằng khách hàng vay mua nhà thường cũng mua bảo hiểm nhà, ngân hàng có thể tạo ra một gói sản phẩm bao gồm cả hai dịch vụ này. Việc xác định các sản phẩm và dịch vụ đi kèm phổ biến giúp ngân hàng tối ưu hóa việc cung cấp sản phẩm và dịch vụ cho khách hàng.

3.2. Thiết kế các gói sản phẩm và dịch vụ hấp dẫn hơn

Dựa trên thông tin về các sản phẩm và dịch vụ đi kèm phổ biến, ngân hàng có thể thiết kế các gói sản phẩm và dịch vụ hấp dẫn hơn cho khách hàng. Ví dụ, ngân hàng có thể tạo ra một gói sản phẩm bao gồm tài khoản tiết kiệm, thẻ tín dụng, và bảo hiểm nhân thọ với giá ưu đãi. Hoặc, ngân hàng có thể tạo ra một gói sản phẩm dành riêng cho khách hàng vay mua nhà, bao gồm khoản vay, bảo hiểm nhà, và dịch vụ tư vấn tài chính. Việc thiết kế các gói sản phẩm và dịch vụ hấp dẫn hơn giúp ngân hàng tăng doanh thu và cải thiện trải nghiệm khách hàng.

3.3. Cải thiện hiệu quả của các chiến dịch marketing

Luật kết hợp có thể giúp ngân hàng cải thiện hiệu quả của các chiến dịch marketing. Bằng cách hiểu rõ hơn về hành vi và sở thích của khách hàng, ngân hàng có thể tạo ra các thông điệp marketing phù hợp hơn và gửi chúng đến đúng đối tượng. Ví dụ, nếu ngân hàng phát hiện ra rằng khách hàng trẻ tuổi thường quan tâm đến các sản phẩm và dịch vụ trực tuyến, ngân hàng có thể tập trung vào việc quảng cáo các sản phẩm và dịch vụ này trên các kênh truyền thông trực tuyến. Hoặc, nếu ngân hàng phát hiện ra rằng khách hàng có thu nhập cao thường quan tâm đến các sản phẩm và dịch vụ cao cấp, ngân hàng có thể gửi các thư mời tham gia các sự kiện đặc biệt dành riêng cho khách hàng VIP. Việc cải thiện hiệu quả của các chiến dịch marketing giúp ngân hàng tiết kiệm chi phí và tăng doanh thu.

IV. Ứng Dụng Luật Kết Hợp Quản Lý Rủi Ro Tín Dụng Ngân Hàng

Trong lĩnh vực quản lý rủi ro tín dụng, luật kết hợp có thể được sử dụng để xác định các yếu tố có liên quan đến khả năng trả nợ của khách hàng. Bằng cách phân tích dữ liệu về lịch sử tín dụng, thông tin cá nhân, và hành vi giao dịch của khách hàng, ngân hàng có thể xây dựng các mô hình dự đoán rủi ro tín dụng chính xác hơn. Thông tin này có thể được sử dụng để đưa ra các quyết định cho vay thông minh hơn, giảm thiểu tỷ lệ nợ xấu, và cải thiện hiệu quả hoạt động của ngân hàng.

4.1. Xác định các yếu tố liên quan đến khả năng trả nợ

Luật kết hợp có thể giúp ngân hàng xác định các yếu tố có liên quan đến khả năng trả nợ của khách hàng. Ví dụ, nếu ngân hàng phát hiện ra rằng khách hàng có lịch sử tín dụng tốt, có thu nhập ổn định, và có tài sản đảm bảo thường có khả năng trả nợ cao, ngân hàng có thể ưu tiên cho vay đối với những khách hàng này. Ngược lại, nếu ngân hàng phát hiện ra rằng khách hàng có lịch sử tín dụng xấu, có thu nhập không ổn định, và không có tài sản đảm bảo thường có khả năng trả nợ thấp, ngân hàng có thể từ chối cho vay hoặc yêu cầu mức lãi suất cao hơn. Việc xác định các yếu tố liên quan đến khả năng trả nợ giúp ngân hàng giảm thiểu rủi ro tín dụng.

4.2. Xây dựng mô hình dự đoán rủi ro tín dụng chính xác hơn

Dựa trên thông tin về các yếu tố liên quan đến khả năng trả nợ, ngân hàng có thể xây dựng các mô hình dự đoán rủi ro tín dụng chính xác hơn. Các mô hình này có thể sử dụng các thuật toán học máy như cây quyết định, mạng nơ-ron, hoặc hồi quy logistic để dự đoán khả năng trả nợ của khách hàng dựa trên thông tin về lịch sử tín dụng, thông tin cá nhân, và hành vi giao dịch. Các mô hình dự đoán rủi ro tín dụng chính xác hơn giúp ngân hàng đưa ra các quyết định cho vay thông minh hơn và giảm thiểu tỷ lệ nợ xấu.

4.3. Giảm thiểu tỷ lệ nợ xấu và cải thiện hiệu quả hoạt động

Việc sử dụng luật kết hợp và các mô hình dự đoán rủi ro tín dụng chính xác hơn giúp ngân hàng giảm thiểu tỷ lệ nợ xấu và cải thiện hiệu quả hoạt động. Bằng cách cho vay đối với những khách hàng có khả năng trả nợ cao và từ chối cho vay đối với những khách hàng có khả năng trả nợ thấp, ngân hàng có thể giảm thiểu tỷ lệ nợ xấu. Ngoài ra, bằng cách tính toán mức lãi suất phù hợp với mức độ rủi ro của từng khách hàng, ngân hàng có thể tối đa hóa lợi nhuận và cải thiện hiệu quả hoạt động.

V. Thách Thức và Triển Vọng Khai Phá Dữ Liệu Ngân Hàng Hiện Nay

Mặc dù khai phá dữ liệu ngân hàng mang lại nhiều lợi ích, nhưng cũng đặt ra nhiều thách thức. Vấn đề bảo mật thông tin khách hàng, tuân thủ các quy định pháp luật, và đảm bảo tính minh bạch của các thuật toán là những yếu tố cần được đặc biệt quan tâm. Tuy nhiên, với sự phát triển của công nghệ và sự gia tăng của lượng dữ liệu, khai phá dữ liệu sẽ tiếp tục đóng vai trò quan trọng trong việc giúp các ngân hàng nâng cao năng lực cạnh tranh và đáp ứng nhu cầu ngày càng cao của khách hàng.

5.1. Vấn đề bảo mật thông tin và tuân thủ quy định pháp luật

Bảo mật thông tin khách hàng là một vấn đề quan trọng hàng đầu trong khai phá dữ liệu ngân hàng. Ngân hàng phải tuân thủ các quy định pháp luật về bảo vệ dữ liệu cá nhân và đảm bảo rằng thông tin khách hàng được bảo mật tuyệt đối. Điều này đòi hỏi ngân hàng phải áp dụng các biện pháp bảo mật tiên tiến như mã hóa dữ liệu, kiểm soát truy cập, và giám sát liên tục để ngăn chặn các hành vi xâm nhập và đánh cắp dữ liệu. Ngoài ra, ngân hàng cũng phải đảm bảo rằng các thuật toán khai phá dữ liệu được sử dụng không vi phạm quyền riêng tư của khách hàng.

5.2. Đảm bảo tính minh bạch của các thuật toán khai phá

Tính minh bạch của các thuật toán khai phá dữ liệu là một yếu tố quan trọng để đảm bảo tính công bằng và tránh các hành vi phân biệt đối xử. Ngân hàng cần phải đảm bảo rằng các thuật toán được sử dụng có thể được giải thích và hiểu được bởi con người, và không tạo ra các kết quả phân biệt đối xử dựa trên các yếu tố như giới tính, chủng tộc, hoặc tôn giáo. Điều này đòi hỏi ngân hàng phải lựa chọn các thuật toán phù hợp và kiểm tra kỹ lưỡng các kết quả đầu ra để đảm bảo tính công bằng và minh bạch.

5.3. Xu hướng phát triển và ứng dụng AI trong khai phá dữ liệu

Trí tuệ nhân tạo (AI) đang ngày càng được ứng dụng rộng rãi trong khai phá dữ liệu ngân hàng. Các thuật toán AI như học sâu (deep learning) có thể giúp ngân hàng phân tích dữ liệu phức tạp và tìm ra các mô hình và mối quan hệ ẩn chứa mà các phương pháp truyền thống không thể phát hiện ra. AI cũng có thể được sử dụng để tự động hóa các quy trình khai phá dữ liệu, giúp ngân hàng tiết kiệm thời gian và chi phí. Tuy nhiên, việc ứng dụng AI trong khai phá dữ liệu cũng đặt ra nhiều thách thức, bao gồm việc đảm bảo tính chính xác, công bằng, và minh bạch của các thuật toán AI.

VI. Kết Luận Tương Lai Của Khai Phá Dữ Liệu Trong Ngành Ngân Hàng

Khai phá dữ liệu ngân hàng là một lĩnh vực đầy tiềm năng và sẽ tiếp tục phát triển mạnh mẽ trong tương lai. Với sự gia tăng của lượng dữ liệu và sự phát triển của công nghệ, khai phá dữ liệu sẽ đóng vai trò ngày càng quan trọng trong việc giúp các ngân hàng nâng cao năng lực cạnh tranh, cải thiện trải nghiệm khách hàng, và quản lý rủi ro hiệu quả. Các ngân hàng cần đầu tư vào cơ sở hạ tầng, công nghệ, và nhân lực để khai thác tối đa tiềm năng của khai phá dữ liệu và đạt được lợi thế cạnh tranh trên thị trường.

6.1. Tổng kết những lợi ích chính của khai phá dữ liệu

Khai phá dữ liệu mang lại nhiều lợi ích cho ngành ngân hàng, bao gồm việc tăng doanh thu, giảm chi phí, cải thiện trải nghiệm khách hàng, quản lý rủi ro hiệu quả hơn, và nâng cao năng lực cạnh tranh. Bằng cách phân tích dữ liệu và tìm ra các mô hình và mối quan hệ ẩn chứa, ngân hàng có thể đưa ra các quyết định kinh doanh thông minh hơn, tối ưu hóa việc cung cấp sản phẩm và dịch vụ, và đáp ứng nhu cầu ngày càng cao của khách hàng.

6.2. Khuyến nghị cho các ngân hàng muốn triển khai

Các ngân hàng muốn triển khai khai phá dữ liệu cần đầu tư vào cơ sở hạ tầng, công nghệ, và nhân lực. Ngân hàng cần xây dựng một kho dữ liệu tập trung và tích hợp dữ liệu từ nhiều nguồn khác nhau. Ngân hàng cũng cần lựa chọn các công cụ khai phá dữ liệu phù hợp với nhu cầu và mục tiêu của mình. Quan trọng nhất, ngân hàng cần xây dựng một đội ngũ chuyên gia khai phá dữ liệu có kỹ năng và kinh nghiệm để thực hiện các dự án khai phá dữ liệu thành công.

6.3. Hướng nghiên cứu tiếp theo trong lĩnh vực này

Có nhiều hướng nghiên cứu tiếp theo trong lĩnh vực khai phá dữ liệu ngân hàng, bao gồm việc phát triển các thuật toán mới để phân tích dữ liệu phức tạp, ứng dụng AI để tự động hóa các quy trình khai phá dữ liệu, và nghiên cứu các phương pháp bảo mật thông tin và đảm bảo tính minh bạch của các thuật toán. Ngoài ra, cần có nhiều nghiên cứu hơn về tác động của khai phá dữ liệu đến quyền riêng tư của khách hàng và các vấn đề đạo đức liên quan.

Trích đoạn nội dung tài liệu

Chương 1: KHO DỮ LIỆU VÀ PHÂN TÍCH DỮ LIỆU TRỰC TUYẾN 1. Hệ thống xử lý giao dịch trực tuyến (OLTP) Hầu hết các doanh nghiệp trên thế giới đã và đang áp dụng công nghệ thông tin trong việc lưu trữ và quản lý dữ liệu. Hệ thống OLTP (On-Line Transaction Processing: Hệ thống xử lý giao dịch trực tuyến) ra đời với khả năng lưu trữ dữ liệu lâu dài, hướng giao dịch (Transaction-oriented) nên được áp dụng rất phổ biến vì dữ liệu mà các doanh nghiệp thực hiện tác nghiệp chủ yếu đều dưới dạng các giao dịch. Cũng vì vậy mà hầu hết các hệ quản trị CSDL phổ biến hiện nay như: Oracle, SQL Server, DB2, MySQL,.

đều hỗ trợ OLTP. CSDL trong các hệ OLTP thường được thiết kế thoả mãn 3NF hoặc cao hơn. Đặc điểm của hệ thống OLTP là lưu toàn bộ các dữ liệu giao dịch chi tiết hàng ngày, điều đó cũng có nghĩa là mức độ tổng quát, trừu tượng của dữ liệu này rất thấp. Với công cụ SQL, OLTP có thể nhanh chóng trả lời được những câu hỏi dạng: Tổng doanh thu từ mặt hàng A trong 6 tháng đầu năm là bao nhiêu, hay Mặt hàng nào bán chạy nhất trong 6 tháng đầu năm,.

Tuy nhiên đứng trên góc độ của nhà quản lý họ cần hệ thống trả lời những câu hỏi dạng: Đưa ra danh sách 10 mặt hàng có doanh thu tốt nhất của từng quý từ trước cho tới nay, với mỗi mặt hàng, chỉ ra tháng nào trong quý mặt hàng đó có doanh thu lớn nhất (1). Hay nếu doanh thu của mặt hàng A tăng thì có thể dự đoán doanh thu của mặt hàng B tăng hay giảm với xác suất là bao nhiêu (2). Với câu hỏi dạng (1) hệ thống OLTP gặp rất nhiều khó khăn khi trả lời, để trả lời chúng một cách nhanh chóng chúng ta cần phải sử dụng những công cụ chuyên dụng và cao cấp hơn như OLAP (xem 1. Còn với những câu hỏi dạng (2) thì việc hệ thống OLTP trả lời là một điều viễn tưởng, muốn trả lời câu hỏi dạng này chúng ta cần phải sử dụng công cụ đặc biệt là Data mining (xem Chương 2).

Kho dữ liệu (Data warehouse) Data warehouse (Kho dữ liệu) được đề xuất bởi W.Inmon vào đầu những năm 1990, là nơi lưu trữ thông tin tích hợp từ nhiều nguồn (Multi-sources), hướng chủ đề (Subject- oriented), mang tính lịch sử (Time-variant), ổn định (Nonvolatile), hỗ trợ truy vấn (Query), phân tích (Analyse) thông tin và trợ giúp ra quyết định (Decision-making support) [105]. Qua khái niệm trên ta thấy dữ liệu và thông tin sẽ được trích rút từ nhiều nguồn khác nhau với các định dạng khác nhau. Nếu người sử dụng muốn thực hiện các truy vấn, hệ thống sẽ chỉ thực hiện tìm kiếm dữ liệu tại Data warehouse một cách thống nhất thay vì Khai phá dữ liệu phát hiện luật kết hợp và Ứng dụng đối với kho dữ liệu của ngân hàng TIEU LUAN MOI download : [e-mail] 9 tìm kiếm trên các CSDL (Cơ sở dữ liệu) nguồn bằng các công cụ chuyên biệt tương ứng, từ đó tiết kiệm nhiều thời gian xử lý của người sử dụng.1: Kiến trúc tiêu biểu của Data warehouse. Hệ thống Data warehouse gồm có 3 thành phần chính sau: 1.

Các CSDL nguồn: Dữ liệu thô sẽ được tập hợp từ nhiều nơi: bên trong, bên ngoài, tự có, đi mua, dữ liệu di sản lịch sử hay dữ liệu hoạt động hiện tại (Operational database), các dữ liệu này và mọi sự thay đổi của chúng sẽ được quản lý bởi một phân hệ giám sát đặc biệt (Monitor / Wrapper modules). Ở đây, dữ liệu được tập hợp từ rất nhiều nguồn: bản thân doanh nghiệp, bên ngoài doanh nghiệp, thậm chí là đi mua,. được lưu trữ trên rất nhiều loại khuôn dạng: Oracle, DB2, SQL Server, Microsoft Access, ., thậm chí là Microsoft Excel file hay Text file. Tất cả dữ liệu này và mọi sự thay đổi của chúng sẽ được quản lý bởi phân hệ Monitor / Wrapper.

Lõi của Data warehouse: Tại đây, dữ liệu sẽ được tổng hợp từ các nguồn dữ liệu trên, thông thường từ các khuôn dạng khác nhau thành một dạng thống nhất và trở thành trung tâm lưu trữ của toàn bộ hệ thống. Khai phá dữ liệu phát hiện luật kết hợp và Ứng dụng đối với kho dữ liệu của ngân hàng TIEU LUAN MOI download : [e-mail] 10 Ở đây, dữ liệu thô được Trích chọn (Extract), Làm sạch (Clean), Chuyển đổi (Transform) trước khi được Tải (Load) vào Data warehouse. Phân hệ Monitor / Wrapper sẽ thực hiện định kỳ cập nhật những thay đổi (Refresh) sao cho đảm bảo sự nhất quán dữ liệu. Các Data mart (CSDL chuyên đề) cũng được hình thành tại đây, xuất phát từ nhu cầu cụ thể tập trung phân tích một lĩnh vực chuyên biệt mà người sử dụng quan tâm.

Dữ liệu sẽ được trích rút từ Data warehouse hình thành nên các Data mart giúp việc truy vấn và phân tích được nhanh chóng, tập trung và tối ưu hơn. Các công cụ phân tích: Các công cụ này hỗ trợ các truy vấn, tạo báo cáo, OLAP, thậm chí là hỗ trợ khai phá dữ liệu (phân tích xu hướng, dự đoán, đưa ra các luật. - Các công cụ này cho phép người sử dụng dễ dàng, chủ động khai thác và tạo các câu truy vấn (query), tạo lập báo cáo, tạo lập các bản phân tích một cách nhanh chóng với độ chính xác cao mà không cần yêu cầu kiến thức về CSDL. - Cho phép xoay chiều và tạo các báo cáo theo nhiều dạng khác nhau như dạng bảng ngang (Horizontal), bảng dọc (Vertical), bảng chéo (Cross), cũng như các dạng đồ thị khác nhau.

- Cung cấp các công cụ thao tác với dữ liệu như Drill (phân tích dữ liệu theo chiều sâu), Roll up (tổng hợp), Slice (cắt lát dữ liệu), Dice (cắt khối dữ liệu) hay Pivot (xoay dữ liệu). - Các công cụ đặc biệt giúp phân tích xu hướng, dự đoán, đưa ra các luật, tri thức. Hệ thống phân tích dữ liệu trực tuyến (OLAP) 1. Giới thiệu Mặc dù dữ liệu được lưu trữ trong Data warehouse đã được trích chọn, làm sạch và chuyển đổi về khuôn dạng chuẩn, xong việc truy vấn và đặc biệt là việc phân tích thông tin trên một khối lượng dữ liệu khổng lồ đòi hỏi phải có những công cụ đặc biệt.

Kỹ thuật OLAP (OnLine Analytical Processing: Xử lý phân tích dữ liệu trực tuyến) được hiểu là một tập hợp những những kỹ thuật được phát triển để phân tích dữ liệu trong Data warehouse [102] đáp ứng được các tiêu chí: Trực tuyến (Online), nhanh chóng, trực quan và hiệu quả đối với phân tích dữ liệu đa chiều. OLAP thực hiện một quá trình tạo ra và quản lý dữ liệu đa chiều phục vụ cho phân tích một cách trực quan, nó cho phép truy vấn trên một CSDL khổng lồ một cách nhanh chóng và hiệu quả đáng kể so với kỹ thuật truy vấn kinh điển bằng SQL trên CSDL quan hệ. Để thực hiện được điều đó, OLAP- engine (cơ chế OLAP) phải thực hiện tính toán trước các toán tử nhóm (Aggregation operator) đồng thời tổ chức lại dữ liệu và kết quả tính toán dưới dạng các Khối dữ liệu đa chiều (Data-cube). Khai phá dữ liệu phát hiện luật kết hợp và Ứng dụng đối với kho dữ liệu của ngân hàng TIEU LUAN MOI download : [e-mail] 11 Việc thực hiện OLAP bao gồm 3 giai đoạn: - Truy vấn dữ liệu từ Data warehouse.

- Xây dựng Data-cube. - Phân tích trực tuyến dựa trên Data-cube. Khái niệm Data-cube (Khối dữ liệu đa chiều) lần đầu tiên được đề xuất bởi J. Gray và các cộng sự [101], nó bao gồm các chiều dữ liệu và các thước đo, cho phép người sử dụng nhìn vào dữ liệu được lưu trữ trong Data warehouse qua nhiều góc độ và nhiều chiều dữ liệu.

Ví dụ, chúng ta cùng xem xét một Data-cube có 3 chiều dữ liệu Product, Supplier, Customer và 1 thước đo là SalesTotal qua hình sau: Hình 1.2: Minh hoạ Data-cube. Data-cube ở trên có thể được thể hiện qua biểu thức SQL sau: select Product, Supplier, Customer, Sum(SalesNumber) as SaleTotal from Sales group by Product, Supplier, Customer with cube ; OLAP-engine sẽ thực hiện tính toán trước các toán tử nhóm và lưu trữ dữ liệu tính toán này vào các trường bổ sung, ký hiệu là “Any” hoặc “*” như minh hoạ sau: Khai phá dữ liệu phát hiện luật kết hợp và Ứng dụng đối với kho dữ liệu của ngân hàng TIEU LUAN MOI download : [e-mail] 12 * c1 c2 c3 * p1 56 4 50 110 p2 11 8 1 20 c1 c2* c367 *12 51 130 Sales(*,*,*) s2 p1 44 4 48 p2 1 1 Sales(p1,*,s2) c1 c2 * c3 44 *4 1 49 p1 12 50 62 s1 p2 11 8 19 * 23 8 50 81 Hình 1.3: Minh hoạ dữ liệu được tính toán và lưu trữ bởi OLAP-engine. Sau khi xây dựng xong Data-cube, OLAP cung cấp một số thao tác giúp người sử dụng phân tích dữ liệu gồm: - Roll-up (Cuộn) thực hiện tính toán gộp theo một hoặc nhiều chiều dữ liệu. - Drill-down (Đào sâu) thao tác này ngược lại với Roll-up, nó cung cấp các dữ liệu ở mức chi tiết theo các chiều dữ liệu.

- Slice (Cắt lát) thực hiện “cắt” lấy một “lát” dữ liệu theo 1 chiều nào đó của Data- cube. - Dice (Cắt khối) thực hiện “cắt” lấy một “khối con” dữ liệu của Data-cube. - Pivot (Xoay) cho phép xoay Data-cube theo các chiều dữ liệu, từ đó cung cấp cho người sử dụng nhiều góc nhìn vào dữ liệu. Các thao tác trên Data-cube được minh hoạ qua hình sau: Khai phá dữ liệu phát hiện luật kết hợp và Ứng dụng đối với kho dữ liệu của ngân hàng TIEU LUAN MOI download : skknchat@gmail.4: Các thao tác cơ bản trong OLAP.

Mô hình tổ chức dữ liệu (Data model) Hầu hết các hệ quản trị CSDL hiện nay là CSDL quan hệ và ở các dạng chuẩn hoá nhất định (3NF hoặc cao hơn), tuy nhiên nếu sử dụng trực tiếp CSDL quan hệ để phân tích trực tuyến sẽ gặp rất nhiều khó khăn, đặc biệt là về tốc độ. Để có thể phân tích trực tuyến, dữ liệu cần thiết phải được tính toán trước (chấp nhận dư thừa) và tổ chức lại dưới dạng đặc biệt. Hầu hết Data warehouse hiện nay đều lưu trữ dữ liệu theo mô hình dữ liệu đa chiều (Multidimensional data model) dạng lược đồ hình sao (Star schema) hoặc dạng lược đồ bông tuyết (Snowflake schema). Khai phá dữ liệu phát hiện luật kết hợp và Ứng dụng đối với kho dữ liệu của ngân hàng TIEU LUAN MOI download : skknchat@gmail.

Lược đồ hình sao (Star schema) Mô hình Star schema (Lược đồ hình sao) được đề xuất bởi R. Kimball [108], là mô hình phổ biến nhất hiện nay. Mỗi Star schema chứa 1 bảng dữ liệu chi tiết (Fact table) và một vài bảng chiều dữ liệu (Dimension table).