Chương 1: Nghiên cứu cơ sở lý thuyết Trình bày về quy trình khai phá dữ liệu, các phương pháp khai phá dữ liệu được sử dụng. Chương 2: Lý thuyết về rủi ro tín dụng Trình bày về ngân hàng thương mại, hoạt động tín dụng trong ngân hàng, hệ thống xếp hạng tín dụng, và lý thuyết về rủi ro tín dụng. Chương 3: Ứng dụng khai phá dữ liệu, áp dụng với nguồn dữ liệu của Ngân hàng Kỹ thương Việt Nam Techcombank Trình bày về hệ thống xếp hạng tín dụng thế chấp và tín chấp tiêu dùng áp dụng cho khách hàng thể nhân và ứng dụng khai phá dữ liệu để điều chỉnh hệ thống xếp hạng tín dụng tín chấp tiêu dùng. Chương 4: Kết luận và kiến nghị LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -2- CHƢƠNG 1: NGHIÊN CỨU CƠ SỞ LÝ THUYẾT 1.1 Sơ lƣợc về khai phá dữ liệu 1.1 Sự cần thiết của khai phá dữ liệu Kho dữ liệu của một công ty hay một tổ chức không ngừng tăng trưởng theo thời gian với tốc độ cao, chúng ta có thể thấy điều này qua kho dữ liệu của một ngân hàng hay một tập đoàn bán lẻ.
Dữ liệu bản thân nó chứa đựng những thông tin rất có giá trị, có lợi cho quá trình ra quyết định. Hình vẽ dưới đây trình bày một tập dữ liệu giả định về vay nợ ngân hàng gồm 23 trường hợp được biểu diễn trong không gian hai chiều. Mỗi điểm trên đồ thị biểu diễn một trường hợp vay nợ ở ngân hàng trong quá khứ. Trục hoành biểu diễn thu nhập còn trục tung biểu diễn tổng nợ cá nhân của người đi vay (tiền thế chấp, tiền chi trả ô tô.
Dữ liệu được phân thành hai lớp: lớp gồm những người thiếu khả năng trả nợ ngân hàng và lớp o gồm những người có tình trạng tốt. Như vậy để hạn chế rủi ro các loại nợ (3-5) dẫn đến khả năng mất vốn ngân hàng chỉ cấp tín dụng cho những khách hàng có mức thu nhập từ ngưỡng T trở lên. Việc phát hiện ra những thông tin “có giá trị” là không dễ dàng, đối với nguồn dữ liệu có kích thước lớn chúng ta không thể phân tích bằng tay mà cần đến những công cụ hỗ trợ đặc biệt. Usama Fayyad đã chỉ ra những nhược điểm sau đây: - Con người cần hàng tuần lễ hoặc lâu hơn để phát hiện ra những thông tin có ích.
- Phần lớn dữ liệu chưa bao giờ được phân tích cả. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -3- - Có một hố sâu giữa khả năng sinh ra dữ liệu và khả năng sử dụng dữ liệu. Chính vì những điều đó đã dẫn đến sự ra đời của khai phá dữ hiệu hay còn gọi là phát hiện trị thức, nhằm giải quyết tình trạng “giàu dữ liệu nhưng nghèo tri thức”. Khai phá dữ liệu là giải pháp phân tích tự động các kho dữ liệu, phát hiện ra các thông tin hữu ích, có lợi cho quá trình ra quyết định.
Cùng với thời gian, với sự tăng cường năng lực tính toán, hoàn thiện các thuật toán thống kê, học máy và các phương pháp thu thập, quản lý dữ liệu là tiền đề cho sự ra đời của khai phá dữ liệu.2 Định nghĩa khai phá dữ liệu Phát hiện tri thức trong cơ sở dữ liệu (đôi khi còn được gọi là khai phá dữ liệu) là một quá trình nhận ra những mẫu có giá trị, mới, hữu ích tiềm năng và hiểu được trong dữ liệu. (Frawley, Piatetski-Shapiro và Matheus) Friedman đã tổng hợp một số quan niệm sau đây về “khai phá dữ liệu”: Quá trình để nhận biết từ dữ liệu ra các mẫu có giá trị, mới, hữu dụng và hiểu được, Quá trình trích lọc các thông tin chưa biết trước, có thể nhận thức được, có thể tác động được từ CSDL lớn và sử dụng chúng để tạo ra quyết định có lợi, Tập các phương pháp được dùng trong quá trình phát hiện tri thức nhằm tường minh các quan hệ và các mẫu chưa biết trước chứa trong dữ liệu, Quá trình hỗ trợ quyết định khi tìm kiếm những mẫu thông tin chưa biết và hữu ích từ CSDL lớn. Trong định nghĩa xuất hiện các khái niệm là "mẫu", "có giá trị", "mới", "hữu ích" và "hiểu được". Các khái niệm này được hiểu như sau: Dữ liệu: Được hiểu như là một tập F gồm hữu hạn các trường hợp (sự kiện).
Đối với một bảng, dữ liệu được hiểu là tập hợp tất cả các bản ghi (record) trong bảng đó. Mẫu: Được hiểu là một tập con của tập sự kiện F, là một quan hệ tiềm ẩn trong dữ liệu. Tính mới: Mẫu phải là mới trong một miền xem xét nào đó, ít nhất là hệ thống đang được xem xét. Hữu ích tiềm năng: Mẫu cần có khả năng chỉ dẫn tới các tác động hữu dụng và được đo bởi một hàm tiện ích.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -4- Có thể hiểu được: Một mục tiêu của khai phá dữ liệu là tạo ra các mẫu cho con người hiểudễ dàng hơn các dữ liệu nền (dữ liệu sẵn có trong hệ thống).3 Quy trình khám phá tri thức trong CSDL Khám phá tri thức trong CSDL bao gồm nhiều bước là: Chuẩn bị dữ liệu, tìm kiếm mẫu, ước lượng tri thức, tinh chế sự tương tác nội tại sau khi chuyển dạng dữ liệu. Quá trình được thừa nhận là không tầm thường theo nghĩa là quá trình đó bao hàm một mức độ tìm kiếm tự động. Khai phá dữ liệu chỉ là một bước thiết yếu trong quy trình này. Quy trình này gồm các bước: 1) Làm sạch dữ liệu: Loại bỏ nhiễu hoặc các dữ liệu không thích hợp.
2) Tích hợp dữ liệu: Tích hợp dữ liệu từ các nguồn khác nhau như: CSDL, kho dữ liệu, file text… 3) Chọn dữ liệu: Ở bước này, những dữ liệu liên quan trực tiếp đến nhiệm vụ sẽ được thu thập từ các nguồn dữ liệu ban đầu. 4) Chuyển đổi dữ liệu: Trong bước này, dữ liệu sẽ được chuyển đổi về dạng phù hợp cho việc khai phá bằng cách thực hiện các thao tác nhóm hoặc tập hợp. 5) Khai phá dữ liệu: Là giai đoạn thiết yếu, trong đó các phương pháp thông minh sẽ được áp dụng để trích xuất ra các mẫu dữ liệu. 6) Đánh giá mẫu: Đánh giá sự hữu ích của các mẫu biểu diễn tri thức dựa vào một số phép đo.
Các mẫu dữ liệu được chiết xuất ra bởi phần mềm khai phá dữ liệu. Không phải bất cứ mẫu dữ liệu nào cũng đều hữu ích, đôi khi nó còn bị sai lệch. Vì LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -5- vậy, cần phải ưu tiên những tiêu chuẩn đánh giá để chiết xuất ra các tri thức cần chiết xuất ra. 7) Trình diễn dữ liệu: Sử dụng các kỹ thuật trình diễn vàtrực quan hoá dữ liệu để biểu diễn tri thức khai phá được cho người sử dụng.2 Khai phá luật kết hợp 1.1 Luật kết hợp trong cơ sở dữ liệu Trong đời sống hàng ngày chúng ta thường thấy các thống kê có dạng như sau: Cứ một 100 người mua quyển sách “chiến tranh tiền tệ” thì có 70 người mua thêm quyển “lý thuyết trò chơi” hay 80% khách hàng mua máy điện thoại di động thì mua thêm simcard, 30% có mua cả máy điện thoại di động lẫn simcard.
Đây là một dạng của luật kết hợp, nó là một dạng đơn giản khi kết hợp 2 mệnh đề A và B, nhưng lại có nhiều ý nghĩa trong cuộc sống, bởi nó giúp cho chúng ta ra những quyết định tốt hơn nhờ những số liệu thực tế. Trong ví dụ trên, hiểu được tâm lý khách hàng, người bán hàng chỉ việc sắp xếp 2 loại hàng hóa đó gần nhau (trong trường hợp này là 2 quyển sách), sẽ giúp cho khách hàng tiết kiệm được thời gian và quan trọng hơn là tăng doanh số bán hàng., Im} là tập m thuộc tính riêng biệt (itemsets), mỗi thuộc tính gọi là một mục (item). Gọi D là một cơ sở dữ liệu, trong đó mỗi bản ghi tIT là một giao dịch và chứa các tập mục, T I. T = {t1, t2, … tn} là tập gồm n giao dịch (transaction), mỗi giao dịch được định danh bởi TID (transaction identification).
Định nghĩa 1:Luật là một quy tắc chung nhất trên một tập các đối tượng. Khái niệm “chung nhất” được hiểu là một sự kiện xẩy ra thường xuyên hoặc có tính chất dị thường (những giao dịch gian lận thẻ tín dụng thường có tính chất dị thường). Định nghĩa 2: Một luật kết hợp là một quan hệ có dạng X Y, trong đó X, Y I là các tập mục gọi là itemsets, và X Y . Ở đây, X được gọi là tiền đề, Y là mệnh đề kết quả.
Hai thông số quan trọng của luật kết hợp là độ hỗ trợ (s)và độ tin cậy (c). Định nghĩa 3: Độ hỗ trợ (support) của luật kết hợp X Y là tỷ lệ phần trăm các bản ghi X Y với tổng số các giao dịch có trong cơ sở dữ liệu. Định nghĩa 4: Đối với một số giao dịch được đưa ra, độ tin cậy (confidence) là tỷ lệ của số giao dịch có chứa X Y với số giao dịch có chứa X.Về mặt xác LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -6- suất, độ tin cậy (confidence)của một luật kết hợp là xác suất (có điều kiện) xảy ra Y với điều kiện đã xảy ra X. Việc khai thác các luật kết hợp từ cơ sở dữ liệu chính là việc tìm tất cả các luật có độ hỗ trợ và độ tin cậy lớn hơn ngưỡng của độ hỗ trợ và độ tin cậy do người sử dụng xác định trước.
Các ngưỡng của độ hỗ trợ và độ tin cậy được ký hiệu là minsup và mincof. Việc khai thác các luật kết hợp có thể được phân tích thành hai vấn đề sau đây: 1. Tìm tất cả các tập mục thường xuyên xảy ra mà có độ hỗ trợ lớn hơn hoặc bằng minsup. Tạo ra các luật mong muốn sử dụng các tập phổ biến mà có độ tin cậy lớn hơn hoặc bằng mincof.
Định nghĩa 5: Độ phổ biến (sup) của tập mục S trong cơ sở dữ liệu D là tỷ lệ giữ số giao dịch chứa S trên tổng số giao dịch trong D. sup(S) = count(S) / |D| Tập mục phổ biến (frequent itemsets) là tập các mục có độ phổ biến thỏa mãn độ phổ biến tối thiểu minsup do người dùng tự xác định.