Nghiên Cứu Kỹ Thuật Khai Phá Dữ Liệu Để Dự Đoán Rủi Ro Tín Dụng

Chuyên đề nghiên cứu Kỹ Thuật Khai Phá Dữ Liệu Dự Đoán Rủi Ro Tín Dụng, cập nhật xu hướng mới, giá trị tham khảo cao cho chuyên gia công nghệ

• Tác giả: Nguyễn Văn Toàn
• Người hướng dẫn: TS. Nguyễn Đức Dũng
• Trường học: Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Kỹ Thuật Khai Phá Dữ Liệu Dự Đoán Rủi Ro Tín Dụng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2008
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN KHAI PHÁ TRI THỨC TỪ DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU
• 1.1. Giới thiệu khai phá tri thức từ dữ liệu và khai phá dữ liệu
• 1.2. Nhiệm vụ(task) khai phá dữ liệu
• 1.3. Đánh giá mô hình dự đoán
• 1.4. Ứng dụng KDD và Datamining
• 2. CHƯƠNG 2: BÀI TOÁN DỰ ĐOÁN RỦI RO TÍN DỤNG
• 2.1. Bài toán dự đoán rủi ro tín dụng
• 2.2. Thông tin về một khoản vay
• 2.3. Thông tin về khách hàng vay vốn
• 2.4. Thông tin về phương án sản xuất kinh doanh
• 2.5. Thông tin liên quan đến tài sản bảo đảm (TSBD)
• 2.6. Thông tin khác
• 2.7. Dữ liệu sử dụng cho bài toán
• 3. CHƯƠNG 3: XỬ LÝ DỮ LIỆU DỰ ĐOÁN RỦI RO TÍN DỤNG
• 3.1. Tiền xử lý dữ liệu
• 3.2. Công việc tiền xử lý dữ liệu
• 3.3. Tiền xử lý dữ liệu dự đoán rủi ro tín dụng
• 3.4. Phương pháp lấy mẫu dữ liệu (Data sampling)
• 3.5. Phương pháp lấy mẫu dữ liệu
• 3.6. Lấy mẫu lên (Oversampling)
• 3.7. Lấy mẫu xuống (undersampling)
• 3.8. Kết hợp hai chiến lược trên
• 3.9. Hợp nhất các lớp của tập dữ liệu (Data merged)
• 4. CHƯƠNG 4: DỰ ĐOÁN RỦI RO TÍN DỤNG SỬ DỤNG CÂY QUYẾT ĐỊNH (C4.5)
• 4.1. Giới thiệu cây quyết định
• 4.2. Các loại cây quyết định
• 4.3. Ví dụ thực hành
• 4.4. Xây dựng cây quyết định
• 4.5. Đặc điểm cây quyết định C4.5 và các phiên bản khác
• 4.6. Đánh giá kết quả dự đoán rủi ro tín dụng sử dụng cây quyết định C4.5
• 5. CHƯƠNG 5: DỰ ĐOÁN RỦI RO TÍN DỤNG SỬ DỤNG PHƯƠNG PHÁP QUY NẠP LUẬT
• 5.1. Thuật toán CBA
• 5.2. Dự đoán rủi ro tín dụng bằng CBA
• 5.3. Đánh giá kết quả dự đoán rủi ro tín dụng
• 6. CHƯƠNG 6: DỰ ĐOÁN RỦI RO TÍN DỤNG SỬ DỤNG SUPPORT VECTOR MACHINE
• 6.1. Giới thiệu Support Vector Machine
• 6.2. Đặc điểm của Support Vector Machine
• 6.3. Dự đoán rủi ro tín dụng bằng Support Vector Machine
• 6.4. Lựa chọn tham số
• 6.5. Thực nghiệm với tập dữ liệu D1
• 6.6. Thực nghiệm với tập dữ liệu được hợp nhất lớp (D2)
• 6.7. Đánh giá kết quả dự đoán rủi ro tín dụng bằng SVM
• 7. CHƯƠNG 7: ĐÁNH GIÁ CÁC KỸ THUẬT ĐỐI VỚI BÀI TOÁN DỰ ĐOÁN RỦI RO TÍN DỤNG
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về khai phá dữ liệu và dự đoán rủi ro tín dụng

Khai phá dữ liệu (data mining) là quá trình tìm kiếm thông tin ẩn chứa trong dữ liệu. Quá trình này bao gồm nhiều bước như làm sạch dữ liệu, tích hợp dữ liệu, và lựa chọn dữ liệu. Mục tiêu chính của khai phá dữ liệu là phát hiện các mẫu và mối quan hệ trong dữ liệu lớn. Trong bối cảnh dự đoán rủi ro tín dụng, việc áp dụng các kỹ thuật khai phá dữ liệu giúp ngân hàng và tổ chức tài chính đánh giá khả năng trả nợ của khách hàng. Theo Witten, khai phá dữ liệu phải là tự động hoặc bán tự động, và các mẫu khám phá phải có ý nghĩa. Điều này cho thấy tầm quan trọng của việc sử dụng các thuật toán khai thác dữ liệu để phân tích và dự đoán rủi ro tín dụng một cách hiệu quả.

1.1. Khái niệm rủi ro tín dụng

Rủi ro tín dụng được định nghĩa là nguy cơ mà người vay không thể trả nợ đúng hạn. Các ngân hàng thường phân loại nợ thành nhiều nhóm khác nhau dựa trên khả năng thu hồi nợ. Việc phân loại này không chỉ giúp ngân hàng quản lý rủi ro mà còn hỗ trợ trong việc trích lập dự phòng rủi ro. Theo quy định của Ngân hàng Nhà Nước, nợ được chia thành năm nhóm từ đủ tiêu chuẩn đến có khả năng mất vốn. Mỗi nhóm nợ phản ánh mức độ rủi ro khác nhau và yêu cầu các biện pháp quản lý khác nhau. Việc phân loại này là rất quan trọng trong việc dự đoán rủi ro tín dụng và giúp ngân hàng đưa ra quyết định cho vay hợp lý.

II. Phân tích dữ liệu và mô hình dự đoán

Phân tích dữ liệu là bước quan trọng trong quá trình dự đoán rủi ro tín dụng. Các kỹ thuật như machine learning và thuật toán khai thác dữ liệu được sử dụng để xây dựng mô hình dự đoán. Mô hình này có thể dự đoán khả năng trả nợ của khách hàng dựa trên các thông tin như lịch sử tín dụng, thu nhập, và các yếu tố khác. Việc sử dụng các mô hình như cây quyết định và Support Vector Machine (SVM) đã cho thấy hiệu quả cao trong việc phân loại tín dụng. Đánh giá mô hình dự đoán cũng rất quan trọng, với các chỉ số như mean squared error và mean absolute error được sử dụng để đo lường độ chính xác của mô hình. Điều này giúp các tổ chức tài chính cải thiện quy trình cho vay và giảm thiểu rủi ro.

2.1. Các phương pháp dự đoán rủi ro tín dụng

Có nhiều phương pháp khác nhau để dự đoán rủi ro tín dụng, bao gồm cây quyết định, hồi quy logistic, và SVM. Mỗi phương pháp có ưu điểm và nhược điểm riêng. Cây quyết định dễ hiểu và trực quan, trong khi SVM có khả năng xử lý dữ liệu lớn và phức tạp. Việc lựa chọn phương pháp phù hợp phụ thuộc vào tính chất của dữ liệu và yêu cầu cụ thể của bài toán. Các nghiên cứu đã chỉ ra rằng việc kết hợp nhiều phương pháp có thể mang lại kết quả tốt hơn so với việc sử dụng một phương pháp đơn lẻ. Điều này cho thấy tầm quan trọng của việc áp dụng các kỹ thuật khai phá dữ liệu trong việc dự đoán rủi ro tín dụng.

III. Ứng dụng thực tiễn của khai phá dữ liệu trong tài chính

Khai phá dữ liệu đã được ứng dụng rộng rãi trong lĩnh vực tài chính, đặc biệt là trong việc phân tích rủi ro tín dụng. Các ngân hàng và tổ chức tài chính sử dụng các kỹ thuật khai phá dữ liệu để phát hiện gian lận, tối ưu hóa quy trình cho vay, và cải thiện quan hệ khách hàng. Hệ thống đánh giá rủi ro tín dụng như Falcon và Skicat đã cho thấy hiệu quả trong việc xác định các giao dịch nghi ngờ và phân loại khách hàng. Việc áp dụng khai phá dữ liệu không chỉ giúp giảm thiểu rủi ro mà còn nâng cao hiệu quả kinh doanh. Các tổ chức tài chính có thể sử dụng thông tin từ khai phá dữ liệu để đưa ra quyết định chiến lược và phát triển sản phẩm mới.

3.1. Lợi ích của khai phá dữ liệu trong quản lý rủi ro

Khai phá dữ liệu mang lại nhiều lợi ích cho các tổ chức tài chính trong việc quản lý rủi ro. Việc phân tích dữ liệu lớn giúp các ngân hàng nhận diện các mẫu hành vi của khách hàng, từ đó dự đoán khả năng trả nợ. Điều này không chỉ giúp giảm thiểu rủi ro mà còn tối ưu hóa quy trình cho vay. Hơn nữa, việc phát hiện gian lận sớm có thể bảo vệ tổ chức khỏi những tổn thất lớn. Các ứng dụng của khai phá dữ liệu trong tài chính đã chứng minh được giá trị thực tiễn, giúp các tổ chức nâng cao hiệu quả hoạt động và cải thiện dịch vụ khách hàng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của công nghệ thông tin và dữ liệu lớn, việc khai phá tri thức từ dữ liệu (Knowledge Discovery in Database - KDD) và khai phá dữ liệu (Data Mining - DM) đã trở thành công cụ quan trọng trong nhiều lĩnh vực, đặc biệt là tài chính ngân hàng. Theo báo cáo ngành, tỷ lệ nợ xấu tại Ngân hàng Công Thương Việt Nam cuối năm 2007 duy trì ở mức thấp khoảng 1%, tuy nhiên việc dự đoán rủi ro tín dụng vẫn là thách thức lớn do dữ liệu phân bố không cân bằng và đa dạng về nhóm nợ. Mục tiêu nghiên cứu của luận văn là ứng dụng và đánh giá hiệu quả một số kỹ thuật khai phá dữ liệu trong bài toán dự đoán rủi ro tín dụng, nhằm nâng cao độ chính xác và khả năng phân loại các khoản vay theo nhóm nợ.

Phạm vi nghiên cứu tập trung vào dữ liệu của một ngân hàng thương mại tại Việt Nam, với 32,393 khoản vay doanh nghiệp có tài sản bảo đảm, phân loại theo 5 nhóm nợ theo quy định của Ngân hàng Nhà nước. Nghiên cứu thực hiện trong giai đoạn 2007-2008, sử dụng các kỹ thuật khai phá dữ liệu hiện đại như cây quyết định C4.5, thuật toán AdaBoost.M1 và phương pháp lấy mẫu dữ liệu để xử lý dữ liệu không cân bằng. Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện các chỉ số đánh giá mô hình dự đoán như độ chính xác, recall, F-measure và diện tích dưới đường cong ROC, góp phần hỗ trợ ngân hàng trong quản lý rủi ro tín dụng hiệu quả hơn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: khai phá tri thức từ dữ liệu (KDD) và các thuật toán khai phá dữ liệu (Data Mining). KDD là quá trình lặp gồm các bước làm sạch, tích hợp, lựa chọn, biến đổi dữ liệu, khai phá dữ liệu, đánh giá mẫu và biểu diễn tri thức. Trong đó, khai phá dữ liệu là bước trung tâm nhằm phát hiện các mẫu dữ liệu có ý nghĩa.

Thuật toán cây quyết định C4.5 được sử dụng làm công cụ phân loại chính. C4.5 xây dựng cây dựa trên khái niệm entropy và gain ratio để chọn thuộc tính phân chia dữ liệu, đồng thời hỗ trợ xử lý dữ liệu rời rạc và liên tục, cũng như các giá trị thiếu. Thuật toán AdaBoost.M1 được áp dụng để cải tiến chất lượng mô hình bằng cách kết hợp nhiều cây quyết định, tăng độ chính xác dự đoán.

Các khái niệm chuyên ngành quan trọng bao gồm:

• Rủi ro tín dụng: nguy cơ khách hàng không trả được nợ đúng hạn, được phân loại thành 5 nhóm nợ (A đến E) theo quy định của Ngân hàng Nhà nước.
• Dữ liệu không cân bằng (Imbalanced data): tập dữ liệu có sự phân bố không đồng đều giữa các lớp, trong đó nhóm nợ xấu chiếm tỷ lệ rất nhỏ.
• Lấy mẫu lên (Oversampling) và lấy mẫu xuống (Undersampling): kỹ thuật xử lý dữ liệu để cân bằng phân bố lớp.
• F-measure, Recall, Precision, ROC Area: các chỉ số đánh giá hiệu quả mô hình phân loại.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là tập hợp 32,393 khoản vay doanh nghiệp có tài sản bảo đảm từ một ngân hàng thương mại Việt Nam, được phân loại theo 5 nhóm nợ. Dữ liệu bao gồm 19 thuộc tính liên quan đến khách hàng, phương án sản xuất kinh doanh, tài sản bảo đảm và các thông tin khác.

Phương pháp nghiên cứu gồm các bước:

1. Tiền xử lý dữ liệu: làm sạch dữ liệu, xử lý giá trị thiếu, rời rạc hóa các thuộc tính số như thời hạn khoản vay, số tiền vay, phần trăm bảo đảm.
2. Lấy mẫu dữ liệu: áp dụng các kỹ thuật lấy mẫu lên, lấy mẫu xuống và kết hợp để xử lý dữ liệu không cân bằng.
3. Xây dựng mô hình: sử dụng thuật toán cây quyết định C4.5 với và không cắt tỉa cây, kết hợp thuật toán AdaBoost.M1 để cải tiến mô hình.
4. Đánh giá mô hình: sử dụng phương pháp Cross-validation 10-fold, đánh giá bằng các chỉ số độ chính xác, recall, F-measure và ROC Area.
5. Hợp nhất lớp: chuyển bài toán dự đoán 5 nhóm nợ thành 2 nhóm nợ chính (nợ tốt và nợ xấu) để cải thiện hiệu quả dự đoán.

Thời gian nghiên cứu tập trung vào năm 2007-2008, địa điểm nghiên cứu là một ngân hàng thương mại tại Việt Nam.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của cây quyết định C4.5 không cắt tỉa trên tập dữ liệu 5 lớp (D1):

   • Độ chính xác đạt 91.22%, với 29,533 mẫu phân lớp đúng trên tổng số 32,376 mẫu.
   • Recall nhóm nợ tốt (lớp A, B) đạt khoảng 0.91, nhóm nợ xấu (lớp C, D, E) thấp hơn, khoảng 0.62.
   • Kích thước cây lớn với 48,511 lá, dễ gây quá khớp.

2. Ảnh hưởng của cắt tỉa cây C4.5 trên tập D1:

   • Kích thước cây giảm mạnh còn 15,449 lá, giảm nguy cơ quá khớp.
   • Độ chính xác giảm nhẹ còn 90.91%.
   • Recall và F-measure của nhóm nợ xấu giảm, cho thấy cắt tỉa làm giảm khả năng phát hiện nợ xấu.

3. Cải tiến bằng thuật toán AdaBoost.M1 kết hợp với C4.5:

   • Trên tập D1 không cắt tỉa, độ chính xác tăng lên 91.62%, recall nhóm nợ xấu tăng 6.7%, F-measure tăng 5.8%.
   • Kích thước cây tăng lên 30,992 lá, nhưng hiệu quả dự đoán được cải thiện rõ rệt.

4. Hợp nhất lớp nợ thành 2 nhóm (D2) giúp cải thiện kết quả:

   • Độ chính xác dự đoán trên tập D2 đạt 97.72% không cắt tỉa, tăng hơn 6.5% so với tập 5 lớp.
   • Recall nhóm nợ xấu (C_D_E) tăng nhẹ, F-measure cũng tăng khoảng 3.7%.
   • Cắt tỉa cây trên D2 giảm kích thước cây còn 3,090 lá, độ chính xác không thay đổi nhiều.

Thảo luận kết quả

Kết quả cho thấy việc không cắt tỉa cây quyết định C4.5 giúp giữ lại nhiều thông tin chi tiết, từ đó tăng khả năng phát hiện các khoản vay rủi ro cao, tuy nhiên kích thước cây lớn gây khó khăn trong việc diễn giải và có thể dẫn đến quá khớp. Việc áp dụng thuật toán AdaBoost.M1 cải thiện đáng kể hiệu quả dự đoán, đặc biệt là với nhóm nợ xấu, nhờ khả năng kết hợp nhiều mô hình yếu thành mô hình mạnh.

Hợp nhất các nhóm nợ thành 2 lớp chính giúp giảm độ phức tạp của bài toán, đồng thời tăng độ chính xác và khả năng phân biệt giữa nợ tốt và nợ xấu. Tuy nhiên, việc này làm mất đi sự phân biệt chi tiết giữa các nhóm nợ xấu, có thể ảnh hưởng đến các quyết định quản lý rủi ro cụ thể.

So sánh với các nghiên cứu trong ngành, kết quả phù hợp với xu hướng sử dụng kỹ thuật ensemble và xử lý dữ liệu không cân bằng để nâng cao chất lượng dự đoán rủi ro tín dụng. Các biểu đồ ROC và ma trận confusion minh họa rõ sự cải thiện về độ nhạy và độ đặc hiệu của mô hình khi áp dụng AdaBoost.M1 và hợp nhất lớp.

Đề xuất và khuyến nghị

1. Áp dụng thuật toán AdaBoost.M1 kết hợp cây quyết định C4.5 không cắt tỉa để nâng cao độ chính xác dự đoán rủi ro tín dụng, đặc biệt trong việc phát hiện các khoản vay có nguy cơ cao. Thời gian triển khai: 6-12 tháng, chủ thể: bộ phận phân tích rủi ro ngân hàng.

2. Sử dụng kỹ thuật lấy mẫu dữ liệu kết hợp (oversampling và undersampling) để xử lý dữ liệu không cân bằng, giúp cải thiện khả năng học của mô hình đối với nhóm nợ xấu. Thời gian: 3-6 tháng, chủ thể: nhóm khoa học dữ liệu.

3. Chuyển đổi bài toán dự đoán 5 nhóm nợ thành 2 nhóm nợ chính trong các ứng dụng thực tế để tăng hiệu quả dự đoán và đơn giản hóa quy trình phân loại. Thời gian: 3 tháng, chủ thể: phòng quản lý tín dụng.

4. Phát triển hệ thống tự động trích xuất luật từ cây quyết định để hỗ trợ chuyên gia ngân hàng trong việc ra quyết định dựa trên các quy tắc rõ ràng, dễ hiểu. Thời gian: 6 tháng, chủ thể: bộ phận công nghệ thông tin.

5. Đào tạo và nâng cao nhận thức cho cán bộ ngân hàng về khai phá dữ liệu và các kỹ thuật dự đoán rủi ro nhằm tận dụng tối đa các công cụ phân tích hiện đại. Thời gian: liên tục, chủ thể: phòng nhân sự và đào tạo.

Đối tượng nên tham khảo luận văn

1. Chuyên viên phân tích rủi ro tín dụng tại các ngân hàng thương mại: giúp hiểu rõ các kỹ thuật khai phá dữ liệu ứng dụng trong dự đoán rủi ro, từ đó nâng cao hiệu quả quản lý nợ xấu.

2. Nhà khoa học dữ liệu và kỹ sư phân tích dữ liệu: cung cấp kiến thức chuyên sâu về xử lý dữ liệu không cân bằng, áp dụng thuật toán cây quyết định và boosting trong lĩnh vực tài chính.

3. Giảng viên và sinh viên ngành Công nghệ thông tin, Tài chính - Ngân hàng: làm tài liệu tham khảo về ứng dụng thực tiễn của các thuật toán khai phá dữ liệu trong bài toán dự đoán rủi ro tín dụng.

4. Quản lý ngân hàng và nhà hoạch định chính sách tín dụng: hỗ trợ ra quyết định dựa trên các mô hình dự đoán chính xác, từ đó xây dựng chính sách tín dụng phù hợp và giảm thiểu rủi ro.

Câu hỏi thường gặp

1. Tại sao phải xử lý dữ liệu không cân bằng trong bài toán dự đoán rủi ro tín dụng?
   Dữ liệu không cân bằng khiến mô hình thiên về lớp chiếm đa số, làm giảm khả năng phát hiện các khoản vay rủi ro cao. Kỹ thuật lấy mẫu lên và xuống giúp cân bằng dữ liệu, cải thiện độ nhạy của mô hình với nhóm nợ xấu.

2. Cây quyết định C4.5 có ưu điểm gì so với các thuật toán khác?
   C4.5 dễ hiểu, xử lý được cả dữ liệu rời rạc và liên tục, có khả năng xử lý giá trị thiếu và cho phép cắt tỉa cây để tránh quá khớp, phù hợp với các bài toán phân loại phức tạp như dự đoán rủi ro tín dụng.

3. Boosting (AdaBoost.M1) giúp cải thiện mô hình như thế nào?
   AdaBoost kết hợp nhiều mô hình yếu thành mô hình mạnh, tập trung vào các mẫu khó phân loại, từ đó tăng độ chính xác và khả năng dự đoán, đặc biệt hiệu quả với dữ liệu không cân bằng.

4. Việc hợp nhất nhóm nợ có ảnh hưởng gì đến kết quả dự đoán?
   Hợp nhất nhóm nợ giúp giảm số lớp cần phân loại, tăng độ chính xác tổng thể và đơn giản hóa mô hình, nhưng có thể làm mất thông tin chi tiết về mức độ rủi ro từng nhóm nợ cụ thể.

5. Làm thế nào để áp dụng kết quả nghiên cứu vào thực tế ngân hàng?
   Ngân hàng có thể triển khai hệ thống dự đoán dựa trên mô hình cây quyết định kết hợp AdaBoost, đồng thời đào tạo nhân viên sử dụng và giải thích kết quả, từ đó hỗ trợ quyết định cho vay và quản lý rủi ro hiệu quả hơn.

Kết luận

• Nghiên cứu đã ứng dụng thành công các kỹ thuật khai phá dữ liệu, đặc biệt là cây quyết định C4.5 và thuật toán AdaBoost.M1, vào bài toán dự đoán rủi ro tín dụng với dữ liệu thực tế của ngân hàng Việt Nam.
• Việc xử lý dữ liệu không cân bằng bằng kỹ thuật lấy mẫu và hợp nhất nhóm nợ giúp cải thiện đáng kể hiệu quả dự đoán, đặc biệt với nhóm nợ xấu chiếm tỷ lệ nhỏ.
• C4.5 không cắt tỉa cây kết hợp AdaBoost.M1 cho kết quả dự đoán tốt hơn so với cắt tỉa cây hoặc không sử dụng boosting.
• Các luật rút trích từ cây quyết định cung cấp tri thức mới, hỗ trợ chuyên gia ngân hàng trong việc đánh giá và quản lý rủi ro tín dụng.
• Đề xuất triển khai mô hình trong thực tế, đồng thời tiếp tục nghiên cứu mở rộng với các thuật toán mới và dữ liệu đa dạng hơn trong tương lai.

Khuyến nghị các ngân hàng thương mại áp dụng mô hình dự đoán rủi ro tín dụng dựa trên cây quyết định kết hợp boosting, đồng thời đầu tư vào hệ thống dữ liệu và đào tạo nhân sự để nâng cao hiệu quả quản lý rủi ro.

Trích đoạn nội dung tài liệu

Chương 1 - TỔNG QUAN KHAI PHÁ TRI THỨC TỪ DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU 1.1 Giới thiệu khai phá tri thức từ dữ liệu và khai phá dữ liệu Hiện nay có nhiều ñịnh nghĩa về khai phá dữ liệu: theo Witten [2] khai phá dữ liệu là quá trình khai phá các mẫu trong dữ liệu. Quá trình phải là tự ñộng hoặc bán tự ñộng. Các mẫu khám phá phải có ý nghĩa. Còn theo Dunham[3] thì khai phá dữ liệu là quá trình tìm kiếm thông tin ẩn chứa trong dữ liệu.

Hay ñịnh nghĩa của Roiger thì khai phá dữ liệu là quá trình tận dụng một hay một số kỹ thuật học máy ñể tự ñộng phân tích và trích chọn tri thức từ dữ liệu bên trong CSDL. Tựu chung lại thì khai phá dữ liệu (DM) là phân tích tập dữ liệu quan sát lớn ñể tìm ra các mối liên hệ hiển nhiên và tổng quát hóa dữ liệu theo các cách ñể hiểu ñược và có ý nghĩa cho chính dữ liệu. DM là một quá trình khai phá các tri thức mới và các tri thức có ích ở dạng tiềm năng trong nguồn dữ liệu ñã có. DM chỉ là một bước của quá trình khai phá tri thức từ dữ liệu (KDD - Knowledge Discovery in Data Process).

Quá trình KDD Quá trình khai phá tri thức từ dữ liệu bao gồm một số bước từ các bộ dữ liệu ñến tri thức mới. Quá trình này bao gồm các bước lặp như sau [4]: Hình 1.1 – Quá trình KDD. • Làm sạch dữ liệu (Data cleaning): giai ñoạn này thực hiện việc loại bỏ các dữ liệu nhiễu, dữ liệu không phù hợp khỏi bộ dữ liệu ñược sử dụng ñể khai phá tri thức. z 13 • Tích hợp dữ liệu (Data integration): trong giai ñoạn này nhiều nguồn dữ liệu, thường là hỗn hợp sẽ ñược tổng hợp vào một nguồn phổ biến.

• Lựa chọn dữ liệu (Data selection): trong bước này, dữ liệu không liên quan ñược phân tích ñể quyết ñịnh giữ lại hay loại bỏ khỏi tập dữ liệu. Giai ñoạn này thực hiện việc lựa chọn các trường của mỗi mẫu dữ liệu ñể thực hiện khai phá tri thức thu ñược kết quả cao. • Biến ñổi dữ liệu (Data transformation): có thể coi như hợp nhất dữ liệu, ñây là giai ñoạn mà dữ liệu ñược lựa chọn ñược biến ñổi vào các mẫu thích hợp cho quá trình khai phá. • Khai phá dữ liệu (Data mining): ñây là giai ñoạn quyết ñịnh của quá trình khai phá tri thức từ dữ liệu.

Các kỹ thuật ñược sử dụng trong giai ñoạn này nhằm lấy ra các mẫu hữu ích tiềm ẩn. • ðánh giá các mẫu (Pattern evaluation): trong bước này, các mẫu biểu diễn tri thức hấp dẫn ñược nhận biết dựa trên các ñộ ño ñược ñưa ra. • Biểu diễn tri thức (Knowledge representation): là giai ñoạn cuối của quá trình khai phá tri thức từ dữ liệu, nhằm biểu diễn trực quan tri thức cho người dùng. Bước quan trọng này sử dụng các kỹ thuật trực quan ñể giúp người sử dụng hiểu và biểu diễn các kết quả khai phá dữ liệu.

Thông thường một số bước ñược gộp lại với nhau. Ví dụ làm sạch dữ liệu (data cleaning) và tích hợp dữ liệu có thể ñược gộp với nhau thành giai ñoạn tiền xử lý dữ liệu (preprocessing) ñể sinh ra một kho dữ liệu (data warehouse). Lựa chọn dữ liệu (data selection) và biến ñổi dữ liệu (data transformation) có thể ñược gộp lại thành giai ñoạn hợp nhất dữ liệu, các dữ liệu ñược lựa chọn sẽ ñược biến ñổi ñể tạo thành tập dữ liệu có ñịnh dạng thống nhất. KDD là một quá trình lặp.

Mỗi khi tri thức khai phá ñược biểu diễn cho người dùng, các ñộ ño ñánh giá có thể ñược nâng cao, khai phá có thể ñược cải tiến trong tương lai, dữ liệu mới có thể ñược chọn hoặc biến ñổi trong tương lai, hoặc các nguồn dữ liệu mới có thể ñược tích hợp nhằm thu ñược các kết quả khác, thích hợp hơn. Quá trình Data mining Quá trình khai phá dữ liệu chỉ là một giai ñoạn của khai phá tri thức trong CSDL. Quá trình này phải ñáng tin cậy và có thể dùng lại ñối với người dùng ít hiểu biết về Data mining. Do ñó quy trình chuẩn công nghiệp Cross cho khai phá dữ liệu (CRISP-DM: CRoss Industry Standard Process for Data mining) ñã ñược một số tổ chức, công ty (SPSS/ISL, NCR, Daimler-Benz, OHRA) hợp tác phát triển và công bố z 14 năm 1996.

CRISP là một tiến trình chuẩn miễn phí, ñược sử dụng ñể xử lý vấn ñề khai phá dữ liệu trong thương mại và nghiên cứu [5]. CRISP-DM là một vòng ñời bao gồm 6 giai ñoạn, ñược biểu diễn như hình sau: Hình 1.2 – Quá trình CRISP-DM. • Tìm hiểu nghiệp vụ (Business understanding): ñây là giai ñoạn ñầu tiên của quá trình chuẩn CRISP-DM, cũng có thể ñược hiểu là giai ñoạn tìm hiểu nghiên cứu.
Phát biểu các mục tiêu của dự án và các yêu cầu rõ ràng trong phạm vi yêu cầu nghiệp vụ hoặc nghiên cứu.

Biến ñổi các mục tiêu và các giới hạn vào các mẫu phát biểu ñịnh nghĩa vấn ñề của data mining. Chuẩn bị ñưa ra các chiến lược ñể ñạt ñược những mục tiêu. • Tìm hiểu dữ liệu (Data understanding): giai ñoạn này gồm các công việc chính là:
Tập hợp dữ liệu.
Sử dụng các phân tích dữ liệu mang tính thăm dò ñể hiểu dữ liệu và khai phá sự hiểu biết ban ñầu
ðánh giá chất lượng dữ liệu z 15
Nếu ñược ñề nghị thì lựa chọn các tập con hấp dẫn mà có thể gồm các mẫu có thể hữu ích.

• Chuẩn bị dữ liệu (Data preparation): chuẩn bị dữ liệu từ những dòng ban ñầu ñến tập dữ liệu cuối cùng ñược sử dụng trong các giai ñoạn sau. Giai ñoạn này lựa chọn các tình huống và các biến mà ta muốn phân tích mà liên quan ñến phân tích của chúng ta. Thực hiện các biến ñổi trên các biến chắc chắn, nếu cần thiết. Làm sạch các dòng dữ liệu ñã sẵn sàng cho các công cụ mô hình hóa • Mô hình hóa (Modeling): giai ñoạn này bao gồm các công việc chính là:
Lựa chọn và sử dụng các kỹ thuật mô hình hóa phù hợp.

Chỉnh sửa các thiết lập mô hình ñể tối ưu các kết quả.
Nếu cần thiết, lặp lại giai ñoạn chuẩn bị dữ liệu (preparation) ñể lấy các mẫu của dữ liệu vào các yêu cầu cụ thể của một kỹ thuật khai phá dữ liệu. • ðánh giá (Evaluation): ðánh giá chất lượng và hiệu lực của một hoặc nhiều mô hình ñược thực hiện trong giai ñoạn mô hình hóa trước khi triển khai chúng cho sử dụng trong thực tế. Xác ñịnh mô hình thực tế ñã thu ñược tập mục tiêu ở giai ñoạn ñầu tiên hay chưa.

ðưa vào một số khía cạnh quan trọng của vấn ñề nghiệp vụ hoặc nghiên cứu mà chưa thu ñược thích ñáng. ði ñến các quyết ñịnh sử dụng các kết quả khai phá dữ liệu. • Triển khai (Deployment): Sử dụng các mô hình ñã tạo: Tạo các mô hình không có nghĩa là hoàn thành dự án. Thí ñiểm một triển khai ñơn giản: sinh ra báo cáo.

Thí ñiểm triển khai phức tạp hơn: thực hiện quá trì khai phá dữ liệu song song trong bộ phận khác. Với một tập các dữ liệu huấn luyện cho trước và sự huấn luyện của con người, các giải thuật phân loại sẽ học ra bộ phân loại (classifier) dùng ñể phân các dữ liệu mới vào một trong z 16 những lớp (còn gọi là loại) ñã ñược xác ñịnh trước. Nhận dạng cũng là một bài toán thuộc kiểu Phân loại. Các giải thuật Tìm luật liên kết (Association Rule) tìm kiếm các mối liên kết giữa các phần tử dữ liệu, ví dụ như nhóm các món hàng thường ñược mua kèm với nhau trong siêu thị.

Các kỹ thuật Phân cụm (Clustering) sẽ nhóm các ñối tượng dữ liệu có tính chất giống nhau vào cùng một nhóm. Mỗi cụm là một tập hợp các ñối tượng dữ liệu giống nhau và khác với các ñối tượng cụm khác. Phân cụm khác với phân lớp ở chỗ không có biến ñích cho phân cụm. Phân cụm không cố gắng phân lớp, ước lượng, dự ñoán giá trị của một biến ñích.

Thay vào ñó, các thuật toán phân cụm sẽ tìm các mảng dữ liệu có quan hệ với nhau tạo thành các nhóm hoặc các cụm. Mô tả dữ liệu (Description): ñôi khi các nhà nghiên cứu và phân tích thường tìm các cách ñể mô tả các mẫu và xu hướng của dữ liệu. Các mô hình khai phá dữ liệu có thể trong suốt. Vì vậy kết quả của mô hình khai phá dữ liệu phải mô tả các mẫu rõ ràng như hình cây, các luật hay ñồ họa.

Ước lượng (Estimation): tương tự như phân lớp ngoại trừ biến ñích là số thay vì chủ ñề như phân lớp. Các mô hình ñược xây dựng sử dụng các bản ghi ñầy ñủ, nó cung cấp giá trị của biến ñích như dự ñoán. Sau ñó các quan sát mới, ñánh giá giá trị của biến ñích ñược thực hiện, dựa vào các giá trị của dự ñoán. Ví dụ: ước lượng số bệnh nhân huyết áp cao trong bệnh viện dựa vào ñộ tuổi, giới tính, … Quan hệ giữa bệnh nhân huyết áp cao và các biến dự ñoán trong tập huấn luyện sẽ cung cấp cho ta mô hình ước lượng.

Chúng ta có thể sử dụng mô hình này cho các trường hợp mới. Dự ñoán (Prediction): Tương tự như phân lớp và ước lượng. Tuy nhiên dự ñoán ñưa ra kết quả là trong tương lai. Bài toán dự ñoán rủi ro tín dụng trong luận văn là một ví dụ của dự ñoán.

Bất kỳ phương pháp và kỹ thuật nào sử dụng cho phân lớp và ước lượng ñều có thể sử dụng(thích hợp) cho dự ñoán.3 ðánh giá mô hình dự ñoán ðể ñánh giá một mô hình dự ñoán người ta thường sử dụng một số ñộ ño như bảng sau [7]: z 17 ðộ ño Công thức mean-squared error ( p1 − a1 ) +. + ( p n − a n ) 2 n mean absolute error | p1 − a1 | +.+ | p n − an | 2 2 n relative squared error ( p1 − a1 ) 2 + .+ | a n − a | 2 , a = ∑ ai n i relative absolute error ( p1 − a1 ) 2 + .+ | a n − a | 2 root relative squared error | p1 − a1 | +.+ | a n − a | correlatinon coeffcient S PA ∑ ( pi − p)(ai − a ) , S PA = i SP S A n −1 S = ∑ ( p − p ) , S = ∑ (a − a ) i i 2 i i 2 n −1 n −1 P A Bảng 1.1- Các ñộ ño ñánh giá mô hình dự ñoán.