Luận văn thạc sĩ: Ứng dụng khai phá dữ liệu để giảm thiểu rủi ro tín dụng

Luận văn thạc sĩ nghiên cứu ứng dụng khai phá dữ liệu để giảm thiểu rủi ro tín dụng, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực .

• Tác giả: Trần Xuân Lợi
• Người hướng dẫn: TS. Nguyễn Trọng Dũng
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Giảm Thiểu Rủi Ro Tín Dụng Bằng Khai Phá Dữ Liệu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2010
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: NGHIÊN CỨU CƠ SỞ LÝ THUYẾT
• 1.1. Sơ lược về khai phá dữ liệu
• 1.2. Khai phá luật kết hợp
• 1.2.1. Luật kết hợp trong cơ sở dữ liệu
• 2. CHƯƠNG 2: LÝ THUYẾT VỀ RỦI RO TÍN DỤNG
• 2.1. Tổng quan về ngân hàng thương mại
• 2.2. Phân nhóm khách hàng
• 3. CHƯƠNG 3: ỨNG DỤNG KHAI PHÁ DỮ LIỆU, ÁP DỤNG VỚI NGUỒN DỮ LIỆU CỦA NGÂN HÀNG KỸ THƯƠNG VIỆT NAM TECHCOMBANK
• 3.1. Hệ thống xếp hạng tín dụng của ngân hàng Techcombank
• 3.2. Thống kê với dữ liệu ScoringF1
• 3.3. Thống kê với dữ liệu ScoringF2
• 3.4. Dữ liệu tín dụng của khách hàng
• 4. CHƯƠNG 4: KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về rủi ro tín dụng

Rủi ro tín dụng là khả năng mất vốn khi khách hàng không thực hiện đầy đủ nghĩa vụ nợ. Điều này có thể dẫn đến chất lượng các khoản nợ suy giảm, ảnh hưởng đến hoạt động của ngân hàng. Quản lý rủi ro tín dụng là một phần quan trọng trong hoạt động của ngân hàng thương mại. Việc áp dụng các phương pháp khai thác dữ liệu giúp ngân hàng có thể dự đoán và giảm thiểu rủi ro này. Theo một nghiên cứu, việc sử dụng công nghệ thông tin trong quản lý rủi ro tín dụng có thể nâng cao hiệu quả trong việc phân loại khách hàng và đánh giá khả năng trả nợ. Điều này không chỉ giúp ngân hàng bảo vệ vốn mà còn nâng cao chất lượng dịch vụ. Việc phát hiện sớm các dấu hiệu rủi ro sẽ giúp ngân hàng có biện pháp kịp thời, từ đó giảm thiểu tổn thất. Như vậy, việc ứng dụng khai thác dữ liệu trong quản lý rủi ro tín dụng là cần thiết và có ý nghĩa thực tiễn cao.

II. Khai thác dữ liệu trong quản lý rủi ro tín dụng

Khai thác dữ liệu là quá trình tìm kiếm và phân tích thông tin từ các nguồn dữ liệu lớn. Trong lĩnh vực ngân hàng, khai thác dữ liệu giúp phát hiện các mẫu và xu hướng trong hành vi của khách hàng. Việc áp dụng các thuật toán như Naïve Bayes hay phân lớp giúp ngân hàng phân loại khách hàng theo mức độ rủi ro. Các mô hình này có thể dự đoán khả năng trả nợ của khách hàng dựa trên các yếu tố như thu nhập, lịch sử tín dụng và các thông tin cá nhân khác. Hệ thống thông tin tín dụng được xây dựng từ các dữ liệu này sẽ cung cấp cho ngân hàng cái nhìn tổng quan về tình hình tài chính của khách hàng. Điều này không chỉ giúp ngân hàng đưa ra quyết định chính xác hơn mà còn nâng cao khả năng cạnh tranh trên thị trường. Việc sử dụng công nghệ thông tin trong khai thác dữ liệu cũng giúp tiết kiệm thời gian và nguồn lực cho ngân hàng.

III. Quy trình khai thác dữ liệu trong tín dụng

Quy trình khai thác dữ liệu bao gồm nhiều bước từ việc thu thập dữ liệu đến việc phân tích và trình bày kết quả. Đầu tiên, dữ liệu cần được làm sạch để loại bỏ các thông tin không cần thiết. Sau đó, dữ liệu sẽ được tích hợp từ nhiều nguồn khác nhau để tạo thành một kho dữ liệu lớn. Tiếp theo, các phương pháp phân tích sẽ được áp dụng để tìm ra các mẫu và xu hướng trong dữ liệu. Việc đánh giá các mẫu này là rất quan trọng để đảm bảo tính chính xác và hữu ích của thông tin. Cuối cùng, kết quả sẽ được trình bày một cách trực quan để người dùng có thể dễ dàng hiểu và áp dụng. Quy trình này không chỉ giúp ngân hàng nâng cao chất lượng dịch vụ mà còn giảm thiểu rủi ro tín dụng một cách hiệu quả.

IV. Ứng dụng thực tiễn của khai thác dữ liệu

Việc ứng dụng khai thác dữ liệu trong quản lý rủi ro tín dụng đã mang lại nhiều lợi ích cho các ngân hàng. Một trong những ứng dụng nổi bật là hệ thống xếp hạng tín dụng. Hệ thống này giúp ngân hàng phân loại khách hàng theo mức độ rủi ro, từ đó đưa ra quyết định cho vay hợp lý. Ngoài ra, việc sử dụng các mô hình khai thác dữ liệu cũng giúp ngân hàng phát hiện sớm các dấu hiệu của nợ xấu. Điều này không chỉ giúp bảo vệ vốn mà còn nâng cao uy tín của ngân hàng trong mắt khách hàng. Các ngân hàng có thể sử dụng các công cụ phân tích để tối ưu hóa quy trình cho vay, từ đó nâng cao hiệu quả kinh doanh. Như vậy, việc ứng dụng khai thác dữ liệu trong quản lý rủi ro tín dụng không chỉ mang lại lợi ích cho ngân hàng mà còn cho cả khách hàng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ thông tin và sự gia tăng khối lượng dữ liệu trong các tổ chức tài chính, khai phá dữ liệu (Data Mining) đã trở thành công cụ thiết yếu để trích xuất tri thức hữu ích từ kho dữ liệu khổng lồ. Theo ước tính, các ngân hàng thương mại tại Việt Nam đang quản lý hàng triệu giao dịch tín dụng mỗi năm, trong đó rủi ro tín dụng là một trong những thách thức lớn nhất ảnh hưởng trực tiếp đến hiệu quả hoạt động và an toàn tài chính. Rủi ro tín dụng được hiểu là khả năng mất vốn khi khách hàng không thực hiện đầy đủ nghĩa vụ trả nợ, dẫn đến chất lượng các khoản nợ suy giảm.

Mục tiêu nghiên cứu của luận văn là ứng dụng các kỹ thuật khai phá dữ liệu để nâng cao chất lượng hệ thống xếp hạng tín dụng tại Ngân hàng Kỹ thương Việt Nam (Techcombank), từ đó giảm thiểu rủi ro tín dụng, nâng cao hiệu quả quản trị và ra quyết định cấp tín dụng. Nghiên cứu tập trung phân tích dữ liệu tín dụng cá nhân và doanh nghiệp trong giai đoạn 2008-2010, sử dụng các thuật toán khai phá dữ liệu như luật kết hợp, cây quyết định và Naïve Bayes để xây dựng mô hình phân loại khách hàng theo mức độ rủi ro.

Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện độ chính xác của hệ thống xếp hạng tín dụng, giúp ngân hàng giảm tỷ lệ nợ xấu, tối ưu hóa hạn mức tín dụng và điều chỉnh lãi suất phù hợp với từng nhóm khách hàng. Qua đó, ngân hàng có thể nâng cao năng lực cạnh tranh và đảm bảo sự phát triển bền vững trong môi trường kinh tế đầy biến động.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình chính sau:

• Khai phá dữ liệu (Data Mining): Quá trình tự động phát hiện các mẫu dữ liệu có giá trị, mới và hữu ích trong kho dữ liệu lớn. Các khái niệm trọng tâm bao gồm tập mục (itemset), giao dịch (transaction), độ hỗ trợ (support), độ tin cậy (confidence), và luật kết hợp (association rules). Quy trình khai phá dữ liệu gồm các bước làm sạch, tích hợp, chọn lọc, chuyển đổi, khai phá, đánh giá và trình diễn dữ liệu.

• Luật kết hợp (Association Rules): Mô hình khai thác các mối quan hệ giữa các tập mục trong cơ sở dữ liệu, được đo bằng độ hỗ trợ và độ tin cậy. Ví dụ, trong dữ liệu giao dịch, luật "Bánh mì → Đậu phụng" có độ hỗ trợ 60% và độ tin cậy 75%, cho thấy 60% giao dịch chứa cả hai mục và 75% giao dịch có bánh mì cũng có đậu phụng.

• Phân lớp (Classification): Phương pháp phân loại các đối tượng vào các nhóm dựa trên thuộc tính đặc trưng. Ba phương pháp phân lớp chính được áp dụng là cây quyết định (Decision Tree), luật phân lớp (Rule-based Classification) và Naïve Bayes. Cây quyết định sử dụng độ đo thông tin (information gain) để chọn thuộc tính phân chia dữ liệu; luật phân lớp xây dựng các quy tắc IF-THEN từ dữ liệu; Naïve Bayes dựa trên định lý Bayes và giả định các thuộc tính độc lập.

• Lý thuyết rủi ro tín dụng: Bao gồm khái niệm rủi ro tín dụng, phân loại nợ theo mức độ rủi ro (nợ đủ tiêu chuẩn, nợ cần chú ý, nợ dưới tiêu chuẩn, nợ nghi ngờ, nợ có khả năng mất vốn), và hệ thống xếp hạng tín dụng doanh nghiệp theo thang điểm từ AAA đến D, phản ánh mức độ rủi ro và chính sách tín dụng tương ứng.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Dữ liệu tín dụng của khách hàng cá nhân và doanh nghiệp tại Ngân hàng Techcombank giai đoạn 2008-2010, bao gồm thông tin giao dịch, hồ sơ khách hàng, hạn mức tín dụng, và lịch sử trả nợ.

• Cỡ mẫu: Khoảng vài nghìn giao dịch tín dụng được chọn lọc và làm sạch để đảm bảo tính đại diện và chất lượng dữ liệu.

• Phương pháp chọn mẫu: Sử dụng phương pháp chọn mẫu ngẫu nhiên có kiểm soát nhằm bao phủ đa dạng các nhóm khách hàng và mức độ rủi ro khác nhau.

• Phương pháp phân tích: Áp dụng thuật toán Apriori để khai thác luật kết hợp, xây dựng cây quyết định dựa trên độ đo thông tin để phân lớp khách hàng, và sử dụng mô hình Naïve Bayes để dự báo khả năng trả nợ. Các mô hình được huấn luyện trên tập huấn luyện (training set) và kiểm định trên tập kiểm thử (test set) để đánh giá độ chính xác.

• Timeline nghiên cứu: Quá trình nghiên cứu kéo dài trong 12 tháng, bao gồm thu thập và xử lý dữ liệu (3 tháng), xây dựng mô hình (5 tháng), kiểm định và điều chỉnh mô hình (3 tháng), và tổng hợp kết quả, viết luận văn (1 tháng).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của khai phá dữ liệu trong phân loại rủi ro tín dụng: Mô hình cây quyết định đạt độ chính xác phân lớp khoảng 85%, trong khi Naïve Bayes đạt khoảng 80%. Việc áp dụng luật kết hợp giúp phát hiện các mối quan hệ tiềm ẩn giữa các thuộc tính khách hàng và rủi ro tín dụng, ví dụ: khách hàng có thu nhập thấp và không có tài sản đảm bảo có tỷ lệ nợ xấu cao hơn 30% so với nhóm còn lại.

2. Cải thiện hệ thống xếp hạng tín dụng ScoringF2: Qua khai phá dữ liệu, hệ thống ScoringF2 được điều chỉnh lại giúp giảm tỷ lệ nợ xấu trong nhóm khách hàng tín chấp từ khoảng 12% xuống còn 7%, đồng thời tăng tỷ lệ phân loại chính xác khách hàng rủi ro cao lên 15%.

3. Phân tích đặc điểm khách hàng theo hạng tín dụng: Dữ liệu cho thấy nhóm khách hàng có trình độ học vấn cao và vị trí công tác ổn định có tỷ lệ nợ xấu thấp hơn 20% so với nhóm còn lại. Ngoài ra, nhóm khách hàng sử dụng phương tiện đi lại cá nhân có tỷ lệ nợ xấu thấp hơn 10% so với nhóm không có phương tiện.

4. Tác động của tài sản đảm bảo: Khách hàng có tài sản đảm bảo có tỷ lệ nợ xấu thấp hơn 25% so với nhóm không có tài sản đảm bảo, cho thấy vai trò quan trọng của đảm bảo tín dụng trong giảm thiểu rủi ro.

Thảo luận kết quả

Kết quả nghiên cứu khẳng định tính hiệu quả của việc ứng dụng khai phá dữ liệu trong quản trị rủi ro tín dụng tại ngân hàng thương mại. Mô hình cây quyết định và Naïve Bayes đều cho phép phân loại khách hàng với độ chính xác cao, phù hợp với các nghiên cứu trong ngành tài chính quốc tế. Việc điều chỉnh hệ thống xếp hạng tín dụng ScoringF2 dựa trên các luật kết hợp giúp ngân hàng nhận diện sớm các dấu hiệu rủi ro, từ đó có biện pháp xử lý kịp thời.

So sánh với các nghiên cứu trước đây, tỷ lệ giảm nợ xấu và tăng độ chính xác phân loại của nghiên cứu này tương đương hoặc vượt trội hơn, nhờ vào việc sử dụng dữ liệu thực tế của Techcombank và áp dụng các thuật toán khai phá dữ liệu tiên tiến. Các biểu đồ phân bố tỷ lệ nợ xấu theo hạng tín dụng và bảng so sánh độ chính xác mô hình minh họa rõ nét hiệu quả của phương pháp nghiên cứu.

Ngoài ra, việc phân tích đặc điểm khách hàng theo các tiêu chí như trình độ học vấn, vị trí công tác, phương tiện đi lại và tài sản đảm bảo cung cấp cơ sở dữ liệu quan trọng để ngân hàng xây dựng chính sách tín dụng phù hợp, giảm thiểu rủi ro mất vốn.

Đề xuất và khuyến nghị

1. Triển khai hệ thống khai phá dữ liệu tự động: Ngân hàng nên xây dựng và vận hành hệ thống khai phá dữ liệu tự động để liên tục cập nhật và phân tích dữ liệu khách hàng, giúp phát hiện sớm các dấu hiệu rủi ro tín dụng. Mục tiêu là giảm tỷ lệ nợ xấu ít nhất 5% trong vòng 12 tháng tới.

2. Điều chỉnh chính sách xếp hạng tín dụng: Dựa trên kết quả khai phá dữ liệu, ngân hàng cần điều chỉnh các tiêu chí và ngưỡng điểm trong hệ thống xếp hạng tín dụng, đặc biệt là hệ thống ScoringF2, nhằm nâng cao độ chính xác phân loại khách hàng. Thời gian thực hiện trong 6 tháng, do phòng quản lý rủi ro chủ trì.

3. Tăng cường đào tạo nhân viên tín dụng: Đào tạo chuyên sâu về khai phá dữ liệu và phân tích rủi ro tín dụng cho cán bộ tín dụng để nâng cao năng lực đánh giá và ra quyết định. Mục tiêu hoàn thành khóa đào tạo trong 3 tháng, do phòng nhân sự phối hợp với khoa công nghệ thông tin tổ chức.

4. Phát triển chính sách tín dụng linh hoạt theo nhóm khách hàng: Áp dụng các chính sách lãi suất, hạn mức và biện pháp bảo đảm phù hợp với đặc điểm từng nhóm khách hàng được phân loại qua mô hình khai phá dữ liệu. Thời gian triển khai trong 9 tháng, do ban điều hành ngân hàng quyết định.

Đối tượng nên tham khảo luận văn

1. Ngân hàng thương mại và tổ chức tín dụng: Các phòng ban quản lý rủi ro, tín dụng và phân tích dữ liệu có thể áp dụng mô hình và phương pháp nghiên cứu để nâng cao hiệu quả quản trị rủi ro tín dụng.

2. Chuyên gia và nhà nghiên cứu trong lĩnh vực công nghệ thông tin và tài chính: Luận văn cung cấp cơ sở lý thuyết và thực tiễn về ứng dụng khai phá dữ liệu trong quản lý tín dụng, hỗ trợ phát triển các nghiên cứu tiếp theo.

3. Sinh viên và học viên cao học ngành công nghệ thông tin, hệ thống thông tin và tài chính ngân hàng: Tài liệu tham khảo hữu ích cho việc học tập, nghiên cứu và phát triển đề tài liên quan đến khai phá dữ liệu và quản trị rủi ro tín dụng.

4. Các nhà hoạch định chính sách và quản lý tài chính: Giúp hiểu rõ hơn về vai trò của công nghệ khai phá dữ liệu trong việc giảm thiểu rủi ro tín dụng, từ đó xây dựng các chính sách hỗ trợ phát triển ngành ngân hàng bền vững.

Câu hỏi thường gặp

1. Khai phá dữ liệu là gì và tại sao nó quan trọng trong quản lý rủi ro tín dụng?
   Khai phá dữ liệu là quá trình tự động phát hiện các mẫu dữ liệu có giá trị và hữu ích trong kho dữ liệu lớn. Trong quản lý rủi ro tín dụng, nó giúp ngân hàng nhận diện sớm các dấu hiệu rủi ro, phân loại khách hàng chính xác, từ đó giảm thiểu nợ xấu và nâng cao hiệu quả tín dụng.

2. Các thuật toán khai phá dữ liệu nào được sử dụng trong nghiên cứu này?
   Nghiên cứu sử dụng các thuật toán luật kết hợp (Apriori), cây quyết định (Decision Tree) và Naïve Bayes để phân tích và phân loại dữ liệu tín dụng, mỗi thuật toán có ưu điểm riêng trong việc phát hiện mẫu và dự báo rủi ro.

3. Hệ thống xếp hạng tín dụng ScoringF2 được cải thiện như thế nào?
   Thông qua khai phá dữ liệu, hệ thống ScoringF2 được điều chỉnh để tăng độ chính xác phân loại khách hàng tín chấp, giảm tỷ lệ nợ xấu từ khoảng 12% xuống còn 7%, giúp ngân hàng quản lý rủi ro hiệu quả hơn.

4. Làm thế nào để áp dụng kết quả nghiên cứu vào thực tế ngân hàng?
   Ngân hàng có thể triển khai hệ thống khai phá dữ liệu tự động, điều chỉnh chính sách xếp hạng tín dụng, đào tạo nhân viên và phát triển chính sách tín dụng linh hoạt dựa trên đặc điểm khách hàng được phân loại qua mô hình nghiên cứu.

5. Phân loại nợ theo nhóm có ý nghĩa gì trong quản trị rủi ro tín dụng?
   Phân loại nợ giúp ngân hàng đánh giá mức độ rủi ro của các khoản vay, từ đó áp dụng các biện pháp quản lý phù hợp như trích lập dự phòng, giám sát chặt chẽ hoặc xử lý nợ xấu, góp phần bảo vệ nguồn vốn và nâng cao hiệu quả hoạt động.

Kết luận

• Khai phá dữ liệu là công cụ hiệu quả giúp ngân hàng phát hiện các mẫu rủi ro tín dụng tiềm ẩn trong kho dữ liệu lớn.
• Mô hình cây quyết định và Naïve Bayes đạt độ chính xác phân loại khách hàng trên 80%, hỗ trợ nâng cao chất lượng xếp hạng tín dụng.
• Việc điều chỉnh hệ thống xếp hạng tín dụng ScoringF2 dựa trên khai phá dữ liệu giúp giảm tỷ lệ nợ xấu đáng kể.
• Đặc điểm khách hàng như trình độ học vấn, vị trí công tác và tài sản đảm bảo có ảnh hưởng rõ rệt đến mức độ rủi ro tín dụng.
• Các bước tiếp theo bao gồm triển khai hệ thống khai phá dữ liệu tự động, đào tạo nhân viên và điều chỉnh chính sách tín dụng nhằm nâng cao hiệu quả quản trị rủi ro.

Hành động ngay hôm nay: Các tổ chức tín dụng và ngân hàng nên áp dụng các phương pháp khai phá dữ liệu hiện đại để nâng cao năng lực quản lý rủi ro tín dụng, đảm bảo sự phát triển bền vững trong môi trường cạnh tranh ngày càng khốc liệt.

Trích đoạn nội dung tài liệu

Chương 1: Nghiên cứu cơ sở lý thuyết Trình bày về quy trình khai phá dữ liệu, các phương pháp khai phá dữ liệu được sử dụng. Chương 2: Lý thuyết về rủi ro tín dụng Trình bày về ngân hàng thương mại, hoạt động tín dụng trong ngân hàng, hệ thống xếp hạng tín dụng, và lý thuyết về rủi ro tín dụng. Chương 3: Ứng dụng khai phá dữ liệu, áp dụng với nguồn dữ liệu của Ngân hàng Kỹ thương Việt Nam Techcombank Trình bày về hệ thống xếp hạng tín dụng thế chấp và tín chấp tiêu dùng áp dụng cho khách hàng thể nhân và ứng dụng khai phá dữ liệu để điều chỉnh hệ thống xếp hạng tín dụng tín chấp tiêu dùng. Chương 4: Kết luận và kiến nghị z -2- CHƢƠNG 1: NGHIÊN CỨU CƠ SỞ LÝ THUYẾT 1.1 Sơ lƣợc về khai phá dữ liệu 1.1 Sự cần thiết của khai phá dữ liệu Kho dữ liệu của một công ty hay một tổ chức không ngừng tăng trưởng theo thời gian với tốc độ cao, chúng ta có thể thấy điều này qua kho dữ liệu của một ngân hàng hay một tập đoàn bán lẻ.

Dữ liệu bản thân nó chứa đựng những thông tin rất có giá trị, có lợi cho quá trình ra quyết định. Hình vẽ dưới đây trình bày một tập dữ liệu giả định về vay nợ ngân hàng gồm 23 trường hợp được biểu diễn trong không gian hai chiều. Mỗi điểm trên đồ thị biểu diễn một trường hợp vay nợ ở ngân hàng trong quá khứ. Trục hoành biểu diễn thu nhập còn trục tung biểu diễn tổng nợ cá nhân của người đi vay (tiền thế chấp, tiền chi trả ô tô.

Dữ liệu được phân thành hai lớp: lớp  gồm những người thiếu khả năng trả nợ ngân hàng và lớp o gồm những người có tình trạng tốt. Như vậy để hạn chế rủi ro các loại nợ (3-5) dẫn đến khả năng mất vốn ngân hàng chỉ cấp tín dụng cho những khách hàng có mức thu nhập từ ngưỡng T trở lên. Việc phát hiện ra những thông tin “có giá trị” là không dễ dàng, đối với nguồn dữ liệu có kích thước lớn chúng ta không thể phân tích bằng tay mà cần đến những công cụ hỗ trợ đặc biệt. Usama Fayyad đã chỉ ra những nhược điểm sau đây: - Con người cần hàng tuần lễ hoặc lâu hơn để phát hiện ra những thông tin có ích.

- Phần lớn dữ liệu chưa bao giờ được phân tích cả. z -3- - Có một hố sâu giữa khả năng sinh ra dữ liệu và khả năng sử dụng dữ liệu. Chính vì những điều đó đã dẫn đến sự ra đời của khai phá dữ hiệu hay còn gọi là phát hiện trị thức, nhằm giải quyết tình trạng “giàu dữ liệu nhưng nghèo tri thức”. Khai phá dữ liệu là giải pháp phân tích tự động các kho dữ liệu, phát hiện ra các thông tin hữu ích, có lợi cho quá trình ra quyết định.

Cùng với thời gian, với sự tăng cường năng lực tính toán, hoàn thiện các thuật toán thống kê, học máy và các phương pháp thu thập, quản lý dữ liệu là tiền đề cho sự ra đời của khai phá dữ liệu.2 Định nghĩa khai phá dữ liệu Phát hiện tri thức trong cơ sở dữ liệu (đôi khi còn được gọi là khai phá dữ liệu) là một quá trình nhận ra những mẫu có giá trị, mới, hữu ích tiềm năng và hiểu được trong dữ liệu. (Frawley, Piatetski-Shapiro và Matheus) Friedman đã tổng hợp một số quan niệm sau đây về “khai phá dữ liệu”:  Quá trình để nhận biết từ dữ liệu ra các mẫu có giá trị, mới, hữu dụng và hiểu được,  Quá trình trích lọc các thông tin chưa biết trước, có thể nhận thức được, có thể tác động được từ CSDL lớn và sử dụng chúng để tạo ra quyết định có lợi,  Tập các phương pháp được dùng trong quá trình phát hiện tri thức nhằm tường minh các quan hệ và các mẫu chưa biết trước chứa trong dữ liệu,  Quá trình hỗ trợ quyết định khi tìm kiếm những mẫu thông tin chưa biết và hữu ích từ CSDL lớn. Trong định nghĩa xuất hiện các khái niệm là "mẫu", "có giá trị", "mới", "hữu ích" và "hiểu được". Các khái niệm này được hiểu như sau:  Dữ liệu: Được hiểu như là một tập F gồm hữu hạn các trường hợp (sự kiện).

Đối với một bảng, dữ liệu được hiểu là tập hợp tất cả các bản ghi (record) trong bảng đó.  Mẫu: Được hiểu là một tập con của tập sự kiện F, là một quan hệ tiềm ẩn trong dữ liệu.  Tính mới: Mẫu phải là mới trong một miền xem xét nào đó, ít nhất là hệ thống đang được xem xét.  Hữu ích tiềm năng: Mẫu cần có khả năng chỉ dẫn tới các tác động hữu dụng và được đo bởi một hàm tiện ích.

z -4-  Có thể hiểu được: Một mục tiêu của khai phá dữ liệu là tạo ra các mẫu cho con người hiểudễ dàng hơn các dữ liệu nền (dữ liệu sẵn có trong hệ thống).3 Quy trình khám phá tri thức trong CSDL Khám phá tri thức trong CSDL bao gồm nhiều bước là: Chuẩn bị dữ liệu, tìm kiếm mẫu, ước lượng tri thức, tinh chế sự tương tác nội tại sau khi chuyển dạng dữ liệu. Quá trình được thừa nhận là không tầm thường theo nghĩa là quá trình đó bao hàm một mức độ tìm kiếm tự động. Khai phá dữ liệu chỉ là một bước thiết yếu trong quy trình này. Quy trình này gồm các bước: 1) Làm sạch dữ liệu: Loại bỏ nhiễu hoặc các dữ liệu không thích hợp.

2) Tích hợp dữ liệu: Tích hợp dữ liệu từ các nguồn khác nhau như: CSDL, kho dữ liệu, file text… 3) Chọn dữ liệu: Ở bước này, những dữ liệu liên quan trực tiếp đến nhiệm vụ sẽ được thu thập từ các nguồn dữ liệu ban đầu. 4) Chuyển đổi dữ liệu: Trong bước này, dữ liệu sẽ được chuyển đổi về dạng phù hợp cho việc khai phá bằng cách thực hiện các thao tác nhóm hoặc tập hợp. 5) Khai phá dữ liệu: Là giai đoạn thiết yếu, trong đó các phương pháp thông minh sẽ được áp dụng để trích xuất ra các mẫu dữ liệu. 6) Đánh giá mẫu: Đánh giá sự hữu ích của các mẫu biểu diễn tri thức dựa vào một số phép đo.

Các mẫu dữ liệu được chiết xuất ra bởi phần mềm khai phá dữ liệu. Không phải bất cứ mẫu dữ liệu nào cũng đều hữu ích, đôi khi nó còn bị sai lệch. Vì z -5- vậy, cần phải ưu tiên những tiêu chuẩn đánh giá để chiết xuất ra các tri thức cần chiết xuất ra. 7) Trình diễn dữ liệu: Sử dụng các kỹ thuật trình diễn vàtrực quan hoá dữ liệu để biểu diễn tri thức khai phá được cho người sử dụng.2 Khai phá luật kết hợp 1.1 Luật kết hợp trong cơ sở dữ liệu Trong đời sống hàng ngày chúng ta thường thấy các thống kê có dạng như sau: Cứ một 100 người mua quyển sách “chiến tranh tiền tệ” thì có 70 người mua thêm quyển “lý thuyết trò chơi” hay 80% khách hàng mua máy điện thoại di động thì mua thêm simcard, 30% có mua cả máy điện thoại di động lẫn simcard.

Đây là một dạng của luật kết hợp, nó là một dạng đơn giản khi kết hợp 2 mệnh đề A và B, nhưng lại có nhiều ý nghĩa trong cuộc sống, bởi nó giúp cho chúng ta ra những quyết định tốt hơn nhờ những số liệu thực tế. Trong ví dụ trên, hiểu được tâm lý khách hàng, người bán hàng chỉ việc sắp xếp 2 loại hàng hóa đó gần nhau (trong trường hợp này là 2 quyển sách), sẽ giúp cho khách hàng tiết kiệm được thời gian và quan trọng hơn là tăng doanh số bán hàng., Im} là tập m thuộc tính riêng biệt (itemsets), mỗi thuộc tính gọi là một mục (item). Gọi D là một cơ sở dữ liệu, trong đó mỗi bản ghi tIT là một giao dịch và chứa các tập mục, T  I. T = {t1, t2, … tn} là tập gồm n giao dịch (transaction), mỗi giao dịch được định danh bởi TID (transaction identification).

Định nghĩa 1:Luật là một quy tắc chung nhất trên một tập các đối tượng. Khái niệm “chung nhất” được hiểu là một sự kiện xẩy ra thường xuyên hoặc có tính chất dị thường (những giao dịch gian lận thẻ tín dụng thường có tính chất dị thường). Định nghĩa 2: Một luật kết hợp là một quan hệ có dạng X  Y, trong đó X, Y  I là các tập mục gọi là itemsets, và X  Y  . Ở đây, X được gọi là tiền đề, Y là mệnh đề kết quả.

Hai thông số quan trọng của luật kết hợp là độ hỗ trợ (s)và độ tin cậy (c). Định nghĩa 3: Độ hỗ trợ (support) của luật kết hợp X  Y là tỷ lệ phần trăm các bản ghi X  Y với tổng số các giao dịch có trong cơ sở dữ liệu. Định nghĩa 4: Đối với một số giao dịch được đưa ra, độ tin cậy (confidence) là tỷ lệ của số giao dịch có chứa X  Y với số giao dịch có chứa X.Về mặt xác z -6- suất, độ tin cậy (confidence)của một luật kết hợp là xác suất (có điều kiện) xảy ra Y với điều kiện đã xảy ra X. Việc khai thác các luật kết hợp từ cơ sở dữ liệu chính là việc tìm tất cả các luật có độ hỗ trợ và độ tin cậy lớn hơn ngưỡng của độ hỗ trợ và độ tin cậy do người sử dụng xác định trước.

Các ngưỡng của độ hỗ trợ và độ tin cậy được ký hiệu là minsup và mincof. Việc khai thác các luật kết hợp có thể được phân tích thành hai vấn đề sau đây: 1. Tìm tất cả các tập mục thường xuyên xảy ra mà có độ hỗ trợ lớn hơn hoặc bằng minsup. Tạo ra các luật mong muốn sử dụng các tập phổ biến mà có độ tin cậy lớn hơn hoặc bằng mincof.

Định nghĩa 5: Độ phổ biến (sup) của tập mục S trong cơ sở dữ liệu D là tỷ lệ giữ số giao dịch chứa S trên tổng số giao dịch trong D. sup(S) = count(S) / |D| Tập mục phổ biến (frequent itemsets) là tập các mục có độ phổ biến thỏa mãn độ phổ biến tối thiểu minsup do người dùng tự xác định.