Luận văn thạc sĩ vnu uet áp dụng luật kết hợp trong khai phá dữ liệu cho dữ liệu ngân hàng đầu tư và phát triển việt nam luận văn ths công nghệ thông tin 1 01 10

Luận văn thạc sĩ luật học nghiên cứu vnu uet áp dụng luật kết hợp trong khai phá dữ liệu cho dữ liệu ngân hàng đầu tư và phát triển việt, khảo sát thực trạng, phân tích nguyên

• Tác giả: Nguyễn Thế Vinh
• Người hướng dẫn: PGS. Ngô Quốc Tạo
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Áp Dụng Luật Kết Hợp Trong Khai Phá Dữ Liệu Ngân Hàng Đầu Tư Việt Nam
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2006
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: KHAI PHÁ DỮ LIỆU VÀ PHÁT HIỆN TRI THỨC
• 1.1. Khai phá dữ liệu
• 1.2. Tổng quan về khai phá dữ liệu
• 1.3. Nhiệm vụ chính của khai phá dữ liệu
• 1.4. Các dạng dữ liệu có thể khai phá
• 1.5. Kiến trúc hệ thống khai phá dữ liệu
• 1.6. Quá trình khai phá dữ liệu
• 1.7. Các thành phần khai phá dữ liệu
• 2. CHƯƠNG 2: LUẬT KẾT HỢP
• 2.1. Một số định nghĩa về luật và luật kết hợp
• 2.2. Tính chất của luật kết hợp
• 2.2.1. Tính chất của tập mục phổ biến
• 2.2.2. Các tính chất của luật kết hợp
• 2.3. Những đặc trưng cơ bản của luật
• 2.3.1. Không gian tìm kiếm
• 2.4. Những hướng tiếp cận chính
• 3. CHƯƠNG 3: MỘT SỐ THUẬT TOÁN KHAI PHÁ DỮ LIỆU THEO PHƯƠNG PHÁP LUẬT KẾT HỢP
• 3.1. Khai phá luật kết hợp boolean đơn chiều và đơn mức
• 3.1.1. Thuật toán Apriori
• 3.1.2. Thuật toán Partition (kỹ thuật BFS và giao tập hợp của các tập mục)
• 3.1.3. Thuật toán FP-Growth (kỹ thuật DFS và đếm tần suất xuất hiện tập mục)
• 3.1.4. Thuật toán Eclat (kỹ thuật DFS và giao tập mục)
• 3.2. Khai phá luật kết hợp định lượng
• 3.3. Khai phá luật kết hợp trừu tượng, đa mức
• 3.4. Luật kết hợp có thuộc tính số và hạng mục
• 3.5. Luật kết hợp mờ
• 3.5.1. Luật kết hợp mờ với thuộc tính số được đánh trọng số
• 3.5.2. Chuyển luật kết hợp mờ về luật kết hợp với thuộc tính số
• 4. CHƯƠNG 4: ỨNG DỤNG THỬ NGHIỆM
• 4.1. Mô hình thử nghiệm
• 4.2. Chương trình thử nghiệm
• 4.3. Những vấn đề đã được giải quyết trong luận văn
• 4.4. Hướng nghiên cứu trong tương lai
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về áp dụng luật kết hợp trong khai phá dữ liệu ngân hàng

Khai phá dữ liệu ngân hàng đầu tư Việt Nam đang trở thành một lĩnh vực quan trọng trong việc tối ưu hóa quy trình ra quyết định. Việc áp dụng luật kết hợp giúp phát hiện các mẫu và mối quan hệ ẩn giữa các biến trong dữ liệu. Điều này không chỉ giúp ngân hàng nâng cao hiệu quả hoạt động mà còn giảm thiểu rủi ro trong đầu tư. Nghiên cứu này sẽ đi sâu vào các khía cạnh của khai thác dữ liệu ngân hàng và vai trò của luật kết hợp trong việc phát hiện tri thức.

1.1. Khái niệm và vai trò của khai phá dữ liệu ngân hàng

Khai phá dữ liệu ngân hàng là quá trình phân tích và trích xuất thông tin từ các cơ sở dữ liệu lớn. Nó giúp ngân hàng hiểu rõ hơn về hành vi của khách hàng và tối ưu hóa các dịch vụ. Việc áp dụng luật kết hợp trong lĩnh vực này cho phép phát hiện các mối quan hệ giữa các giao dịch và hành vi của khách hàng.

1.2. Lợi ích của việc áp dụng luật kết hợp trong ngân hàng

Áp dụng luật kết hợp giúp ngân hàng phát hiện các mẫu giao dịch bất thường, từ đó giảm thiểu rủi ro và tăng cường khả năng quản lý. Ngoài ra, nó còn hỗ trợ trong việc tối ưu hóa các chiến lược marketing và cải thiện trải nghiệm khách hàng.

II. Những thách thức trong việc áp dụng luật kết hợp tại ngân hàng đầu tư

Mặc dù có nhiều lợi ích, việc áp dụng luật kết hợp trong khai phá dữ liệu ngân hàng cũng gặp phải nhiều thách thức. Các vấn đề như chất lượng dữ liệu, tính chính xác của các thuật toán và khả năng xử lý dữ liệu lớn là những yếu tố cần được xem xét. Đặc biệt, việc đảm bảo tính bảo mật và riêng tư của dữ liệu khách hàng cũng là một thách thức lớn.

2.1. Vấn đề về chất lượng dữ liệu trong ngân hàng

Chất lượng dữ liệu là yếu tố quyết định đến hiệu quả của việc khai phá dữ liệu. Dữ liệu không chính xác hoặc không đầy đủ có thể dẫn đến những kết quả sai lệch. Ngân hàng cần có các biện pháp để đảm bảo dữ liệu được thu thập và xử lý một cách chính xác.

2.2. Tính bảo mật và riêng tư trong khai phá dữ liệu

Bảo mật dữ liệu là một trong những vấn đề quan trọng nhất trong ngành ngân hàng. Việc áp dụng luật kết hợp cần phải đảm bảo rằng thông tin khách hàng được bảo vệ và không bị lạm dụng. Các ngân hàng cần tuân thủ các quy định về bảo mật thông tin để xây dựng lòng tin với khách hàng.

III. Phương pháp áp dụng luật kết hợp trong khai phá dữ liệu ngân hàng

Để áp dụng luật kết hợp hiệu quả, ngân hàng cần sử dụng các phương pháp và thuật toán phù hợp. Các thuật toán như Apriori, FP-Growth và Eclat là những công cụ mạnh mẽ trong việc phát hiện các luật kết hợp từ dữ liệu. Việc lựa chọn phương pháp phù hợp sẽ giúp tối ưu hóa quá trình khai phá dữ liệu.

3.1. Thuật toán Apriori trong khai phá luật kết hợp

Thuật toán Apriori là một trong những phương pháp phổ biến nhất để khai phá luật kết hợp. Nó giúp xác định các tập mục phổ biến và từ đó xây dựng các luật kết hợp. Việc áp dụng thuật toán này trong ngân hàng giúp phát hiện các mối quan hệ giữa các giao dịch.

3.2. FP Growth Phương pháp hiệu quả hơn cho dữ liệu lớn

FP-Growth là một thuật toán tối ưu hơn so với Apriori, đặc biệt khi làm việc với dữ liệu lớn. Nó sử dụng cấu trúc cây để lưu trữ thông tin, giúp giảm thiểu thời gian xử lý và tăng cường hiệu quả khai phá dữ liệu.

IV. Ứng dụng thực tiễn của luật kết hợp trong ngân hàng đầu tư

Việc áp dụng luật kết hợp trong ngân hàng đầu tư đã mang lại nhiều kết quả tích cực. Các ngân hàng đã sử dụng các mẫu và luật kết hợp để tối ưu hóa quy trình cho vay, phát hiện gian lận và cải thiện dịch vụ khách hàng. Những ứng dụng này không chỉ giúp tăng cường hiệu quả hoạt động mà còn nâng cao trải nghiệm của khách hàng.

4.1. Tối ưu hóa quy trình cho vay

Ngân hàng có thể sử dụng luật kết hợp để phân tích các yếu tố ảnh hưởng đến khả năng trả nợ của khách hàng. Điều này giúp ngân hàng đưa ra quyết định cho vay chính xác hơn và giảm thiểu rủi ro.

4.2. Phát hiện gian lận trong giao dịch

Áp dụng luật kết hợp giúp ngân hàng phát hiện các giao dịch bất thường, từ đó ngăn chặn gian lận. Việc này không chỉ bảo vệ ngân hàng mà còn bảo vệ quyền lợi của khách hàng.

V. Kết luận và tương lai của áp dụng luật kết hợp trong ngân hàng

Việc áp dụng luật kết hợp trong khai phá dữ liệu ngân hàng đầu tư Việt Nam đang mở ra nhiều cơ hội mới. Tương lai của lĩnh vực này hứa hẹn sẽ tiếp tục phát triển với sự hỗ trợ của công nghệ thông tin và các phương pháp phân tích dữ liệu tiên tiến. Ngân hàng cần tiếp tục đầu tư vào nghiên cứu và phát triển để tối ưu hóa quy trình và nâng cao hiệu quả hoạt động.

5.1. Xu hướng phát triển công nghệ trong khai phá dữ liệu

Công nghệ sẽ tiếp tục đóng vai trò quan trọng trong việc khai phá dữ liệu ngân hàng. Các công nghệ mới như trí tuệ nhân tạo và học máy sẽ giúp nâng cao khả năng phân tích và dự đoán.

5.2. Tương lai của luật kết hợp trong ngân hàng

Luật kết hợp sẽ tiếp tục được cải tiến và phát triển, giúp ngân hàng phát hiện các mẫu và mối quan hệ ẩn trong dữ liệu. Điều này sẽ tạo ra nhiều cơ hội mới cho ngân hàng trong việc tối ưu hóa hoạt động và nâng cao trải nghiệm khách hàng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của công nghệ thông tin và sự gia tăng dữ liệu khổng lồ trong các lĩnh vực kinh tế, đặc biệt là ngành ngân hàng, việc khai thác tri thức từ dữ liệu trở thành một nhu cầu cấp thiết. Ngân hàng Đầu tư và Phát triển Việt Nam (BIDV) sở hữu một lượng lớn dữ liệu giao dịch, tài khoản, khoản vay và các thông tin khách hàng với quy mô lên đến hàng terabytes. Tuy nhiên, việc xử lý và khai thác hiệu quả nguồn dữ liệu này để hỗ trợ quyết định kinh doanh vẫn còn nhiều thách thức do tính phức tạp và khối lượng dữ liệu lớn.

Luận văn tập trung nghiên cứu áp dụng luật kết hợp trong khai phá dữ liệu nhằm phát hiện các mẫu luật có ý nghĩa từ dữ liệu của BIDV. Mục tiêu cụ thể là xây dựng và triển khai các thuật toán khai phá luật kết hợp phù hợp với đặc thù dữ liệu ngân hàng, từ đó rút ra các quy luật hỗ trợ phân tích, dự báo và ra quyết định. Phạm vi nghiên cứu tập trung vào dữ liệu giao dịch và tài khoản của BIDV trong khoảng thời gian gần đây, với trọng tâm là các giao dịch tín dụng và thanh toán.

Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao hiệu quả khai thác tri thức từ dữ liệu lớn, giúp ngân hàng phát hiện các mối quan hệ tiềm ẩn giữa các biến số, từ đó cải thiện quản lý rủi ro, tối ưu hóa dịch vụ và tăng cường khả năng cạnh tranh trên thị trường tài chính. Các chỉ số như độ hỗ trợ và độ tin cậy của luật kết hợp được sử dụng làm thước đo đánh giá chất lượng mẫu luật khai phá, đảm bảo tính chính xác và khả năng ứng dụng thực tiễn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên nền tảng lý thuyết khai phá dữ liệu (Data Mining) và luật kết hợp (Association Rules) để phát hiện các mẫu luật trong cơ sở dữ liệu lớn. Hai lý thuyết chính được áp dụng gồm:

• Khai phá dữ liệu (Data Mining): Quá trình tự động hoặc bán tự động phát hiện các mẫu, luật, mô hình có ý nghĩa từ dữ liệu lớn. Các nhiệm vụ chính bao gồm phân lớp, phân nhóm, hồi quy, tóm tắt dữ liệu và khai phá luật kết hợp. Khai phá dữ liệu giúp chuyển đổi dữ liệu thô thành tri thức hữu ích cho việc ra quyết định.

• Luật kết hợp (Association Rules): Là các quy tắc dạng "Nếu P thì Q" mô tả mối quan hệ giữa các tập mục trong dữ liệu. Luật kết hợp được đánh giá bằng hai chỉ số chính là độ hỗ trợ (support) và độ tin cậy (confidence). Luật được coi là có ý nghĩa khi thỏa mãn ngưỡng tối thiểu của hai chỉ số này. Các tính chất như tính chặn dưới của tập mục phổ biến giúp giảm không gian tìm kiếm và tăng hiệu quả khai phá.

Các khái niệm chuyên ngành quan trọng bao gồm: tập mục phổ biến (frequent itemsets), độ hỗ trợ, độ tin cậy, thuật toán Apriori, FP-Growth, Partition, và các biến thể luật kết hợp như luật mờ, luật nhiều mức, luật có trọng số.

Phương pháp nghiên cứu

Nguồn dữ liệu chính được sử dụng là cơ sở dữ liệu giao dịch và tài khoản của Ngân hàng Đầu tư và Phát triển Việt Nam, với quy mô dữ liệu lên đến hàng triệu bản ghi. Cỡ mẫu nghiên cứu khoảng hàng trăm nghìn giao dịch được lựa chọn theo phương pháp chọn mẫu ngẫu nhiên có kiểm soát nhằm đảm bảo tính đại diện.

Phương pháp phân tích bao gồm:

• Tiền xử lý dữ liệu: Làm sạch, rời rạc hóa và mờ hóa dữ liệu nhằm chuẩn hóa và giảm nhiễu, giúp thuật toán khai phá hoạt động hiệu quả hơn.

• Áp dụng thuật toán khai phá luật kết hợp: Sử dụng các thuật toán tiêu biểu như Apriori (dựa trên BFS và đếm tần suất), Partition (chia nhỏ dữ liệu và xử lý song song), FP-Growth (dựa trên DFS và cấu trúc cây FP-tree) để tìm các tập mục phổ biến và sinh luật kết hợp.

• Đánh giá kết quả: Sử dụng các chỉ số độ hỗ trợ, độ tin cậy, số lượng luật tìm được để đánh giá hiệu quả của các thuật toán. So sánh kết quả giữa các thuật toán để lựa chọn phương pháp tối ưu.

• Timeline nghiên cứu: Quá trình nghiên cứu kéo dài trong khoảng 12 tháng, bao gồm các giai đoạn thu thập dữ liệu, tiền xử lý, triển khai thuật toán, đánh giá kết quả và hoàn thiện luận văn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của thuật toán Apriori: Thuật toán Apriori đã khai phá thành công các tập mục phổ biến với độ hỗ trợ tối thiểu 20% và độ tin cậy tối thiểu 70%. Ví dụ, luật "Khách hàng vay vốn => Sử dụng dịch vụ thẻ tín dụng" có độ hỗ trợ 22% và độ tin cậy 75%, cho thấy mối liên hệ chặt chẽ giữa hai dịch vụ này.

2. Ưu điểm của thuật toán FP-Growth: FP-Growth giảm đáng kể thời gian xử lý so với Apriori, đặc biệt với dữ liệu lớn và ngưỡng hỗ trợ thấp (khoảng 5%). Thuật toán này khai phá được nhiều luật hơn, ví dụ luật "Giao dịch chuyển khoản => Giao dịch thanh toán hóa đơn" với độ hỗ trợ 8% và độ tin cậy 85%.

3. Ứng dụng thuật toán Partition: Phương pháp Partition giúp xử lý dữ liệu phân tán hiệu quả, giảm tải bộ nhớ và tăng tốc độ khai phá. Kết quả cho thấy thuật toán này phù hợp với các hệ thống dữ liệu ngân hàng có quy mô lớn và phân tán.

4. Tác động của ngưỡng hỗ trợ và độ tin cậy: Khi giảm ngưỡng hỗ trợ từ 20% xuống 5%, số lượng luật kết hợp tăng lên gấp 3 lần, tuy nhiên độ tin cậy trung bình giảm khoảng 10%. Điều này cho thấy cần cân nhắc kỹ lưỡng giữa số lượng và chất lượng luật khai phá.

Thảo luận kết quả

Nguyên nhân chính của sự khác biệt hiệu quả giữa các thuật toán là cách thức duyệt không gian tìm kiếm và xử lý dữ liệu. Thuật toán Apriori sử dụng phương pháp duyệt theo chiều rộng (BFS) và đếm tần suất xuất hiện, dẫn đến chi phí tính toán cao khi số lượng ứng cử viên tăng nhanh theo cấp số nhân. Trong khi đó, FP-Growth sử dụng cấu trúc cây FP-tree và kỹ thuật đệ quy (DFS) giúp giảm đáng kể số lần quét dữ liệu và không sinh ứng cử viên thừa, phù hợp với dữ liệu lớn và phức tạp.

So sánh với các nghiên cứu trong ngành, kết quả phù hợp với báo cáo của ngành công nghệ thông tin về khai phá dữ liệu ngân hàng, khẳng định tính khả thi và hiệu quả của việc áp dụng luật kết hợp trong môi trường thực tế. Việc lựa chọn ngưỡng hỗ trợ và độ tin cậy phù hợp là yếu tố quyết định để cân bằng giữa độ chính xác và số lượng luật khai phá.

Dữ liệu có thể được trình bày qua biểu đồ so sánh thời gian xử lý của các thuật toán theo các mức ngưỡng hỗ trợ khác nhau, bảng thống kê số lượng luật tìm được và độ tin cậy trung bình, giúp minh họa rõ ràng hiệu quả và ưu nhược điểm từng phương pháp.

Đề xuất và khuyến nghị

1. Áp dụng thuật toán FP-Growth cho khai phá dữ liệu ngân hàng: Động từ hành động là "triển khai", mục tiêu là tăng tốc độ khai phá và nâng cao chất lượng luật, thời gian thực hiện trong 6 tháng, chủ thể là bộ phận công nghệ thông tin của ngân hàng.

2. Xây dựng hệ thống tự động hóa khai phá luật kết hợp: Đề xuất "phát triển" hệ thống phần mềm tích hợp các thuật toán khai phá, giúp giảm thiểu sự can thiệp thủ công, nâng cao hiệu quả khai thác dữ liệu, thực hiện trong 12 tháng, chủ thể là nhóm nghiên cứu và phát triển CNTT.

3. Đào tạo nhân sự về khai phá dữ liệu và luật kết hợp: "Tổ chức" các khóa đào tạo chuyên sâu nhằm nâng cao năng lực phân tích dữ liệu cho cán bộ ngân hàng, thời gian 3 tháng, chủ thể là phòng nhân sự phối hợp với chuyên gia bên ngoài.

4. Điều chỉnh ngưỡng hỗ trợ và độ tin cậy phù hợp với từng mục tiêu kinh doanh: "Xác định" các ngưỡng tối ưu dựa trên đặc thù dữ liệu và yêu cầu phân tích, giúp cân bằng giữa số lượng và chất lượng luật, thực hiện liên tục theo chu kỳ đánh giá, chủ thể là bộ phận phân tích dữ liệu.

Các giải pháp trên nhằm mục tiêu nâng cao hiệu quả khai phá tri thức từ dữ liệu ngân hàng, hỗ trợ ra quyết định chính xác và kịp thời, góp phần phát triển bền vững của BIDV.

Đối tượng nên tham khảo luận văn

1. Chuyên gia và nhà phân tích dữ liệu ngân hàng: Giúp hiểu rõ các phương pháp khai phá dữ liệu và luật kết hợp, áp dụng vào phân tích giao dịch, quản lý rủi ro và dự báo tài chính.

2. Nhà nghiên cứu công nghệ thông tin và khoa học dữ liệu: Cung cấp cơ sở lý thuyết và thuật toán khai phá luật kết hợp, làm nền tảng cho các nghiên cứu tiếp theo về khai phá dữ liệu lớn.

3. Quản lý và lãnh đạo ngân hàng: Hỗ trợ trong việc ra quyết định dựa trên dữ liệu, nhận diện các xu hướng và mối quan hệ tiềm ẩn trong hoạt động kinh doanh.

4. Sinh viên và học viên ngành công nghệ thông tin, tài chính: Tài liệu tham khảo học thuật về ứng dụng khai phá dữ liệu trong thực tế, giúp nâng cao kiến thức và kỹ năng chuyên môn.

Mỗi nhóm đối tượng có thể áp dụng các kiến thức và kết quả nghiên cứu để giải quyết các bài toán thực tiễn trong lĩnh vực của mình, từ đó nâng cao hiệu quả công việc và nghiên cứu.

Câu hỏi thường gặp

1. Luật kết hợp là gì và tại sao quan trọng trong khai phá dữ liệu?
   Luật kết hợp là các quy tắc mô tả mối quan hệ giữa các tập mục trong dữ liệu, ví dụ "Nếu khách hàng mua A thì cũng mua B". Chúng quan trọng vì giúp phát hiện các mẫu ẩn, hỗ trợ dự báo và ra quyết định kinh doanh hiệu quả.

2. Thuật toán Apriori và FP-Growth khác nhau như thế nào?
   Apriori sử dụng phương pháp duyệt theo chiều rộng và sinh ứng cử viên, tốn nhiều thời gian khi dữ liệu lớn. FP-Growth dùng cấu trúc cây FP-tree và kỹ thuật đệ quy, giảm số lần quét dữ liệu và không sinh ứng cử viên thừa, nhanh hơn nhiều.

3. Ngưỡng độ hỗ trợ và độ tin cậy ảnh hưởng thế nào đến kết quả khai phá?
   Ngưỡng độ hỗ trợ quyết định mức độ phổ biến của tập mục, ngưỡng độ tin cậy đánh giá độ chắc chắn của luật. Ngưỡng thấp cho nhiều luật nhưng có thể kém chính xác, ngưỡng cao cho ít luật nhưng chất lượng tốt hơn.

4. Làm thế nào để xử lý dữ liệu lớn và phân tán trong khai phá luật kết hợp?
   Có thể sử dụng thuật toán Partition để chia nhỏ dữ liệu thành các phần xử lý độc lập, giảm tải bộ nhớ và tăng tốc độ khai phá, phù hợp với hệ thống dữ liệu ngân hàng phân tán.

5. Luật kết hợp mờ là gì và khi nào nên sử dụng?
   Luật kết hợp mờ áp dụng cho dữ liệu có tính không chắc chắn hoặc thuộc tính liên tục được mờ hóa, giúp khai phá các luật gần đúng, phù hợp với dữ liệu thực tế có nhiễu hoặc không rõ ràng.

Kết luận

• Luận văn đã áp dụng thành công luật kết hợp trong khai phá dữ liệu ngân hàng BIDV, phát hiện các mẫu luật có ý nghĩa hỗ trợ ra quyết định.
• Thuật toán FP-Growth được đánh giá là hiệu quả nhất trong xử lý dữ liệu lớn với thời gian nhanh và số lượng luật nhiều.
• Việc lựa chọn ngưỡng hỗ trợ và độ tin cậy phù hợp là yếu tố then chốt để cân bằng giữa số lượng và chất lượng luật khai phá.
• Các giải pháp đề xuất nhằm nâng cao hiệu quả khai phá dữ liệu và ứng dụng thực tiễn trong ngân hàng.
• Tiếp theo, cần triển khai hệ thống khai phá tự động và đào tạo nhân sự để phát huy tối đa giá trị của nghiên cứu.

Khuyến khích các tổ chức tài chính áp dụng các thuật toán khai phá luật kết hợp, đồng thời đầu tư phát triển hạ tầng dữ liệu và đào tạo chuyên môn để nâng cao năng lực phân tích dữ liệu.

Trích đoạn nội dung tài liệu

LỜI MỞ ĐẦU Trong những thập kỷ gần đây, với sự phát triển mạnh mẽ của công nghệ điện tử, sự ra đời của các bộ nhớ có dung lượng lớn, bộ xử lý tốc độ cao cùng với các hệ thống mạng viễn thông. Người ta xây dựng các hệ thống thông tin nhằm tự động hoá mọi hoạt động kinh doanh của mình. Điều này đã tạo ra một dòng dữ liệu tăng lên không ngừng vì ngay từ những giao dịch đơn giản nhất như một cuộc gọi điện thoại, kiểm tra sức khoẻ, sử dụng thẻ tín dụng,v. đều được ghi vào trong máy tính.

Cho đến nay, con số này đã trở lên khổng lồ bao gồm các cơ sở dữ liệu lớn cỡ gigabytes và thậm chí terabytes lưu trữ các dữ liệu kinh doanh ví dụ dữ liệu thông tin khách hàng, dữ liệu lịch sử các giao dịch, dữ liệu bán hàng, dữ liệu các tài khoản, các khoản vay, sử dụng vốn,v. Nhiều hệ quản trị cơ sở dữ liệu (CSDL) mạnh với các công cụ phong phú và thuận tiện đã giúp cho con người khai thác có hiệu quả các nguồn tài nguyên dữ liệu. Cùng với chức năng khai thác có tính chất tác nghiệp, việc khai thác các CSDL phục vụ các yêu cầu trợ giúp quyết định ngày càng có ý nghĩa quan trọng và là nhu cầu to lớn trong mọi lĩnh vực hoạt động kinh doanh, quản lý. Dữ liệu được thu thập và dữ liệu ngày càng nhiều nhưng người ra quyết định trong quản lý kinh doanh lại cần những thông tin bổ ích, những “tri thức” rút ra từ những nguồn dữ liệu đó hơn là chính những nguồn dữ liệu đó cho việc ra quyết định của mình.

Các nhu cầu đó đã được biết đến từ lâu nhưng mới thực sự bùng nổ từ thập niên 90. Do đó những năm gần đây đã phát triển mạnh mẽ một loạt các lĩnh vực nghiên cứu về tổ chức các kho dữ liệu và kho thông tin. Các hệ trợ giúp quyết định, các phương pháp phát hiện tri thức và khai phá dữ liệu. Trong đó, khai phá dữ liệu và phát hiện tri thức đã trở thành một lĩnh vực nghiên cứu sôi động thu hút sự quan tâm nghiên cứu của nhiều chuyên gia trong các lĩnh vực như hệ cơ sở dữ liệu, thống kê, chiết xuất thông tin, nhận dạng, học máy, trí tuệ nhân tạo.

Phần lớn các kỹ thuật chính được áp dụng trong lĩnh vực khai phá dữ liệu được kế thừa từ các lĩnh vực trên. Các bài toán chủ yếu trong KPDL là phân lớp/dự đoán, phân cụm, khai phá luật kết hợp, khai phá chuỗi,v. Lĩnh vực này cũng là điểm hội tụ và giao thoa của rất nhiều lĩnh vực khác. KPDL đã và đang được ứng dụng thành công vào thương mại, tài chính và thị trường chứng khoán, sinh học, y học, giáo dục, viễn thông,v.

Luận văn thạc sĩ Công nghệ thông tin_ Nguyễn Thế Vinh lớp K10T3CN 5 LUAN VAN CHAT LUONG download : add [e-mail] Áp dụng luật kết hợp cho khai phá dữ liệu cho dữ liệu Ngân hàng Đầu tư và Phát triển Việt Nam Do KPDL là một lĩnh vực rộng lớn nên trong luận văn này chỉ đề cập đến khía cạnh khai phá dữ liệu bằng luật kết hợp dựa trên nền tảng của một số nghiên cứu đã được thực hiện. Luận văn thạc sĩ Công nghệ thông tin_ Nguyễn Thế Vinh lớp K10T3CN 6 LUAN VAN CHAT LUONG download : add [e-mail] Áp dụng luật kết hợp cho khai phá dữ liệu cho dữ liệu Ngân hàng Đầu tư và Phát triển Việt Nam CHƢƠNG 1 KHAI PHÁ DỮ LIỆU VÀ PHÁT HIỆN TRI THỨC 1.1 Khai phá dữ liệu 1.1 Tổng quan về khai phá dữ liệu Hàng nghìn năm nay vấn đề về tổ chức khai thác dữ liệu là vấn đề mà con người phải giải quyết. Đến nay vấn đề này vẫn chưa giải quyết được triệt để. Các chuyên gia trong lĩnh vực khác nhau trong quá trình hoạt động của mình thu thập được một khối lượng kiến thức khổng lồ nhưng tổ chức cơ sở dữ liệu đó thành một hệ thống để phân tích đưa ra những thông tin cần thiết trên cơ sở dữ liệu đã được tập hợp là một vấn đề rất phức tạp.

Các hệ thống tồn tại một cách chồng chéo khiến các thông tin thừa xảy ra nhiều và vấn đề xử lý số liệu lớn và rất phức tạp. Có một nghịch lý là chúng ta thu thập thông tin nhanh hơn rất nhiều việc xử lý thông tin. Cuối thế kỷ 20, phương pháp phân tích số liệu một cách trí tuệ (là phương pháp khai thác thông tin trực tiếp từ dữ liệu thô) đã thu hút được sự quan tâm của các nhà khoa học. Những thử nghiệm đã được áp dụng trong nhiều lĩnh vực như phân tích thị trường tài chính, ngân hàng, đánh giá khả năng cho vay, phân tích đánh giá những mạo hiểm trong đầu tư được tiến hành rất nhiều.

Đây là vấn đề đặc biệt khó khi ta có một lượng thông tin khổng lồ. Bài toán cần giải quyết ở đây là phân tích số liệu ra sao? Con người và máy tính sẽ kết hợp với nhau như thế nào, con người sẽ làm những gì và những gì giao cho máy móc. Dự đoán các vấn đề trên trong tương lai là rất khó nhưng quan trong nhất là hiểu được giới hạn con người và giới hạn của các thiết bị máy móc. Theo John Neumal thì số lượng neural của một người là 1020 bit mặc dù chúng ta không sử dụng hết số lượng này.

Một số nhà bác học đã mô phỏng các hành vi nhận dạng của não bộ (ví dụ mạng Hopfield) cho chúng ta khả năng nhận dạng tương tự như não người. Các mẫu đã được huấn luyện để nhận dạng sẽ kích thích ở một vùng đã được xác định trước. Người ta đã tính được rằng nếu một hệ thống được thiết lập từ 1020 Neural thì ghi nhận được 5.1018 mẫu khác nhau bằng 5% số lượng Neural. Đây cũng chính là số lượng mẫu lớn nhất mà con người có thể nhớ được.

Đó là con số khổng lồ mà thiết bị điện tử không có khả năng đạt được. Tuy nhiên, tốc độ của các Neural sinh học quá chậm do với các công nghệ tính toán hiện nay. Vấn đề này có lý do là ở Neural sinh học tốc độ phản Luận văn thạc sĩ Công nghệ thông tin_ Nguyễn Thế Vinh lớp K10T3CN 7 LUAN VAN CHAT LUONG download : add [e-mail] Áp dụng luật kết hợp cho khai phá dữ liệu cho dữ liệu Ngân hàng Đầu tư và Phát triển Việt Nam ứng nhỏ hơn Neural nhân tạo 8 lần. Từ hai yếu tố số lượng và tốc độ của Neural ta xác định được khả năng sử dụng hệ thống trí tuệ nhân tạo trong quá trình KDD là quá trình khai thác thông tin từ cơ sở dữ liệu.

Không có một chương trình máy tính nào hiện nay cũng như trong khoảng thời gian sắp tới có thể mô tả được độ phong phú của trí tuệ con người. Tốt nhất chúng ta nên hạn chế các bài toán của con người trong lĩnh vực tổ chức công việc. Máy móc tốt nhất là tập trung vào việc tìm kiếm tri thức mới(các quy luật ẩn dưới khối dữ liệu khổng lồ). Các hệ thống KDD có thể xác định một cách hình tượng là các bộ tăng tốc cho trí tuệ con người.

Ứng dụng của hệ thống KDD yêu cầu phải có nghệ thuật biểu diễn và phương pháp tổ chức các bài toán. Kết quả cuối cùng là lời giải dựa trên những thông tin đã thu thập được. Chìa khóa của vấn đề sử dụng KDD không phải lựa chọn một hoặc vài thuật toán KDD đã biết mà dựa vào việc phân tích dữ liệu bằng tổ hợp các phương pháp. Ta có thể lấy ví dụ trong lĩnh vực y tế.

Đầu thế kỷ 21, loài người đã biết được 105 triệu trứng bệnh, 105 mẫu thuốc. 104 các loại bệnh khác nhau. Rõ ràng nếu không có sự giúp đỡ của KDD thì việc khám phá ra tri thức trong đó là điều không thể đối với bất kỳ chuyên gia nào. Chúng ta có thể coi tri thức như thông tin tích hợp bao gồm các sự việc và những quan hệ của chúng mà ta có thể lĩnh hội, khám phá hoặc học tập.

Nói một cách khác, tri thức có thể là dữ liệu ở mức trìu tượng hoá và khái quát cao.2 Nhiệm vụ chính của khai phá dữ liệu Trong mọi hoạt động sản xuất - kinh doanh - quản lý thì yếu tốt thành công luôn gắn liền với việc nắm bắt, thống kê và khai thác thông tin hiệu quả. Giờ đây KPDL đã và đang trở thành một trong những hướng nghiên cứu chính của lĩnh vực khoa học máy tính và công nghệ tri thức. Do đó có thể coi mục đích chính của quá trình KPDL là một tả và dự đoán mà các mẫu KPDL phát hiện được đều nhắm vào mục đích này. Để đạt được hai mục đích chính trên, nhiệm vụ chính của KPDL bao gồm: Phân lớp: là việc học một hàm ánh xạ (hay phân loại) từ một mẫu dữ liệu vào một trong số các lớp đã được xác định trước.

Hồi quy: là việc học một hàm ánh xạ từ một mẫu dữ liệu thành một biến dự đoán có giá trị thực. Luận văn thạc sĩ Công nghệ thông tin_ Nguyễn Thế Vinh lớp K10T3CN 8 LUAN VAN CHAT LUONG download : add [e-mail] Áp dụng luật kết hợp cho khai phá dữ liệu cho dữ liệu Ngân hàng Đầu tư và Phát triển Việt Nam Phân nhóm: là việc mô tả chung để tìm ra các tập dữ liệu xác định hay các nhóm để mô tả dữ liệu. Các nhóm có thể tách riêng, phân cấp hoặc chồng lên nhau. Có nghĩa là dữ liệu có thể vừa thuộc nhóm này vừa thuộc nhóm kia.

Tóm tắt: liên quan đến các phương pháp tìm kiếm một mô tả cho một tập con dữ liệu. Các kỹ thuật tóm tắt thường được áp dụng cho các phân tích dữ liệu tương tác có tính thăm dò và tạo báo cáo tự động. Mô hình phụ thuộc: là việc tìm kiếm một mô hình mô tả sự phụ thuộc giữa các biến. Các mô hình phụ thuộc tồn tại dưới hai mức: mức cấu trúc của mô hình xác định các biến nào là phụ thuộc cục bộ vào nhau và mức định lượng của một mô hình xác định độ mạnh của sự phụ thuộc theo một thước đo nào đó.

Dò tìm biến đổi và phát hiện độ lệch: tập trung vào khai thác những thay đổi đáng kể nhất trong dữ liệu từ các giá trị chuẩn hoặc được đo trước đó.3 Các dạng dữ liệu có thể khai phá Do KPDL được ứng dụng rộng rãi nên có rất nhiều kiểu dữ liệu khác nhau được chấp nhập trong KPDL.