Luận văn: Thử nghiệm khai phá dữ liệu trong CSDL Oracle

Luận văn thạc sĩ: Nghiên cứu khai phá dữ liệu trong Oracle. Phân tích các thử nghiệm, kỹ thuật và ứng dụng thực tế. Tối ưu hóa hiệu quả khai phá.

• Tác giả: Đinh Thị Kim Dung
• Người hướng dẫn: Ts. Đỗ Việt Nga
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Một số thử nghiệm khai phá dữ liệu trong cơ sở dữ liệu Oracle
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2004
• Địa điểm: Hà Nội

Mục lục chi tiết

• BẢNG KÝ HIỆU CÁC TỪ VIẾT TẮT
• 1. TỔNG QUAN KHAI PHÁ DỮ LIỆU
• 1.1. Khai phá dữ liệu là gì?
• 1.2. Tiến trình phát triển - Tại sao?
• 1.3. Các chức năng khai phá dữ liệu - Các loại mẫu có thể khai phá
• 1.4. Khai phá dữ liệu trên các loại dữ liệu nào?
• 1.5. Quá trình phát hiện tri thức - KDD
• 1.6. Các thách thức và giải pháp cơ bản
• 2. TIỀN XỬ LÝ DỮ LIỆU CHO KHAI PHÁ
• 2.1. Các nhiệm vụ chính của tiền xử lý
• 2.2. Làm sạch dữ liệu
• 2.3. Giảm bớt dữ liệu
• 2.4. Chuyển dữ liệu thành dạng có thể khai phá được
• 3. CÁC THỂ HIỆN, BIỂU DIỄN KẾT QỦA KHAI PHÁ
• 4. KIẾN TRÚC CƠ BẢN HỆ THỐNG KHAI PHÁ DỮ LIỆU
• II. CHƢƠNG II. CÁC CHỨC NĂNG CƠ BẢN KHAI PHÁ DỮ LIỆU
• II.1. KHAI PHÁ LUẬT KẾT HỢP
• II.1.1. Các khái niệm luật kết hợp
• II.1.2. Các loại khai phá luật kết hợp
• II.1.3. Khai phá luật kết hợp Boolean đơn chiều
• II.1.4. Cải thiện thuật toán
• II.1.5. Khai phá luật nhiều mức
• II.1.6. Khai phá luật nhiều chiều
• II.1.7. Đánh giá phân tích luật kết hợp
• II.2. Phân lớp - một quá trình hai bước
• II.3. Xây dựng các tập dữ liệu
• II.4. Phân lớp bằng học cây quyết định
• II.5. Phân lớp Bayees
• II.6. Phân lớp bằng mạng Nơron
• II.7. KHAI PHÁ DỮ LIỆU VỚI GỘP NHÓM
• II.7.1. Phân tích gộp nhóm
• II.7.2. Các phương pháp phân hoạch
• II.7.3. Các phương pháp phân cấp
• III. CHƢƠNG III. CÔNG CỤ KHAI PHÁ DỮ LIỆU ODM - ORACLE DATA MINING
• III.1. CÁC THUẬT TOÁN ODM KHAI PHÁ DỮ LIỆU
• III.1.1. Thuật toán Adapter Bayes Network - ABN
• III.1.2. Thuật toán Naive Bayes - NB
• III.1.3. Thuật toán Apriori
• III.1.4. Thuật toán dự báo biến đổi Predictor Variance
• III.1.5. Thuật toán k-means nâng cao
• III.1.6. Thuật toán O-Cluster
• III.1.7. Sử dụng các chức năng và lựa chọn thuật toán
• III.2. CÁC BƢỚC KHAI PHÁ DỮ LIỆU
• III.2.1. Xây dựng mô hình
• III.2.2. Kiểm thử mô hình
• III.2.3. Áp dụng - ghi điểm mô hình - Scoring
• III.3. CÁC THÀNH PHẦN CỦA ODM
• III.3.1. Data Mining Server DMS
• III.3.2. Oracle9i Data Mining API
• III.3.3. Các đối tượng trong ODM
• III.4. THỰC HIỆN CÁC BƢỚC KHAI PHÁ DỮ LIỆU TRONG ODM
• III.4.1. Các bước chuẩn bị
• III.4.2. Xây dựng mô hình
• III.4.3. Ghi điểm dữ liệu bằng mô hình
• IV. CHƢƠNG IV. SỬ DỤNG ODM KHAI PHÁ DỮ LIỆU. MỘT SỐ ĐỊNH HƢỚNG KHAI PHÁ DỮ LIỆU TRONG CÁC CSDL
• IV.1. Hệ thống CSDL ngành Thuế
• IV.2. Hệ thống CSDL Bảo hiểm nhân thọ
• IV.3. XÂY DỰNG CÔNG CỤ HỖ TRỢ
• IV.3.1. Xây dựng các tiện ích xử lý dữ liệu
• IV.3.2. Xây dựng các giao diện hỗ trợ khai phá dữ liệu
• IV.4. TIẾN HÀNH MỘT SỐ THỬ NGHIỆM KHAI PHÁ DỮ LIỆU
• IV.4.1. Mô tả các thử nghiệm
• IV.4.2. Luật kết hợp
• IV.4.3. Khai phá luật kết hợp trong CSDL Bảo Việt
• TÀI LIỆU THAM KHẢO
• MỞ ĐẦU

Tóm tắt

I. Tổng quan về Khai phá dữ liệu Oracle Tại sao Như thế nào

Tiềm năng phát sinh và thu thập dữ liệu đã tăng trưởng nhanh chóng trong những thập kỷ qua. Xu hướng máy tính hóa và sự phát triển của các công cụ thu thập dữ liệu đã khiến thế giới ngập trong dữ liệu. Mặc dù chúng ta “giàu dữ liệu” nhưng vẫn “nghèo thông tin” vì thiếu công cụ phân tích tự động. Lỗ hổng này thúc đẩy sự phát triển công nghệ mới giúp biến dữ liệu thành tri thức, đó là khai phá dữ liệu. Data Mining Oracle làm cho dữ liệu chết trở thành mỏ vàng tri thức, phục vụ nhu cầu thông tin cao hơn như trong hệ chuyên gia hay hỗ trợ quyết định. Công đoạn khai phá tri thức thực hiện qua thu thập, tinh lọc dữ liệu, tìm mẫu hình tri thức sử dụng kỹ thuật như học máy, nhận dạng, thống kê, phân loại, mạng nơ-ron, giải thuật di truyền. Khai phá dữ liệu là một lĩnh vực đa chỉ tiêu từ công nghệ CSDL, trí tuệ nhân tạo, học máy, truy cập thông tin đến tính toán hiệu năng cao. Luận văn này giới thiệu, đánh giá công nghệ, phương pháp cơ bản khai phá dữ liệu trong CSDL lớn và kho dữ liệu. Sử dụng và đánh giá công cụ hỗ trợ khai phá dữ liệu Oracle. Đó là nền tảng hướng tới thử nghiệm khai phá dữ liệu trong một số kho dữ liệu thực. Động cơ thúc đẩy thử nghiệm này là xem xét, đánh giá, rút kinh nghiệm việc xây dựng, thiết kế CSDL tác nghiệp và kho dữ liệu sao cho tích lũy dữ liệu có tri thức. Chương I giới thiệu tổng quan các khái niệm cơ bản, xu hướng phát triển, thách thức, giải pháp của khai phá dữ liệu. Các bước tiến hành, nhiệm vụ, phương pháp được liệt kê hỗ trợ kiến thức cơ bản cho khai phá tri thức từ CSDL và kho dữ liệu. Chương II giới thiệu chức năng, thuật toán của công cụ khai phá dữ liệu. So sánh, đánh giá để gợi ý lựa chọn hướng đi, công cụ, kỹ thuật khi tiến hành khai phá dữ liệu. Mô tả bức tranh tổng thể cách tiếp cận phương pháp theo góc độ đơn giản hóa tối đa, tăng tính thực thi cho giải pháp khai phá dữ liệu. Nội dung này là cơ sở nền tảng kỹ thuật để cài đặt công cụ, thực thi khai phá dữ liệu. Mô tả thuật toán, kỹ thuật cải thiện hiệu năng, đánh giá, so sánh nhiệm vụ khai phá dữ liệu như Luật kết hợp, Phân lớp, Gộp nhóm với thuật toán dựa trên phương pháp xác suất, thống kê, mạng nơ-ron. Chương III giới thiệu và đánh giá cách sử dụng ODM - công cụ hỗ trợ khai phá dữ liệu của Oracle được tích hợp trong hệ quản trị CSDL Oracle 9i. Một số nhiệm vụ, chức năng trong ODM đã được cải tiến từ phương pháp cơ bản khai phá dữ liệu. ODM cung cấp giao diện lập trình ứng dụng như đối tượng, packages cho phép thực hiện khai phá dữ liệu trong CSDL Orale. Các giao diện API được viết, thực thi trên nền Java. Chương này mô tả trình tự thực hiện các bước sử dụng ODM thực hiện khai phá dữ liệu. Chương IV xây dựng một số giao diện trợ giúp người dùng khai phá dữ liệu trên CSDL Oracle. Chương này cũng đề cập một số nhu cầu khai phá dữ liệu trên kho dữ liệu ngành bảo hiểm, thuế dựa trên một số tri thức nghiệp vụ khi tham gia xây dựng ứng dụng tác nghiệp cho các ngành này. Mô tả tiến hành thử nghiệm khai phá trên một số dữ liệu giả định, dữ liệu của lĩnh vực bảo hiểm, thuế. Việc áp dụng có tính chất thử nghiệm theo khía cạnh kỹ thuật, hiểu biết nghiệp vụ tích lũy trong quá trình triển khai ứng dụng. Để có kết quả thật sự có giá trị đòi hỏi cần có sự đầu tư, tham gia trực tiếp của chuyên gia chuyên ngành.

1.1. Bản chất của dữ liệu và quá trình phát hiện tri thức

Về bản chất vật lý, dữ liệu chỉ là các con số hoặc chuỗi ký tự thu thập hàng ngày, hay còn gọi là giá trị của phép đo. Thông tin thể hiện đặc trưng của dữ liệu và cần có kiến thức liên quan đến dữ liệu để nhận biết được thông tin - thông tin = dữ liệu + kiến thức. Tri thức được trích lọc từ thông tin bao gồm các sự kiện và quan hệ giữa chúng để có thể hiểu được hoặc học được. Tri thức được xem là dữ liệu trừu tượng, tổng quát mức cao - tri thức = thông tin + suy luận. Dữ liệu cần mang lại nhiều “tri thức” hơn là bản thân dữ liệu để hỗ trợ các quyết định chính sách, chiến lược, giúp các tổ chức hoạt động hiệu quả. Quá trình tìm thông tin có giá trị, xu hướng phát triển, yếu tố tác động lên chúng chính là quá trình phát hiện tri thức từ CSDL (Knowledge Discovery). Khai phá dữ liệu là tập các kỹ thuật được sử dụng để tự động khai thác và tìm ra các mối quan hệ lẫn nhau của dữ liệu trong tập dữ liệu lớn, phức tạp, tìm ra mẫu tiềm ẩn trong tập dữ liệu đó. Khai phá dữ liệu (Data Mining) với định nghĩa đầy đủ là “khai phá tri thức từ dữ liệu” và được hiểu đơn giản như sự trích lọc, đào mỏ tri thức từ dữ liệu. Đó chính là quá trình tìm kiếm bụi vàng từ khối quặng thô dữ liệu khổng lồ hay còn ví như quá trình “đãi cát tìm vàng”.

1.2. Tiến trình phát triển của Khai phá dữ liệu trong ngành CSDL

Khai phá dữ liệu được xem như là xu hướng tất yếu của ngành công nghiệp thông tin. Con đường phát triển cơ sở dữ liệu gồm các quá trình: Tạo lập, thu thập dữ liệu, quản trị dữ liệu (lưu trữ và truy cập), phân tích và hiểu biết dữ liệu. Tiến trình phát triển của CSDL bắt đầu từ nhu cầu thu thập, xử lý số liệu tính toán đơn giản, tiến tới việc quản lý dữ liệu chặt chẽ và sử dụng rộng rãi hơn, tạo ra các CSDL khổng lồ của nhiều Quốc gia và hỗ trợ các hoạt động tác nghiệp trong nhiều ngành. Để lấy được những thông tin có giá trị, cần tới các kỹ thuật có khả năng hợp nhất dữ liệu từ những CSDL này chuyển vào kho dữ liệu có tính ổn định, thống nhất và khái quát cao. Các kỹ thuật đó được gọi là Datawarehousing với môi trường hoạt động Datawarehouse. Công nghệ kho dữ liệu bao gồm các kỹ thuật làm sạch, tích hợp dữ liệu và xử lý phân tích trực tuyến OLAP trên các dữ liệu tổng hợp, tích gộp, hợp nhất cho phép quan sát thông tin theo nhiều chiều, nhiều góc độ. Tuy nhiên, chỉ có Datawarehouse thì chưa đủ để có tri thức. Mặc dù OLAP hỗ trợ phân tích đa chiều và hỗ trợ quyết định nhưng vẫn thiếu công cụ phân tích thông tin theo mức độ sâu hơn như phân lớp dữ liệu, gộp nhóm, đưa ra các giả thiết mới và đặc trưng hoá dữ liệu. Đó là mục đích của các công cụ phân tích khai phá dữ liệu.

II. Oracle Data Mining ODM Công cụ và Các thuật toán chính

Khai phá dữ liệu đã và đang nhận được sự quan tâm rộng rãi của đông đảo giới khoa học và kinh doanh vì một số lý do chính sau đây: Số lượng và kích cỡ các CSDL của nhiều doanh nghiệp hiện nay đang tăng lên với một tốc độ đáng kinh ngạc. Các CSDL cỡ Terabyte (1024 GB) thậm chí Petabyte (1024 Terabyte) một thời được coi là không thể có, thì nay đang trở thành thực tế trong nhiều lĩnh vực như: tiếp thị, bán hàng, tài chính, y tế, bảo hiểm, sinh học phân tử. Các doanh nghiệp nhận ra có rất nhiều kiến thức có giá trị ẩn chứa trong dữ liệu mà khi phát hiện ra có thể đem lại sức cạnh tranh đáng kể cho doanh nghiệp. Xuất hiện một số công nghệ hỗ trợ thực thi khai phá dữ liệu trên các CSDL lớn. Khai phá dữ liệu là giai đoạn chủ yếu của quá trình Phát hiện tri thức. Đó là những thông tin có giá trị như các mẫu hình (pattern/model) của dữ liệu. Công đoạn khai phá tri thức được thực hiện sau các quá trình thu thập và tinh lọc dữ liệu và chỉ tìm các mẫu hình có ý nghĩa trên tập dữ liệu có hy vọng chứ không phải là trên toàn bộ CSDL như các phương pháp thống kê trước đây. Các nhiệm vụ khai phá dữ liệu tùy theo dạng kiến thức người dùng muốn tìm kiếm có thể chia thành hai loại chính là Mô tả (Description) và Dự báo (Prediction) với ý nghĩa như sau: Nhiệm vụ Ý nghĩa Các phân tích Mô tả Đặc trưng hóa các tính chất chung và cung cấp Description khung nhìn tổng quát của dữ liệu trong CSDL. - Luật kết hợp - Gộp nhóm Dự báo Thực hiện suy luận trên dữ liệu hiện tại để dự báo Prediction dữ liệu tương lai. - Phân lớp Các loại nhiệm vụ khai phá dữ liệu

2.1. Phân tích kết hợp và các luật kết hợp trong Khai phá dữ liệu Oracle

Chức năng khai phá luật kết hợp: Nhằm phát hiện các luật kết hợp, chỉ ra các điều kiện một tập dữ liệu xuất hiện cùng nhau. Một luật kết hợp thường có dạng X -> Y được diễn giải là: Bộ dữ liệu trong CSDL thỏa mãn điều kiện X thì cũng có thể thỏa mãn điều kiện Y. Các luật kết hợp thường dùng để tìm ra các quan hệ hoặc tương quan của các bộ dữ liệu cho các phân tích thị trường kinh doanh. Một luật kết hợp điển hình là đánh giá khả năng có thể. Ví dụ như ”70% người mua máy tính có thể sẽ mua phần mềm trò chơi”. Thông thường, các luật kết hợp được dùng để phát hiện xu hướng kinh doanh trên cơ sở phân tích các giao dịch khách hàng. Ngày nay, có thể sử dụng trong thương mại điện tử để dự đoán truy cập trang Web như: Sau khi khai thác nhật ký truy cập đã phát hiện luật kết hợp thú vị là: Nếu người sử dụng truy cập trang Web A và B thì có cơ hội 80% người đó sẽ vào trang Web C trong cùng phiên làm việc. Trang C có thể hoặc không có liên kết trực tiếp từ trang A hoặc B. Điều này dẫn tới nên tạo ra liên kết đến trang C từ A hoặc B.

2.2. Phân lớp và dự báo Tìm hiểu mô hình và ứng dụng trong Data Mining Oracle

Phân lớp là quá trình tìm một tập các mô hình (hoặc các hàm) mô tả phân biệt các lớp dữ liệu và sử dụng mô hình để dự báo lớp cho các đối tượng mới. Hàm phân lớp là một ánh xạ (phân loại) từ một mẫu dữ liệu vào một trong các lớp đã biết. Ví dụ, có thể xây dựng một mô hình mẫu chẩn đoán bệnh dựa trên các triệu chứng bệnh nhân cũ để khám cho các bệnh nhân mới. Mỗi đối tượng, ví dụ có thể có nhiều thuộc tính và đa số là các thuộc tính để dự đoán (predictor) và có một thuộc tính nhận kết quả lớp gọi là thuộc tính đích. Đây là một dạng học trực tiếp - có thầy. Mô hình thu được dựa trên tập các dữ liệu huấn luyện - là tập dữ liệu đã biết lớp. Kết quả của mô hình có thể biểu diễn theo các dạng khác nhau như: luật, cây quyết định, công thức toán học, hoặc mạng nơ-ron. Dự báo: Được xem là quá trình xây dựng và sử dụng một mô hình để ước định lớp cuả các trường hợp chưa biết lớp. Phân lớp và hồi quy là hai loại chính của bài toán dự báo. Trong đó phân lớp được sử dụng để dự báo các lớp có giá trị tên hoặc rời rạc, còn hồi quy để dự báo cho các giá trị liên tục hoặc có thứ tự.

2.3. Phân tích gộp nhóm Xác định lớp đối tượng và ứng dụng trong Oracle

Phân tích gộp nhóm là quá trình xác định lớp các đối tượng theo thuộc tính của chúng. Các đối tượng được gộp nhóm sao cho các phần tử trong cùng nhóm là giống nhau nhất (theo một tiêu chuẩn nào đó), các phần tử khác nhóm giống nhau ít nhất.Ví dụ: một công ty có thể phân loại khách hàng của mình thành nhiều nhóm khác nhau dựa trên các thuộc tính như tuổi, thu nhập, khả năng, trình độ,… Các đặc tính chung của các khách hàng trong cùng một loại sẽ được dùng để mô tả nhóm khách hàng đó. Khác với phân lớp và dự đoán, chức năng gộp nhóm sẽ tự tìm ra các lớp bằng cách phân hoạch các dữ liệu hợp thành các nhóm. Các mô hình gộp nhóm là kết quả của quá trình chưa biết trước giá trị thuộc tính đích. Khi các nhóm tìm được, mỗi nhóm được xem là một lớp và có thể thực hiện phân lớp được bằng cách sử dụng tên nhóm như tên lớp.

III. Sử dụng ODM để Khai phá Dữ liệu Lớn Các Loại Dữ liệu

Các CSDL quan hệ là một trong những kho chứa phổ biến, giàu thông tin nhất và là dạng dữ liệu chủ yếu để nghiên cứu khai phá dữ liệu. Một số CSDL trong thương mại có thể ứng dụng khai phá dữ liệu với triển vọng cho nhiều thành công như : Các CSDL tiếp thị: Đây là lĩnh vực mà Datamining thu được thành công nhiều nhất. Bằng cách khai thác các CSDL về khách hàng được tích luỹ trong nhiều năm sẽ có thể rút ra được các mẫu hình và khuynh hướng phát triển. Mô tả lược sử khách hàng được xây dựng để có chiến lược tiếp thị hiệu quả hơn. Các CSDL bán lẻ: Ghi lại các thông tin giao dịch bán hàng, DM có thể thu được những mô hình về cách mua hàng của người tiêu dùng để mở các chiến dịch bán hàng, đóng gói hàng phù hợp. CSDL thị trường chứng khoán: Bằng việc tìm kiếm mẫu hình và khuynh hướng phát triển trong dữ liệu thị trường chứng khoán, có thể hạn chế thất bại bằng những quyết định chính xác hơn trong việc lựa chọn cổ phiếu nào mà tiềm năng là sẽ thu được lợi cao. CSDL về những khiếu nại của khách hàng: Được phân tích để dò tìm lỗi trong bảo hiểm, chi phí y tế, khai báo thu nhập để đóng thuế.

3.1. Kho Dữ Liệu Data Warehouse và ứng dụng OLAP Oracle

Kho dữ liệu chứa thông tin thu thập từ rất nhiều nguồn, được lưu trữ trong một lược đồ hợp nhất. Kho dữ liệu được tổ chức theo các chủ đề và cung cấp tính lịch sử, tổng hợp cao với cấu trúc vật lý là CSDL quan hệ hoặc khối dữ liệu nhiều chiều. Kho dữ liệu là môi trường tốt nhất cho khai phá dữ liệu hoạt động hiệu quả. CSDL không gian chứa các thông tin có quan hệ về mặt không gian như CSDL địa lý, CSDL ảnh vệ tinh và y học. Dữ liệu được biểu diễn theo dạng mã vạch, chứa bản đồ bit n-chiều hoặc bản đồ các điểm pixel. Bản đồ có thể được biểu diễn thành dạng véctơ trong đó đường phố, cầu, toà nhà, hồ. được biểu diễn như phép hợp các cấu trúc hình học cơ bản như điểm, đường, đa giác. Khai phá dữ liệu có thể phát hiện mẫu bằng cách mô tả đặc trưng của ngôi nhà gần một vị trí nào đó như công viên chẳng hạn. Nói chung, các khối dữ liệu không gian có thể tổ chức thành cấu trúc đa chiều và phân cấp.

3.2. CSDL Văn Bản và Dữ Liệu Web Thách thức mới cho Data Mining

CSDL văn bản chứa các mô tả từ như các câu, đoạn. Có nhiều CSDL văn bản có tính phi cấu trúc như các trang Web hoặc nửa cấu trúc như các message mail, trang XML. Để phát hiện các đặc tả chung của các lớp đối tượng, từ khoá, nội dung liên quan, đối tượng văn bản. các phương pháp khai phá dữ liệu cần tích hợp với các kỹ thuật lấy thông tin và xây dựng từ điển, từ điển đồng nghĩa. Dữ liệu World Wide Web cung cấp các dịch vụ thông tin trực tuyến toàn cầu là cơ hội phong phú với nhiều thách thức mới cho khai phá dữ liệu. Khai phá dữ liệu Web với các mục đích cơ bản như: Khai phá nội dung Web để phát hiện ra các tri thức từ nội dung các trang Web. Khai phá cấu trúc Web: phát hiện mô hình nền tảng cấu trúc liên kết. Khai phá sử dụng Web: Phát hiện thông tin từ các phiên làm việc truy nhập của người dùng. Khi nắm bắt được các mẫu tra cứu trang có thể sắp xếp lại các liên kết và đưa các quảng cáo vào những trang mà người dùng thường quan tâm.

IV. Tiền xử lý dữ liệu trong Oracle Data Mining Cách thực hiện

Các CSDL thế giới thực được thu thập từ nhiều nguồn và rất lớn do đó thường bị thiếu, mất hoặc chứa nhiều dữ liệu tạp và không nhất quán. Do đó dữ liệu cần được tiền xử lý để nâng cao chất lượng dữ liệu và đảm bảo cho kết quả, cải thiện hiệu quả và dễ dàng khai phá. Các kỹ thuật tiền xử lý dữ liệu như: Làm sạch dữ liệu, bỏ bớt dữ liệu tạp, hiệu chỉnh sai lệch, tích hợp thành một kho dữ liệu thống nhất và chuẩn hoá thành các dạng có thể áp dụng khai phá được.

4.1. Làm sạch dữ liệu và xử lý dữ liệu bị thiếu hoặc tạp

Mục đích của công đoạn làm sạch dữ liệu là đảm bảo chất lượng dữ liệu bằng các kỹ thuật sau đây: 1. Xử lý dữ liệu bị mất, thiếu Bỏ qua một số bộ dữ liệu không quan trọng. Thay thế các giá trị thiếu bằng các hằng tổng thể. Sử dụng các thuộc tính trung bình để lấp đầy giá trị thiếu. Sử dụng các thuộc tính có xác suất lớn nhất. Xử lý dữ liệu tạp Dữ liệu tạp là những dữ liệu có lỗi ngẫu nhiên hoặc quá khác nhau về giá trị thuộc tính, do sai sót của các thiết bị thu thập dữ liệu, do tính không nhất quán trong việc đặt tên, nhập dữ liệu. Có thể sử dụng các kỹ thuật làm mịn như: Chia lô: Với các dữ liệu sắp xếp được có thể phân chia dữ liệu (bằng cách so sánh, tham khảo các giá trị „láng giềng‟) thành các lô theo các kỹ thuật như: Đều - các lô có số các phần tử như nhau, Trung bình - các phần tử trong lô lấy giá trị trung bình của lô, Biên - các giá trị được tính theo giá trị gần biên.

4.2. Giảm Bớt và Chuyển Dữ Liệu thành Dạng Khai Phá được

Tính tổng gộp trong cấu trúc dữ liệu hình khối (cube). Ví dụ dữ liệu thể hiện chi tiết theo thời gian có thể được tổng gộp thành các mức năm, tháng, quý. Lấy dữ liệu tổng quát Tóm tắt, tổng quát hoá Một tập dữ liệu có mục đích giống nhau được tóm tắt và chiết xuất, tạo nên một tập nhỏ hơn, cung cấp một khung nhìn tổng quát về dữ liệu. Một bảng tóm tắt có thể được tổng quát thành những cấp độ trừu tượng khác nhau, dưới những góc độ khác nhau. Ví dụ: các giao dịch bán hàng của một công ty có thể được tổng gộp theo khách hàng, khu vực, thời gian . Giảm chiều: Chọn tập con thuộc tính thích hợp để thực hiện thuật toán hiệu quả. Rời rạc hoá dữ liệu: Chuyển các giá trị liên tục thành các giá trị tên hoặc một số giá trị số rời rạc. Ví dụ: lương có thể chia theo các mức “thấp”, “trung bình”, “cao”. Chuyển dữ liệu thành dạng có thể khai phá được Làm mịn xoá dữ liệu tạp. Tổng gộp, tổng quát hoá. Chuẩn hoá: Các dữ liệu nhận các khoảng giá trị quá lớn được chuẩn hoá theo tỷ lệ thành khoảng giá trị nhỏ hơn, ví dụ như từ 0.0 - Chuẩn Min- max thực hiện chuyển tuyến tính: ánh xạ chuyển đổi giá trị v của A thành v‟ trong khoảng [new_minA, new_maxA ]

V. Các thách thức trong Khai phá Dữ liệu Oracle Giải pháp

Thách thức: Cơ sở dữ liệu cực lớn: Các CSDL với hàng trăm trường và bảng, hàng triệu bản ghi, chiếm nhiều gigabyte và terabyte. Kích thước chiều lớn: Tập dữ liệu lớn có nhiều thuộc tính và biến nên số chiều của bài toán tăng làm cho không gian tìm kiếm mẫu tăng cực kỳ nhanh. Nếu giả sử có 3 thuộc tính, mỗi thuộc tính có 2 giá trị thì số các bản ghi là 23=8 và số mẫu (pattern) sẽ là 333=27. Nếu có p thuộc tính, mỗi thuộc tính có d giá trị thì số mẫu dữ liệu là dp Biến động dữ liệu và tri thức Sự thay đổi nhanh chóng dữ liệu làm cho các mẫu đã phát hiện trước đây có thể không còn đúng. Hơn nữa các độ đo biến trong các CSDL ứng dụng có thể thay đổi, bị xoá, hoặc tăng lên theo độ đo mới. Các giải pháp có thể là các phương pháp gia tăng để cập nhật các mẫu. Thiếu dữ liệu và dữ liệu tạp: Đây là vấn đề có thể nói rất khó khăn cho việc khai phá dữ liệu. Thông thường các hệ tác nghiệp chỉ quan tâm đến các dữ liệu cần để giải quyết các họat động tác nghiệp hàng ngày, các dữ liệu khác chưa chú trọng thu thập hoặc người thao tác không nhập vào, nếu họ cảm thấy chưa dùng để làm gì. Hầu hết các thiết kế dữ liệu trong các hệ tác nghiệp về Thuế cũng như Bảo hiểm các số liệu về tài chính, tài sản, thu nhập, vốn, doanh số, hoặc khai báo chi tiết tình trạng sức khỏe thường được bỏ qua mặc dù các thiết kế dữ liệu cũng như các Form nhập liệu đều đã được cài đặt.

5.1. Các giải pháp khi CSDL Cực Lớn và Kích thước Chiều Lớn

Có thuật toán hiệu quả và đủ mềm dẻo để tăng bộ nhớ. Lấy ví dụ mẫu : Chọn lọc các bộ dữ liệu đặc trưng và tốt nhất. Giảm chiều: Chọn lọc các thuộc tính thích hợp cho mục đích khai phá. Tận dụng các xử lý song song: Hiện nay, do giá thành các thiết bị phần cứng không cao lắm, có thể áp dụng các giải pháp song song cho việc khai phá dữ liệu: Phân chia nhiệm vụ, dữ liệu cho nhiều bộ xử lý thực hiện đồng thời.

5.2. Sử Dụng Khai Phá Dữ Liệu Phân Tán Song Song

Tiền xử lý dữ liệu cho khai phá I. Các nhiệm vụ chính của tiền xử lý Các CSDL thế giới thực được thu thập từ nhiều nguồn và rất lớn do đó thường bị thiếu, mất hoặc chứa nhiều dữ liệu tạp và không nhất quán. Do đó dữ liệu cần được tiền xử lý để nâng cao chất lượng dữ liệu và đảm bảo cho kết quả, cải thiện hiệu quả và dễ dàng khai phá. Các kỹ thuật tiền xử lý dữ liệu như: Làm sạch dữ liệu, bỏ bớt dữ liệu tạp, hiệu chỉnh sai lệch, tích hợp thành một kho dữ liệu thống nhất và chuẩn hoá thành các dạng có thể áp dụng khai phá được.

VI. Thử Nghiệm Khai Phá Dữ Liệu Oracle Định hướng Tương Lai

Khai phá dữ liệu với gộp nhóm Thông thường khi phải xử lý các vấn đề phức tạp, một xu hướng tự nhiên là cố gắng phân loại vấn đề, đối tượng thành các phần nhỏ hơn để có thể giải quyết được dễ dàng hơn. Phân tích gộp nhóm có thể coi như là các hoạt động cơ bản của con người. Từ khi còn rất bé, trẻ em đã học để phân biệt các loài động vật, thực vật các sự vật xung quanh. Ngày nay phân loại được sử dụng rộng rãi trong rất nhiều lĩnh vực như: nhận dạng mẫu, nghiên cứu thị trường, xử lý ảnh, phân tích dữ liệu. Trong sản xuất, kinh doanh bài toán phân lớp khách hàng và tìm ra sản phẩm phù hợp với từng nhóm khách hàng là nhu cầu thiết yếu để tăng cường các dịch vụ chăm sóc khách hàng tốt hơn. Trong sinh học - để phân loài động vật, thực vật, nhóm gen khác nhau, các vùng đất, vùng địa lý tương tự nhau. Để hỗ trợ phân loại tài liệu trên Web, sử dụng kết quả phân tích khai phá, có thể tổ chức lại thông tin, thiết lập các chế độ tìm kiếm phù hợp (thông tin loại nào cần được lấy thêm, lấy ở đâu. Một cách giúp đỡ tốt nhất cho người sử dụng nếu bộ phân lớp có thể tự phân lớp các tài liệu tìm kiếm được dựa vào những lớp đã tồn tại của từng người dùng cụ thể - đó là vấn đề quản lý tri thức thông minh mà một vài sản phẩm phần mềm có thể hỗ trợ như Lotus Discovery Server.

6.1. Phân Tích Gộp Nhóm và Quá Trình Gộp Nhóm

Gộp nhóm hay phân loại là một kỹ thuật được sử dụng để tổ hợp các đối tượng quan sát được thành các nhóm sao cho các đối tượng trong một nhóm là giống nhau (theo một đặc điểm nào đó) và khác biệt với các đối tượng của nhóm khác. Sự khác biệt được quyết định dựa trên giá trị thuộc tính mô tả đối tượng và thường dùng là độ đo khoảng cách. Có một số kỹ thuật phân nhóm như: Phân hoạch, phân cấp, dựa trên mật độ, lưới, dựa trên mô hình. Phân tích gộp nhóm thường tập trung vào phân tích dựa trên khoảng cách, độ đo sự đồng nhất trong từng nhóm. Các công cụ phân tích gộp nhóm dựa trên k-means, k-medoids… Khác với phân lớp, trong quá trình gộp nhóm lớp của mỗi đối tượng là chưa biết trước. Như là một chức năng khai phá dữ liệu, chức năng gộp nhóm có thể được sử dụng độc lập để phân hoạch dữ liệu, quan sát các đặc điểm đối tượng của mỗi nhóm và tập trung phân tích tập các nhóm nào đó hoặc có thể được sử dụng như là tiền xử lý cho các thuật toán khác như phân lớp, đặc điểm hoá.

6.2. Các Phương Pháp Phân Hoạch Phân Cấp Trong Oracle

Cho một CSDL với N đối tượng, phương pháp phân hoạch xây dựng K (K<=N) phân hoạch, trong đó mỗi phân hoạch biểu diễn một nhóm. Điều đó nghĩa là phân lớp dữ liệu thành K nhóm thoả mãn: i. Mỗi nhóm phải chứa ít nhất 1 đối tượng ii. Mỗi đối tượng chỉ thuộc 1 nhóm. Một kỹ thuật đơn giản nhất là chia N thành K tập con có thể, thử phân hoạch lần đầu, sau đó lặp các bước phân hoạch bằng cách chuyển các đối tượng từ nhóm này sang nhóm khác và đánh giá theo tiêu chuẩn gần nhất cuả các đối tượng trong nhóm. Quá trình phân hoạch này có thể đòi hỏi sử dụng mọi khả năng có thể của K tập con trong N nhóm. Các ứng dụng có thể sử dụng một trong hai thuật toán K- mean, mỗi nhóm được đại diện bằng 1 giá trị trung bình của các đối tượng trong nhóm hoặc K-medoid trong đó mỗi nhóm được đại diện bằng 1 trong các đối tượng gần tâm nhóm. - Kỹ thuật dựa tâm -Thuật toán k-mean Thuật toán K-mean sẽ phân hoạch dữ liệu thành K (tham số) nhóm xử lý như sau: - Lựa chọn ngẫu nhiên K đối tượng, mỗi đối tượng được coi là khởi tạo giá trị trung bình hoặc tâm của nhóm. - Các đối tượng còn lại sẽ được gán vào các nhóm được coi là gần đối tượng đó nhất dựa trên khoảng cách giữa đối tượng với tâm. - Tính toán lại giá trị trung bình của mỗi nhóm. - Các bước trên được lặp cho đến khi đạt hội tụ.

6.3. Đánh Giá Diễn Giải Kết Quả Trong Oracle

Ưu điểm: Gộp nhóm tự động gián tiếp: Điểm mạnh chủ yếu của phương pháp này là không cần có hướng dẫn - nghĩa là nó có thể áp dụng ngay cả khi chưa biết trước về cấu trúc nội tại của cơ sở dữ liệu, có thể sử dụng để phát hiện cấu trúc ẩn, có thể sử dụng nhằm cải thiện hiệu suất của các kỹ thuật trực tiếp. Phép nhóm có thể được thực hiện trên nhiều kiểu loại dữ liệu khác nhau. Bằng cách chọn các đơn vị đo khoảng cách khác nhau, nhóm tự động có thể được áp dụng cho hầu hết các loại dữ liệu như: dễ dàng tìm các nhóm trong tập hợp các tiểu thuyết mới, các yêu cầu bảo hiểm, trong thiên văn hoặc dữ liệu tài chính. Phát hiện nhóm tự động dễ áp dụng. Hầu hết các kỹ thuật phát hiện nhóm yêu cầu rất ít việc sơ chế dữ liệu vào và không cần thiết xác định các trường cụ thể như các đầu vào và đầu ra của phương pháp khác. Nhược điểm của phát hiện nhóm tự động: Khó khăn với các trọng số các độ đo. Hiệu suất của các thuật toán phát hiện nhóm tự động phụ thuộc nhiều vào việc lựa chọn độ đo khoảng cách hoặc các độ đo tương tự. Nhiều lúc đó là khó khăn thực sự với các dữ liệu hỗn hợp nhiều kiểu. Nhạy cảm với các tham số ban đầu: Trong phương thức K-mean, sự lựa chọn giá trị ban đầu K xác định số lượng các nhóm sẽ tìm kiếm. Nếu số lượng này không phù hợp với cấu trúc tự nhiên của dữ liệu, kỹ thuật sẽ không đem lại kết quả tốt. Khó khăn khi diễn giải kết quả: Điểm mạnh của phát hiện nhóm tự động là kỹ thuật tìm kiếm tri thức không giám sát. Ngược lại, đó là điểm hạn chế vì không biết cần tìm cái gì, không nhận ra khi đã tìm thấy và các nhóm phát hiện ra chưa chắc là có giá trị thực tế.

Trích đoạn nội dung tài liệu

Chương I: Giới thiệu tổng quan các khái niệm cơ bản, xu hƣớng phát triển tất yếu các thách thức và các giải pháp của khai phá dữ liệu. Các bƣớc tiến hành, các nhiệm vụ và các phƣơng pháp đƣợc liệt kê trong chƣơng này hỗ trợ các kiến thức cơ bản cho công cuộc khai phá tri thức từ CSDL và kho dữ liệu. Chương II: Giới thiệu các chức năng, thuật toán của công cụ khai phá dữ liệu. Trên cơ sở đó so sánh đánh giá để gợi ý các lựa chọn hƣớng đi, công cụ và kỹ thuật khi tiến hành khai phá dữ liệu.

Chƣơng này nhằm mô tả một bức tranh tổng thể cách tiếp cận các phƣơng pháp theo góc độ đơn giản hoá tối đa và tăng tính thực thi cho giải pháp khai phá dữ liệu. Nội dung chƣơng này sẽ là cơ sở nền tảng kỹ thuật để cài đặt các công cụ và thực thi khai phá dữ liệu. Đó là các mô tả thuật toán, kỹ thuật cải thiện hiệu năng, đánh giá so sánh các nhiệm vụ khai phá dữ liệu nhƣ Luật kết hợp, Phân lớp, Gộp nhóm với các thuật toán dựa trên các phƣơng pháp xác suất, thống kê, mạng nơron.… Chương III: Giới thiệu và đánh giá cách sử dụng ODM - công cụ hỗ trợ khai phá dữ liệu của Oracle đƣợc tích hợp trong hệ quản trị CSDL Oracle 9i. Một số nhiệm vụ và chức năng trong ODM đã đƣợc cải tiến từ các phƣơng pháp cơ bản khai phá dữ liệu.

ODM đã cung cấp giao diện lập trình ứng dụng nhƣ các đối tƣợng, packages cho phép thực hiện khai phá dữ liệu trong CSDL Orale. Các giao diện API đƣợc viết và thực thi trên nền Java. Chƣơng này cũng mô tả trình tự thực hiện các bƣớc sử dụng ODM thực hiện khai phá dữ liệu. Chương IV: Trên cơ sở sử dụng công cụ ODM, xây dựng một số giao diện trợ giúp ngƣời dùng khai phá dữ liệu trên CSDL Oracle.

Chƣơng này cũng đề cập một số nhu cầu khai phá dữ liệu trên kho dữ liệu ngành bảo hiểm và thuế dựa trên một số tri thức nghiệp vụ khi tham gia xây dựng ứng dụng tác nghiệp cho các ngành này. Mô tả tiến hành thử nghiệm khai phá trên một số dữ liệu giả định và dữ liệu của các lĩnh vực bảo hiểm và thuế. Việc áp dụng có tính chất thử nghiệm theo khía cạnh kỹ thuật và hiểu biết nghiệp vụ tích luỹ đƣợc trong quá trình triển khai ứng dụng. Tuy nhiên, để có đƣợc các kết quả thật sự có giá trị đòi hỏi cần có sự đầu tƣ, Một số thử nghiệm khai phá dữ liệu trong CSDL Oracle TIEU LUAN MOI download : [e-mail] 7 tham gia trực tiếp của chính các chuyên gia chuyên ngành.

Em xin chân thành cám ơn TS. Đỗ Việt Nga, các thầy giáo của trƣờng Đại học Quốc gia, các thầy, các đồng nghiệp ở Viện CNTT và các bạn cùng lớp đã có nhiều ý kiến quý báu giúp em hoàn thành luận văn. PHÁT HIỆN TRI THỨC VÀ KHAI PHÁ DỮ LIỆU. Tổng quan khai phá dữ liệu I.

Khai phá dữ liệu là gì? Về bản chất vật lý dữ liệu chỉ là các con số, hay một chuỗi các ký tự mà chúng ta thƣờng thu lƣợm hàng ngày hay còn gọi là giá trị của phép đo. Thông tin thể hiện các đặc trƣng của dữ liệu và cần có kiến thức liên quan đến dữ liệu để nhận biết đƣợc thông tin - thông tin = dữ liệu + kiến thức. Tri thức đƣợc trích lọc từ thông tin bao gồm các sự kiện và các quan hệ giữa chúng để có thể hiểu đƣợc, hoặc học đƣợc. Tri thức đƣợc xem là dữ liệu trừu tƣợng và tổng quát mức cao - tri thức = thông tin + suy luận.

[2] Dữ liệu Income Debt Hình Error! No text of specified style in document.-1 Dữ liệu, thông tin và tri thức Ngày nay, dữ liệu cần phải mang lại nhiều “tri thức” hơn là bản thân dữ liệu để có thể hỗ trợ các quyết định chính sách, chiến lƣợc, giúp các tổ chức hoạt động Một số thử nghiệm khai phá dữ liệu trong CSDL Oracle TIEU LUAN MOI download : [e-mail] 8 hiệu quả và tốt nhất. Quá trình tìm những thông tin có giá trị, những xu hƣớng phát triển và những yếu tố tác động lên chúng chính là quá trình phát hiện tri thức từ CSDL (Knowledge Discovery). Khai phá dữ liệu là một tập các kỹ thuật được sử dụng để tự động khai thác và tìm ra các mối quan hệ lẫn nhau của dữ liệu trong một tập dữ liệu rất lớn và phức tạp, tìm ra những mẫu tiềm ẩn trong tập dữ liệu đó [2]. Khai phá dữ liệu (Data mining) với định nghĩa đầy đủ là “khai phá tri thức từ dữ liệu” và đƣợc hiểu đơn giản nhƣ là sự trích lọc, đào mỏ tri thức từ dữ liệu.

Đó chính là quá trình tìm kiếm những bụi vàng từ các khối quặng thô dữ liệu khổng lồ hay còn ví nhƣ quá trình “đãi cát tìm vàng”. Tiến trình phát triển - Tại sao? Tạo lập và thu thập dữ liệu Xử lý file (Khoảng 1960) Cỏc hệ thống quản trị CSDL (1970-1980) - Cỏc hệ thống CSDL phõn cấp và mạng - Cỏc hệ thống CSDL quan hệ - Mụ hỡnh húa dữ liệu- Mụ hỡnh quan hệ thực thể - Cỏc kỹ thuật tổ chức và Index dữ liệu. - Ngụn ngữ truy vấn SQL - Cỏc giao diện: Form và Report - Cỏc xử lý truy vấn và tối ưu truy vấn - Quản lý giao dịch: khụi phục, điều khiển tương tranh. - Cỏc xử lý giao dịch trực tuyến OLTP - CSDL nõng cao (1980-nay) Cỏc hệ thống CSDL Web- Cỏc mụ hỡnh DL: quan hệ mở based (1990- nay) Kho DL và khai phỏ DL rộng, hƣớng đối tƣợng, quan hệ Cỏc hệ thống CSDL XML- (1980) đối tƣợng, suy diễn.

Kho DL và cụng nghệ OLAP Định hướng ứng dụng: Khụng Web mining Khai phỏ DL, phỏt hiện tri gian, thời gian, đa phƣơng tiện, thức cơ sở tri thức,. Thế hệ mới của cỏc hệ thống tớch hợp thụng tin (2000.) Một số thử nghiệm khai phá dữ liệu trong CSDL Oracle TIEU LUAN MOI download : [e-mail] 9 Hình Error! No text of specified style in document.-2 Tiến trình phát triển công nghiệp CSDL Khai phá dữ liệu đƣợc xem nhƣ là xu hƣớng tất yếu của ngành công nghiệp thông tin. Con đƣờng phát triển cơ sở dữ liệu gồm các quá trình: Tạo lập, thu thập dữ liệu, quản trị dữ liệu (lƣu trữ và truy cập), phân tích và hiểu biết dữ liệu [11] Tiến trình phát triển của CSDL bắt đầu từ nhu cầu thu thập, xử lý số liệu tính toán đơn giản, tiến tới việc quản lý dữ liệu chặt chẽ và sử dụng rộng rãi hơn, tạo ra các CSDL khổng lồ của nhiều Quốc gia và hỗ trợ các hoạt động tác nghiệp trong nhiều ngành. Để lấy đƣợc những thông tin có giá trị, cần tới các kỹ thuật có khả năng hợp nhất dữ liệu từ những CSDL này chuyển vào kho dữ liệu có tính ổn định, thống nhất và khái quát cao.

Các kỹ thuật đó đƣợc gọi là Datawarehousing với môi trƣờng hoạt động Datawarehouse. Công nghệ kho dữ liệu bao gồm các kỹ thuật làm sạch, tích hợp dữ liệu và xử lý phân tích trực tuyến OLAP trên các dữ liệu tổng hợp, tích gộp, hợp nhất cho phép quan sát thông tin theo nhiều chiều, nhiều góc độ. Tuy nhiên, chỉ có Datawarehouse thì chƣa đủ để có tri thức. Mặc dù OLAP hỗ trợ phân tích đa chiều và hỗ trợ quyết định nhƣng vẫn thiếu công cụ phân tích thông tin theo mức độ sâu hơn nhƣ phân lớp dữ liệu, gộp nhóm, đƣa ra các giả thiết mới và đặc trƣng hoá dữ liệu.

Đó là mục đích của các công cụ phân tích khai phá dữ liệu. Khai phá dữ liệu với các phân tích sâu hơn, tự động hơn sẽ hỗ trợ ngƣời quản lý tìm ra các khách hàng thích hợp, sáng suốt trong việc định hƣớng thị trƣờng, phát triển chiến lƣợc giá cả, điều chỉnh các kiểu loại mặt hàng trên cơ sở phân tích nhu cầu (mẫu, mô hình) của khách hàng thƣờng xuyên…. Khai phá dữ liệu đã và đang nhận đƣợc sự quan tâm rộng rãi của đông đảo giới khoa học và kinh doanh vì một số lý do chính sau đây: Số lƣợng và kích cỡ các CSDL của nhiều doanh nghiệp hiện nay đang tăng lên với một tốc độ đáng kinh ngạc. Các CSDL cỡ Terabyte (1024 GB) thậm chí Petabyte (1024 Terabyte) một thời đƣợc coi là không thể có, thì nay đang trở Một số thử nghiệm khai phá dữ liệu trong CSDL Oracle TIEU LUAN MOI download : [e-mail] 10 thành thực tế trong nhiều lĩnh vực nhƣ: tiếp thị, bán hàng, tài chính, y tế, bảo hiểm, sinh học phân tử.

Các doanh nghiệp nhận ra có rất nhiều kiến thức có giá trị ẩn chứa trong dữ liệu mà khi phát hiện ra có thể đem lại sức cạnh tranh đáng kể cho doanh nghiệp. Xuất hiện một số công nghệ hỗ trợ thực thi khai phá dữ liệu trên các CSDL lớn. Các chức năng khai phá dữ liệu - Các loại mẫu có thể khai phá. Khai phá dữ liệu là giai đoạn chủ yếu của quá trình Phát hiện tri thức.

Đó là những thông tin có giá trị nhƣ các mẫu hình (pattern/model) của dữ liệu. Công đoạn khai phá tri thức đƣợc thực hiện sau các quá trình thu thập và tinh lọc dữ liệu và chỉ tìm các mẫu hình có ý nghĩa trên tập dữ liệu có hy vọng chứ không phải là trên toàn bộ CSDL nhƣ các phƣơng pháp thống kê trƣớc đây. [4] Các nhiệm vụ khai phá dữ liệu tùy theo dạng kiến thức ngƣời dùng muốn tìm kiếm có thể chia thành hai loại chính là Mô tả (Description) và Dự báo (Prediction) [10] với ý nghĩa nhƣ sau: Nhiệm vụ Ý nghĩa Các phân tích Mô tả Đặc trƣng hóa các tính chất chung và cung cấp - Luật kết hợp Description khung nhìn tổng quát của dữ liệu trong CSDL. - Gộp nhóm Dự báo Thực hiện suy luận trên dữ liệu hiện tại để dự báo - Phân lớp Prediction dữ liệu tƣơng lai.

Các loại nhiệm vụ khai phá dữ liệu 1. Phân tích kết hợp. Chức năng khai phá luật kết hợp: Nhằm phát hiện các luật kết hợp, chỉ ra các điều kiện một tập dữ liệu xuất hiện cùng nhau. Một luật kết hợp thƣờng có dạng X Y đƣợc diễn giải là: Bộ dữ liệu trong CSDL thỏa mãn điều kiện X thì cũng có thể thỏa mãn điều kiện Y.

Các luật kết hợp thƣờng dùng để tìm ra các quan hệ hoặc tƣơng quan của các bộ dữ liệu cho các phân Một số thử nghiệm khai phá dữ liệu trong CSDL Oracle TIEU LUAN MOI download : [e-mail] 11 tích thị trƣờng kinh doanh. Một luật kết hợp điển hình là đánh giá khả năng có thể.