Khai Phá Dữ Liệu với Luật Kết Hợp và Ứng Dụng trong Trợ Giúp Ra Quyết Định

Chuyên khảo luật học phân tích Khai phá dữ liệu với luật kết hợp và ứng dụng trong trợ giúp ra quyết định, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Anoulak Sidaralak
• Người hướng dẫn: ThS. Lê Thị Nguyên An
• Trường học: Trường Đại Học Quảng Nam
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Khai Phá Dữ Liệu Với Luật Kết Hợp Và Ứng Dụng Trong Trợ Giúp Ra Quyết Định
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2017
• Địa điểm: Quảng Nam

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. PHẦN 1: MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu của đề tài
• 1.3. Đối tượng nghiên cưú và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Lịch sử nghiên cứu
• 1.6. Đóng góp của đề tài
• 1.7. Cấu trúc của đề tài
• 2. PHẦN 2: NỘI DUNG
• 2. CHƯƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU
• 1.1. Khai phá dữ liệu và phát hiện tri thức
• 1.2. Quá trình khám phá tri thức trong CSDL
• 1.3. Các phương pháp khai phá dữ liệu
• 1.4. Các thành phần của giải thuật khai phá dữ liệu
• 1.5. Phương pháp suy diễn / quy nạp
• 1.6. Phương pháp K-láng giềng gần
• 1.7. Phương pháp sử dụng cây quyết định và luật
• 1.8. Phương pháp phát hiện luật kết hợp
• 1.9. Nhiệm vụ chính trong khai thác dữ liệu
• 1.10. Mô hình hoá sự phụ thuộc (dependency modeling)
• 1.11. Phát hiện sự biến đổi và độ lệch (change and deviation detection)
• 1.12. Các kỹ thuật khai phá dữ liệu
• 1.13. Các kỹ thuật tiếp cận trong Data mining
• 1.14. Dạng dữ liệu có thể khai phá
• 1.15. Các ứng dụng của khai phá dữ liệu
• 1.16. Khai phá luật kết hợp và ứng dụng
• 1.17. Phân loại các hệ thống khai phá dữ liệu
• 1.18. Xu hướng trong khai phá dữ liệu
• 3. CHƯƠNG 2: LUẬT KẾT HỢP TRONG KHAI PHÁ DỮ LIỆU
• 2.1. Khai phá luật kết hợp
• 2.2. Lý thuyết về luật kết hợp
• 2.3. Định nghĩa luật kết hợp
• 2.4. Một số tính chất liên quan đến các hạng mục phổ biến
• 2.5. Tập mục phổ biến
• 2.6. Luật kết hợp
• 2.7. Một số hướng tiếp cận trong khai phá luật kết hợp
• 2.8. Phát biểu bài toán phát hiện luật kết hợp
• 2.9. Một số thuật toán phát hiện luật kết hợp
• 2.9.1. Thuật toán Apriori
• 2.9.2. Ý tưởng thuật toán Apriori
• 2.9.3. Thuật toán Apriori (chi tiết)
• 2.9.4. Sinh các luật kết hợp từ tập mục phổ biến
• 2.9.5. Thuật toán FP-growth
• 2.9.6. Ý tưởng thuật toán FP-growth
• 2.9.7. Thuật toán FP-growth (chi tiết)
• 2.9.8. Đánh giá thuật toán FP-growth
• 4. CHƯƠNG 3: THỬ NGHIỆM KHAI PHÁ LUẬT KẾT HỢP
• 3.1. Phát biểu bài toán
• 3.2. Phân tích chương trình
• 3.3. Sử dụng phần mềm weka để hỗ trợ ra luật kết hợp
• 5. PHẦN 3: KẾT LUẬN
• PHẦN 4: TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Khai Phá Dữ Liệu Định Nghĩa Vai Trò

Khai phá dữ liệu (Data Mining) (DM)** là quá trình tìm kiếm, phát hiện các tri thức mới, tiềm ẩn, hữu dụng trong CSDL lớn. Về bản chất, khai phá dữ liệu liên quan đến việc phân tích các dữ liệu và sử dụng các kỹ thuật để tìm ra các mẫu hình có tính chính quy trong tập dữ liệu. Năm 1989, Fayyad, Piatestsky-Shapiro và Smyth đã dùng khái niệm khám phá tri thức trong cơ sở dữ liệu, để chỉ toàn bộ quá trình phát hiện các tri thức có ích từ các tập dữ liệu lớn; trong đó khai phá dữ liệu là một bước đặc biệt trong toàn bộ quá trình, sử dụng các giải thuật đặc biệt để chiết xuất ra các mẫu hay các mô hình từ dữ liệu. Quá trình này kết xuất ra các tri thức tiềm ẩn từ dữ liệu giúp cho việc dự báo trong kinh doanh, các hoạt động sản xuất.

1.1. Phân Biệt Khai Phá Dữ Liệu và Phát Hiện Tri Thức KDD

Mặc dù thường được sử dụng thay thế cho nhau, khai phá dữ liệu và phát hiện tri thức (KDD) không hoàn toàn đồng nhất. Nếu quan niệm tri thức là một quan hệ của các mẫu giữa các phần tử dữ liệu thì quá trình phát hiện tri thức chỉ toàn bộ quá trình trích xuất tri thức từ cơ sở dữ liệu, trong đó trải qua nhiều giai đoạn khác nhau như: Tìm hiểu và phát hiện vấn đề thu thập và tiền xử lý dữ liệu, phát hiện tri thức, minh họa và đánh giá tri thức đã phát hiện và đưa kết quả vào thực tế. Khai phá dữ liệu có những điểm khác nhau về mặt ngữ nghĩa so với phát hiện tri thức từ cơ sở dữ liệu nhưng thực tế ta thấy khai phá dữ liệu là chỉ một giai đoạn phát hiện tri thức trong một chuỗi các giai đoạn quá trình phát hiện tri thức trong cơ sở dữ liệu. Tuy nhiên đây là giai đoạn đóng vai trò chủ chốt và là giai đoạn chính tạo nên tính đa ngành của phát hiện tri thức trong cơ sở dữ liệu.

1.2. Các Bước Cơ Bản Trong Quá Trình Khám Phá Tri Thức

Quá trình khám phá tri thức trong CSDL (KDD) bao gồm nhiều giai đoạn lặp lại. Bước đầu tiên là xác định bài toán. Tiếp theo là thu thập và tiền xử lý dữ liệu, loại bỏ nhiễu và làm giàu dữ liệu. Sau đó là giai đoạn khai phá dữ liệu, trích xuất các mẫu. Kế đến là diễn giải và đánh giá tri thức. Cuối cùng là sử dụng tri thức đã phát hiện. Theo tài liệu gốc, sự lặp lại có thể xuất hiện ở bất cứ bước nào, đảm bảo kết quả chính xác và hữu ích nhất.

II. Tìm Hiểu Luật Kết Hợp Cơ Sở Lý Thuyết Ứng Dụng

Luật kết hợp là một nội dung quan trọng trong khai phá dữ liệu. Kỹ thuật khám phá tri thức và khai phá dữ liệu đã và đang được nghiên cứu, ứng dụng trong nhiều lĩnh vực khác nhau ở các nước trên thế giới, tại Việt Nam kỹ thuật này tương đối còn mới mẻ tuy nhiên cũng đang được nghiên cứu và dần đưa vào ứng dụng. Mục tiêu của đề tài là hiểu rõ đươc những khái niệm cơ bản của luật kết hợp, nắm vững một số thuật toán phát hiện luật kết hợp, xây dựng ứng dụng thuật toán Apriori và FP-growth để trợ giúp ra quyết địn trong thực tế.

2.1. Định Nghĩa và Các Khái Niệm Cơ Bản Của Luật Kết Hợp

Đề tài tập trung nghiên cứu lý thuyết về khai phá dữ liệu, một số thuật toán phát hiện luật kết hợp . Nghiêm cứu thuật toán Apriori, FP-growth và xây dựng ứng dụng thực tế. Luật kết hợp khám phá các mối quan hệ giữa các mục dữ liệu trong một tập dữ liệu lớn. Nó xác định các mục thường xuyên xuất hiện cùng nhau. Các khái niệm quan trọng bao gồm độ hỗ trợ (support), độ tin cậy (confidence), và độ nâng (lift) của luật. Các tham số này đánh giá mức độ quan trọng và tin cậy của các luật được khai phá.

2.2. Phát Biểu Bài Toán Phát Hiện Luật Kết Hợp Chi Tiết

Bài toán phát hiện luật kết hợp là tìm ra các luật dạng X -> Y, trong đó X và Y là các tập mục (itemset) không giao nhau. Mục tiêu là tìm tất cả các luật thỏa mãn ngưỡng độ hỗ trợ tối thiểu (minsup) và ngưỡng độ tin cậy tối thiểu (minconf). Điều này đòi hỏi việc khai thác các tập mục phổ biến (frequent itemset) và sau đó sinh ra các luật từ các tập mục này. Theo tài liệu gốc, thuật toán Apriori và FP-growth là hai phương pháp phổ biến để giải quyết bài toán này.

2.3. Các Hướng Tiếp Cận Chính Trong Khai Phá Luật Kết Hợp

Có nhiều hướng tiếp cận khác nhau trong khai phá luật kết hợp, bao gồm các phương pháp dựa trên thuật toán Apriori, FP-growth, và các biến thể của chúng. Thuật toán Apriori sử dụng phương pháp duyệt mức để tìm các tập mục phổ biến, trong khi FP-growth sử dụng cấu trúc cây FP-tree để nén dữ liệu và khai thác luật hiệu quả hơn. Mỗi phương pháp có ưu và nhược điểm riêng, phù hợp với các loại dữ liệu và yêu cầu ứng dụng khác nhau.

III. Thuật Toán Apriori Hướng Dẫn Chi Tiết Ví Dụ Minh Họa

Thuật toán Apriori là một trong những thuật toán kinh điển trong khai phá luật kết hợp. Mục tiêu của thuật toán này là tìm ra các tập mục phổ biến trong một tập dữ liệu giao dịch. Apriori sử dụng phương pháp duyệt mức, bắt đầu từ các mục đơn lẻ và mở rộng dần thành các tập mục lớn hơn. Nguyên tắc cơ bản là nếu một tập mục không phổ biến thì bất kỳ tập cha nào của nó cũng không thể phổ biến.

3.1. Ý Tưởng và Nguyên Lý Hoạt Động Của Thuật Toán Apriori

Ý tưởng chính của thuật toán Apriori là sử dụng tính chất "tập con của một tập phổ biến phải là phổ biến". Thuật toán bắt đầu bằng việc tìm tất cả các mục đơn lẻ (1-itemset) có độ hỗ trợ lớn hơn ngưỡng tối thiểu. Sau đó, nó tạo ra các ứng viên 2-itemset từ các 1-itemset phổ biến và tiếp tục quá trình này cho đến khi không còn ứng viên nào được tạo ra. Theo tài liệu, thuật toán sử dụng hai bước chính: sinh ứng viên và cắt tỉa (pruning).

3.2. Các Bước Cụ Thể Để Thực Hiện Thuật Toán Apriori

Thuật toán Apriori bao gồm các bước sau: 1) Tìm tất cả các mục đơn lẻ có độ hỗ trợ lớn hơn ngưỡng tối thiểu. 2) Tạo các ứng viên k-itemset từ các (k-1)-itemset phổ biến. 3) Tính độ hỗ trợ cho mỗi ứng viên. 4) Chọn các ứng viên có độ hỗ trợ lớn hơn ngưỡng tối thiểu để trở thành k-itemset phổ biến. 5) Lặp lại bước 2-4 cho đến khi không còn ứng viên nào được tạo ra.

3.3. Ưu Điểm Nhược Điểm Của Thuật Toán Apriori

Thuật toán Apriori có ưu điểm là đơn giản và dễ hiểu. Tuy nhiên, nó có nhược điểm là tốn kém về mặt tính toán, đặc biệt là khi tập dữ liệu lớn và ngưỡng độ hỗ trợ thấp. Thuật toán phải duyệt qua toàn bộ tập dữ liệu nhiều lần để tính độ hỗ trợ cho các ứng viên, dẫn đến hiệu suất kém.

IV. Thuật Toán FP Growth Giải Pháp Thay Thế Hiệu Quả

Thuật toán FP-growth là một giải pháp thay thế hiệu quả cho Apriori trong khai phá luật kết hợp. Thay vì tạo ra các ứng viên một cách tường minh, FP-growth sử dụng cấu trúc cây FP-tree để nén dữ liệu và khai thác luật trực tiếp từ cây. Điều này giúp giảm đáng kể chi phí tính toán và cải thiện hiệu suất.

4.1. Ý Tưởng Chính Đằng Sau Thuật Toán FP Growth

Ý tưởng chính của FP-growth là xây dựng một cây FP-tree đại diện cho tập dữ liệu giao dịch. Cây FP-tree lưu trữ thông tin về tần suất xuất hiện của các mục, cho phép khai thác luật mà không cần tạo ra các ứng viên. Thuật toán sau đó sử dụng phương pháp "chia để trị" để khai thác luật từ cây một cách hiệu quả.

4.2. Các Bước Xây Dựng và Sử Dụng Cây FP Tree

Các bước xây dựng cây FP-tree bao gồm: 1) Quét tập dữ liệu và tìm các mục phổ biến. 2) Sắp xếp các mục theo thứ tự giảm dần của tần suất xuất hiện. 3) Xây dựng cây FP-tree bằng cách duyệt qua từng giao dịch và thêm các mục vào cây theo thứ tự đã sắp xếp. Để khai thác luật, thuật toán duyệt cây từ dưới lên, tìm các mẫu phổ biến dựa trên các đường dẫn trên cây.

4.3. So Sánh FP Growth Với Apriori Ưu và Nhược Điểm

FP-growth có ưu điểm là hiệu suất cao hơn Apriori, đặc biệt là với các tập dữ liệu lớn và ngưỡng độ hỗ trợ thấp. Tuy nhiên, nó có nhược điểm là phức tạp hơn trong việc triển khai và yêu cầu nhiều bộ nhớ hơn để lưu trữ cây FP-tree. Ngoài ra, tài liệu gốc không đề cập chi tiết về các nhược điểm của FP-growth.

V. Ứng Dụng Luật Kết Hợp Trong Trợ Giúp Ra Quyết Định

Luật kết hợp có nhiều ứng dụng thực tế trong việc hỗ trợ ra quyết định trong nhiều lĩnh vực khác nhau. Một trong những ứng dụng phổ biến nhất là trong phân tích giỏ hàng (Market Basket Analysis) trong ngành bán lẻ. Ngoài ra, luật kết hợp cũng được sử dụng trong y học, tài chính, và nhiều lĩnh vực khác.

5.1. Ứng Dụng Trong Phân Tích Giỏ Hàng Market Basket Analysis

Phân tích giỏ hàng sử dụng luật kết hợp để tìm ra các sản phẩm thường được mua cùng nhau. Thông tin này có thể được sử dụng để tối ưu hóa vị trí sản phẩm trong cửa hàng, thiết kế các chương trình khuyến mãi, và xây dựng các hệ thống gợi ý sản phẩm (recommender systems). Ví dụ, nếu luật kết hợp cho thấy rằng khách hàng thường mua bánh mì và bơ cùng nhau, cửa hàng có thể đặt hai sản phẩm này gần nhau để tăng doanh số bán hàng.

5.2. Luật Kết Hợp Trong Dự Đoán Hành Vi Khách Hàng

Luật kết hợp có thể được sử dụng để dự đoán hành vi khách hàng và cá nhân hóa trải nghiệm mua sắm. Bằng cách phân tích lịch sử mua hàng của khách hàng, hệ thống có thể gợi ý các sản phẩm mà khách hàng có khả năng quan tâm. Thông tin này có thể được sử dụng để tăng tỷ lệ chuyển đổi và cải thiện sự hài lòng của khách hàng.

5.3. Các Ứng Dụng Khác Của Luật Kết Hợp Trong Các Lĩnh Vực

Luật kết hợp cũng được sử dụng trong nhiều lĩnh vực khác ngoài bán lẻ. Trong y học, nó có thể được sử dụng để tìm ra các mối liên hệ giữa các triệu chứng và bệnh tật. Trong tài chính, nó có thể được sử dụng để phát hiện gian lận và đánh giá rủi ro. Các ứng dụng tiềm năng của luật kết hợp là rất lớn và tiếp tục được khám phá.

VI. Kết Luận và Xu Hướng Phát Triển Của Khai Phá Dữ Liệu

Khai phá dữ liệu và luật kết hợp là những lĩnh vực quan trọng và đầy tiềm năng trong bối cảnh dữ liệu ngày càng gia tăng. Các thuật toán như Apriori và FP-growth đã đóng góp quan trọng vào sự phát triển của lĩnh vực này. Tuy nhiên, vẫn còn nhiều thách thức và cơ hội để cải thiện hiệu suất, mở rộng ứng dụng và phát triển các phương pháp mới.

6.1. Tóm Tắt Các Điểm Chính và Kết Quả Đạt Được

Đề tài đã trình bày tổng quan về khai phá dữ liệu, luật kết hợp, thuật toán Apriori và FP-growth, và các ứng dụng của chúng. Nghiên cứu cho thấy luật kết hợp là một công cụ mạnh mẽ để khám phá các mối quan hệ tiềm ẩn trong dữ liệu và hỗ trợ ra quyết định. Các thuật toán Apriori và FP-growth cung cấp các phương pháp hiệu quả để khai thác luật từ dữ liệu lớn.

6.2. Các Thách Thức và Hướng Nghiên Cứu Trong Tương Lai

Một trong những thách thức chính trong khai phá dữ liệu là xử lý dữ liệu lớn (Big Data) và dữ liệu phức tạp. Các thuật toán cần phải được tối ưu hóa để có thể xử lý dữ liệu với quy mô lớn và cấu trúc phức tạp. Ngoài ra, cần có các phương pháp mới để khai thác luật từ các loại dữ liệu phi cấu trúc, như văn bản và hình ảnh.

6.3. Vai Trò Của Khai Phá Dữ Liệu Trong Kỷ Nguyên Số

Khai phá dữ liệu đóng vai trò ngày càng quan trọng trong kỷ nguyên số, nơi dữ liệu được tạo ra với tốc độ chóng mặt. Khả năng khai thác thông tin từ dữ liệu là yếu tố then chốt để thành công trong nhiều lĩnh vực. Các doanh nghiệp và tổ chức cần đầu tư vào khai phá dữ liệu để có thể đưa ra các quyết định sáng suốt và cạnh tranh hiệu quả.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 1. Khái niệm Khai phá dữ liệu là một khái niệm ra đời vào những năm cuối ở thập kỷ 80 của thế kỷ XX. Nó bao hàm một loạt các kỹ thuật nhằm phát hiện ra các thông tin có giá trị tiềm ẩn trong các tập dữ liệu lớn (các kho dữ liệu). Về bản chất, khai phá dữ liệu liên quan đến việc phân tích các dữ liệu và sử dụng các kỹ thuật để tìm ra các mẫu hình có tính chính quy trong tập dữ liệu.

Năm 1989, Fayyad, Piatestsky-Shapiro và Smyth đã dùng khái niệm khám phá tri thức trong cơ sở dữ liệu, để chỉ toàn bộ quá trình phát hiện các tri thức có ích từ các tập dữ liệu lớn; trong đó khai phá dữ liệu là một bước đặc biệt trong toàn bộ quá trình, sử dụng các giải thuật đặc biệt để chiết xuất ra các mẫu hay các mô hình từ dữ liệu. Ở một mức độ trừu tượng nhất định có thể định nghĩa về khai phá dữ liệu: Data Mining là một quá trình tìm kiếm, phát hiện các tri thức mới, tiềm ẩn, hữu dụng trong CSDL lớn. Khám phá tri thức (KDD) là mục tiêu chính của khai phá dữ liệu, do vậy hai khái niệm đó được xem như hai lĩnh vực tương đương nhau. Nhưng, nếu phân chia một cách tách bạch thì khai phá dữ liệu là một bước chính trong quá trình KDD.

Khai phá dữ liệu được dùng để mô tả quá trình phát hiện ra tri thức trong CSDL. Quá trình này kết xuất ra các tri thức tiềm ẩn từ dữ liệu giúp cho việc dự báo trong kinh doanh, các hoạt động sản xuất,. Khai phá dữ liệu làm giảm chi phí về thời gian so với phương pháp truyền thống trước kia (ví dụ như phương pháp thống kê). Sau đây là các định nghĩa mang tính mô tả của nhiều tác giả về khai phá dữ liệu: Định nghĩa của Ferruzza: “Khai phá dữ liệu là tập hợp các phương pháp được dùng trong tiến trình khám phá tri thức để chỉ ra sự khác biệt các mối quan hệ và các mẫu chưa biết bên trong dữ liệu”.

Định nghĩa của Parsaye: “Khai phá dữ liệu là quá trình trợ giúp quyết định, trong đó chúng ta tìm kiếm các mẫu thông tin chưa biết và bất ngờ trong CSDL lớn”. 3 Định nghĩa của Fayyad: “Khai phá tri thức là một quá trình không tầm thường nhận ra những mẫu dữ liệu có giá trị, mới, hữu ích, tiềm năng và có thể hiểu được”. Khai phá dữ liệu và phát hiện tri thức Yếu tố thành công trong mọi hoạt động kinh doanh ngày nay là việc biết sử dụng thông tin có hiệu quả. Điều đó có nghĩa là từ các dữ liệu có sẵn phải tìm ra những thông tin tiềm ẩn mà trước đó chưa được phát hiện, tìm ra những xu hướng phát triển và những yếu tố tác động lên chúng.

Thực hiện công việc đó chính là quá trình phát hiện tri thức trong cơ sở dữ liệu mà trong đó kỹ thuật cho phép ta lấy được các tri thức chính ra từ kỹ thuật khai phá dữ liệu. Nếu quan niệm tri thức là một quan hệ của các mẫu giữa các phần tử dữ liệu thì quá trình phát hiện tri thức chỉ toàn bộ quá trình trích xuất tri thức từ cơ sở dữ liệu, trong đó trải qua nhiều giai đoạn khác nhau như: Tìm hiểu và phát hiện vấn đề thu thập và tiền xử lý dữ liệu, phát hiện tri thức, minh họa và đánh giá tri thức đã phát hiện và đưa kết quả vào thực tế. Khai phá dữ liệu có những điểm khác nhau về mặt ngữ nghĩa so với phát hiện tri thức từ cơ sở dữ liệu nhưng thực tế ta thấy khai phá dữ liệu là chỉ một giai đoạn phát hiện tri thức trong một chuỗi các giai đoạn quá trình phát hiện tri thức trong cơ sở dữ liệu. Tuy nhiên đây là giai đoạn đóng vai trò chủ chốt và là giai đoạn chính tạo nên tính đa ngành của phát hiện tri thức trong cơ sở dữ liệu.

Quá trình khám phá tri thức trong CSDL Khám phá tri thức trong CSDL (KDD) là lĩnh vực liên quan đến các ngành như: thống kê, học máy, CSDL, thuật toán, trực quan hoá dữ liệu, tính toán song song và hiệu năng cao,… Mục đích của quá trình khám phá tri thức là rút ra tri thức từ dữ liệu trong CSDL lớn. Quá trình khai phá dữ liệu là quá trình gồm nhiều giai đoạn và lặp lại, mà trong đó sự lặp lại có thể xuất hiện ở bất cứ bước nào. Quá trình đó có thể được mô tả theo hình sau: 4 Hình 1.1: Quá trình khám phá tri thức. Bước thứ nhất: Hình thành, xác định và định nghĩa bài toán.

Là tìm hiểu lĩnh vực ứng dụng từ đó hình thành bài toán, xác định các nhiệm vụ cần phải hoàn thành. Bước này sẽ quyết định cho việc rút ra được các tri thức hữu ích và cho phép chọn các phương pháp khai phá dữ liệu thích hợp với mục đích ứng dụng và bản chất của dữ liệu. Bước thứ hai: Thu thập và tiền xử lý dữ liệu. Là thu thập và xử lý thô, còn được gọi là tiền xử lý dữ liệu nhằm loại bỏ nhiễu (làm sạch dữ liệu), xử lý việc thiếu dữ liệu (làm giàu dữ liệu), biến đổi dữ liệu và rút gọn dữ liệu nếu cần thiết, bước này thường chiếm nhiều thời gian nhất trong toàn bộ qui trình phát hiện tri thức.

Do dữ liệu được lấy từ nhiều nguồn khác nhau, không đồng nhất, … có thể gây ra các nhầm lẫn. Sau bước này, dữ liệu sẽ nhất quán, đầy đủ, được rút gọn và rời rạc hoá. Bước thứ ba: Khai phá dữ liệu, rút ra các tri thức. Là khai phá dữ liệu, hay nói cách khác là trích ra các mẫu hoặc/và các mô hình ẩn dưới các dữ liệu.

Giai đoạn này rất quan trọng, bao gồm các công đoạn như: chức năng, nhiệm vụ và mục đích của khai phá dữ liệu, dùng phương pháp khai phá nào? Thông thường, các bài toán khai phá dữ liệu bao gồm: các bài toán mang tính mô tả - đưa ra tính chất chung nhất của dữ liệu, các bài toán dự báo - bao gồm cả việc phát hiện các suy diễn dựa trên dữ liệu hiện có. Tùy theo bài toán xác định được mà ta lựa chọn các phương pháp khai phá dữ liệu cho phù hợp. Bước thứ tư: Là hiểu tri thức đã tìm được, đặc biệt là làm sáng tỏ các mô tả và dự đoán. Các bước trên có thể lặp đi lặp lại một số lần, kết quả thu được có thể được lấy trung bình trên tất cả các lần thực hiện.

5 Bước thứ năm: Sử dụng các tri thức phát hiện được. Là hiểu tri thức đã tìm được, đặc biệt là làm sáng tỏ các mô tả và dự đoán. Các bước trên có thể lặp đi lặp lại một số lần, kết quả thu được có thể được lấy trung bình trên tất cả các lần thực hiện. Các kết quả của quá trình khám phá tri thức có thể được đưa và ứng dụng trong các lĩnh vực khác nhau.

Do các kết quả có thể là các dự đoán hoặc các mô tả nên chúng có thể được đưa vào các hệ thống hỗ trợ ra quyết định nhằm tự động hoá quá trình này. Tóm lại: KDD là một quá trình kết xuất ra tri thức từ kho dữ liệu mà trong đó khai phá dữ liệu là công đoạn quan trọng nhất. Các phương pháp khai phá dữ liệu Khai phá dữ liệu là lĩnh vực mà con người luôn tìm cách đạt được mục đích sử dụng thông tin của mình. Quá trình khai phá dữ liệu là quá trình phát hiện mẫu, trong đó phương pháp khai phá dữ liệu để tìm kiếm các mẫu đáng quan tâm theo dạng xác định.

Có thể kể ra đây một vài phương pháp như: sử dụng công cụ truy vấn, xây dựng cây quyết định, dựa theo khoảng cách (K-láng giềng gần), giá trị trung bình, phát hiện luật kết hợp, …Các phương pháp trên có thể được phỏng theo và được tích hợp vào các hệ thống để khai phá dữ liệu theo thống kê trong nhiều năm nghiên cứu. Tuy nhiên, với dữ liệu rất lớn trong kho dữ liệu thì các phương pháp này cũng đối diện với thách thức về mặt hiệu quả và quy mô. Các thành phần của giải thuật khai phá dữ liệu Giải thuật khai phá dữ liệu bao gồm 3 thành phần chính như sau: biểu diễn mô hình, kiểm định mô hình và phương pháp tìm kiếm. - Biểu diễn mô hình: Mô hình được biểu diễn theo một ngôn ngữ L nào đó để miêu tả các mẫu có thể khai thác được.

Mô tả mô hình rõ ràng thì học máy sẽ tạo ra mẫu có mô hình chính xác cho dữ liệu. Tuy nhiên, nếu mô hình quá lớn thì khả năng dự đoán của học máy sẽ bị hạn chế. Như thế sẽ làm cho việc tìm kiếm phức tạp hơn cũng như hiểu được mô hình là không đơn giản hoặc sẽ không thể có các mẫu tạo ra được một mô hình chính xác cho dữ liệu. Vì vậy, việc quan trọng là người phân tích dữ liệu là cần phải hiểu đầy đủ các giả thiết miêu tả.

Một điều cũng khá quan trọng là người thiết kế giải thuật cũng phải diễn tả được các giả thiết mô tả nào được tạo ra bởi giải thuật nào. Khả năng miêu tả mô hình càng lớn thì càng làm tăng mức độ nguy hiểm do bị học quá và làm giảm đi khả năng dự đoán các dữ liệu chưa biết. Hơn nữa, việc tìm kiếm sẽ càng trở lên phức tạp hơn và việc giải thích mô hình cũng khó khăn hơn. 6 Mô hình ban đầu được xác định bằng cách kết hợp biến đầu ra (phụ thuộc) với các biến độc lập mà biến đầu ra phụ thuộc vào.

Sau đó phải tìm những tham số mà bài toán cần tập trung giải quyết. Việc tìm kiếm mô hình sẽ đưa ra được một mô hình phù hợp với tham số được xác định dựa trên dữ liệu (trong một số trường hợp khác thì mô hình và các tham số lại thay đổi để phù hợp với dữ liệu). Trong một số trường hợp, tập các dữ liệu được chia thành tập dữ liệu học và tập dữ liệu thử. Tập dữ liệu học được dùng để làm cho tham số của mô hình phù hợp với dữ liệu.

Mô hình sau đó sẽ được đánh giá bằng cách đưa các dữ liệu thử vào mô hình và thay đổi các tham số cho phù hợp nếu cần. Mô hình lựa chọn có thể là phương pháp thống kê như SASS, … một số giải thuật học máy, mạng neuron, suy diễn hướng tình huống, các kỹ thuật phân lớp.