Nghiên Cứu Kỹ Thuật Phân Cụm Dữ Liệu và Ứng Dụng

Luận văn thạc sĩ nghiên cứu nghiên cứu các kỹ thuật phân cụm dữ liệu và ứng dụng, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực kỹ thuật.

• Tác giả: Nguyễn Thị Huế
• Người hướng dẫn: GS. Vũ Đức Thi
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên Cứu Các Kỹ Thuật Phân Cụm Dữ Liệu Và Ứng Dụng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2011
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Về Kỹ Thuật Phân Cụm Dữ Liệu Định Nghĩa Vai Trò

Sự bùng nổ thông tin và sự phát triển của công nghệ thông tin đã tạo ra một lượng lớn dữ liệu. Việc khai thác thông tin tiềm ẩn trong khối lượng dữ liệu khổng lồ này trở nên cấp thiết. Kỹ thuật phân cụm dữ liệu nổi lên như một giải pháp hiệu quả, giúp khám phá các mẫu và cấu trúc ẩn trong dữ liệu. Phân cụm dữ liệu được xem là một quá trình học từ quan sát, hay còn gọi là học không thầy, trong đó các đối tượng tương tự được nhóm lại với nhau thành các cụm. Kỹ thuật này đặc biệt hữu ích khi chúng ta không có thông tin trước về các cụm hoặc quan tâm đến các thuộc tính của cụm mà chưa biết rõ. Theo Nguyễn Thị Huế trong luận văn thạc sỹ, phân cụm dữ liệu "là một trong những phương pháp quan trọng trong quá trình tìm kiếm tri thức" và hiệu quả khi không biết trước thông tin về các cụm. Việc áp dụng các phương pháp khai phá dữ liệu phù hợp với đặc trưng của dữ liệu và mục đích sử dụng là yếu tố then chốt.

1.1. Khai Phá Dữ Liệu và Ứng Dụng Phân Tích Cụm Tổng Quan

Khai phá dữ liệu là quá trình trích lọc thông tin có giá trị ẩn từ lượng lớn dữ liệu. Phân tích cụm, một kỹ thuật quan trọng trong khai phá dữ liệu, giúp nhóm các đối tượng tương tự vào cùng một cụm. Khai phá dữ liệu bao gồm nhiều giai đoạn, từ xác định nhiệm vụ đến tiền xử lý dữ liệu, chọn thuật toán và đánh giá kết quả. Phân tích cụm có nhiều ứng dụng trong các lĩnh vực khác nhau, bao gồm tiếp thị, sử dụng đất, bảo hiểm và hoạch định thành phố. Ngoài ra, phân cụm dữ liệu có thể được sử dụng như một bước tiền xử lý cho các thuật toán khai phá dữ liệu khác, nâng cao hiệu quả của quá trình khai phá tri thức.

1.2. Quá Trình Phân Cụm Dữ Liệu Các Bước Cơ Bản và Lưu Ý

Quá trình phân cụm dữ liệu bao gồm nhiều bước, bắt đầu bằng việc xác định mục tiêu và kết thúc bằng việc đánh giá kết quả. Đầu tiên, cần xác định rõ mục tiêu của việc phân cụm và lựa chọn các thuộc tính phù hợp. Tiếp theo, dữ liệu cần được tiền xử lý để loại bỏ nhiễu và xử lý các giá trị thiếu. Sau đó, thuật toán phân cụm phù hợp được lựa chọn và áp dụng. Cuối cùng, kết quả phân cụm cần được đánh giá bằng các độ đo phù hợp và có thể cần điều chỉnh các tham số hoặc thuật toán để đạt được kết quả tốt hơn. Theo luận văn, "Quá trình khai phá tri thức không chỉ phải tuân theo các bước cố định mà các quá trình này còn có thể được lặp đi lặp lại ở một hoặc một số giai đoạn". Việc lặp lại các bước có thể cải thiện đáng kể chất lượng của cụm.

II. Các Kỹ Thuật Phân Cụm Dữ Liệu Phổ Biến So Sánh Lựa Chọn

Có nhiều kỹ thuật phân cụm dữ liệu khác nhau, mỗi kỹ thuật có ưu và nhược điểm riêng. Các phương pháp phân cụm chính bao gồm phương pháp phân hoạch, phương pháp phân cấp, phương pháp dựa trên mật độ và phương pháp dựa trên lưới. Phương pháp phân hoạch, như phân cụm K-Means, chia dữ liệu thành các cụm không chồng lấp. Phương pháp phân cấp xây dựng một cây phân cấp các cụm. Phương pháp dựa trên mật độ, như DBSCAN, xác định các cụm dựa trên mật độ điểm dữ liệu. Phương pháp dựa trên lưới chia không gian dữ liệu thành các ô lưới và phân cụm dựa trên các ô. Theo tài liệu, mỗi phương pháp có những giải thuật điển hình riêng. Việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của dữ liệu và mục tiêu phân cụm. Quyết định này cần sự hiểu biết về các thuật toán.

2.1. Phân Cụm K Means Ưu Điểm Nhược Điểm và Ứng Dụng

Phân cụm K-Means là một thuật toán phân hoạch phổ biến, chia dữ liệu thành k cụm, trong đó mỗi điểm dữ liệu thuộc về cụm có trung bình gần nhất. Ưu điểm của K-Means là đơn giản, dễ thực hiện và hiệu quả về mặt tính toán. Tuy nhiên, K-Means có một số nhược điểm, bao gồm việc yêu cầu xác định trước số lượng cụm (k), nhạy cảm với các giá trị ngoại lai và có thể bị mắc kẹt trong cực trị cục bộ. K-Means được sử dụng rộng rãi trong nhiều ứng dụng, bao gồm phân tích khách hàng, phân loại tài liệu và nén ảnh. Cần lưu ý đến việc lựa chọn k và tiền xử lý dữ liệu để tối ưu hóa hiệu quả.

2.2. Phân Cụm DBSCAN Cách Hoạt Động Ưu Nhược Điểm Chi Tiết

DBSCAN là một thuật toán phân cụm dựa trên mật độ, có khả năng phát hiện các cụm có hình dạng bất kỳ và loại bỏ nhiễu. DBSCAN hoạt động bằng cách xác định các điểm lõi (core points) và mở rộng các cụm từ các điểm lõi này. Ưu điểm của DBSCAN là không yêu cầu xác định trước số lượng cụm, có thể phát hiện các cụm có hình dạng phức tạp và ít nhạy cảm với các giá trị ngoại lai. Tuy nhiên, DBSCAN có thể gặp khó khăn trong việc xác định các tham số phù hợp (epsilon và minPts) và có thể không hiệu quả với dữ liệu có mật độ không đồng đều. Dựa trên tài liệu, việc phân cụm được thực hiện trên cả thuộc tính dữ liệu và bản đồ.

III. Hướng Dẫn Đánh Giá Chất Lượng Phân Cụm Dữ Liệu Chỉ Số Quan Trọng

Đánh giá chất lượng phân cụm dữ liệu là một bước quan trọng để đảm bảo kết quả phân cụm có ý nghĩa và hữu ích. Có nhiều chỉ số khác nhau để đánh giá chất lượng phân cụm, bao gồm chỉ số Silhouette, chỉ số Davies-Bouldin và chỉ số Calinski-Harabasz. Chỉ số Silhouette đo mức độ tương đồng của một điểm dữ liệu với cụm của nó so với các cụm khác. Chỉ số Davies-Bouldin đo tỷ lệ giữa sự phân tán trong cụm và sự tách biệt giữa các cụm. Chỉ số Calinski-Harabasz đo tỷ lệ giữa phương sai giữa các cụm và phương sai trong các cụm. Lựa chọn chỉ số phù hợp phụ thuộc vào đặc điểm của dữ liệu và mục tiêu phân cụm. Theo nghiên cứu, việc sử dụng nhiều chỉ số đánh giá khác nhau có thể cung cấp cái nhìn toàn diện hơn về chất lượng của cụm.

3.1. Chỉ Số Silhouette Giải Thích Công Thức và Ứng Dụng Thực Tế

Chỉ số Silhouette là một thước đo chất lượng của phân cụm, đánh giá mức độ một đối tượng phù hợp với cụm của nó so với các cụm khác. Chỉ số này dao động từ -1 đến 1, với giá trị gần 1 cho thấy đối tượng được gán đúng cụm, giá trị gần 0 cho thấy đối tượng nằm gần ranh giới giữa các cụm và giá trị gần -1 cho thấy đối tượng có thể đã được gán sai cụm. Chỉ số Silhouette được tính dựa trên khoảng cách trung bình giữa một đối tượng và các đối tượng khác trong cùng cụm (a) và khoảng cách trung bình giữa đối tượng đó và các đối tượng trong cụm gần nhất khác (b). Công thức tính chỉ số Silhouette cho một đối tượng là (b-a)/max(a,b). Giá trị trung bình của chỉ số Silhouette trên tất cả các đối tượng trong tập dữ liệu được sử dụng để đánh giá chất lượng tổng thể của phân cụm.

3.2. Chỉ Số Davies Bouldin Công Thức Tính và Cách Đọc Kết Quả

Chỉ số Davies-Bouldin là một thước đo khác để đánh giá chất lượng của phân cụm, tập trung vào sự tương đồng giữa các cụm. Chỉ số này cố gắng giảm thiểu sự tương đồng giữa các cụm, đồng nghĩa với việc các cụm càng khác biệt thì chỉ số Davies-Bouldin càng thấp, cho thấy chất lượng phân cụm tốt hơn. Công thức tính chỉ số Davies-Bouldin dựa trên tỷ lệ giữa sự phân tán trung bình trong mỗi cụm và khoảng cách giữa các trung tâm cụm. Giá trị thấp của chỉ số Davies-Bouldin cho thấy các cụm được phân tách rõ ràng và có độ phân tán thấp. Ngược lại, giá trị cao cho thấy các cụm chồng chéo hoặc có độ phân tán lớn.

IV. Ứng Dụng Thực Tế Của Phân Cụm Dữ Liệu Ví Dụ Điển Hình

Phân cụm dữ liệu có nhiều ứng dụng thực tế trong nhiều lĩnh vực khác nhau. Trong tiếp thị, phân cụm có thể được sử dụng để phân đoạn khách hàng và tạo ra các chiến dịch tiếp thị mục tiêu. Trong y học, phân cụm có thể được sử dụng để phân loại bệnh nhân và xác định các phương pháp điều trị hiệu quả. Trong tài chính, phân cụm có thể được sử dụng để phát hiện gian lận và đánh giá rủi ro. Trong sản xuất, phân cụm có thể được sử dụng để tối ưu hóa quy trình và cải thiện chất lượng sản phẩm. Theo tài liệu, phân cụm có thể áp dụng trong tiếp thị, sử dụng đất, bảo hiểm và hoạch định thành phố, cho thấy tính ứng dụng đa dạng của kỹ thuật này.

4.1. Phân Cụm Dữ Liệu trong Phân Đoạn Khách Hàng Case Study

Phân cụm dữ liệu là một công cụ mạnh mẽ trong phân đoạn khách hàng, giúp các doanh nghiệp hiểu rõ hơn về khách hàng của mình và tạo ra các chiến dịch tiếp thị phù hợp. Bằng cách phân cụm khách hàng dựa trên các đặc điểm như nhân khẩu học, hành vi mua sắm và sở thích, các doanh nghiệp có thể xác định các nhóm khách hàng khác nhau và điều chỉnh thông điệp tiếp thị của mình để phù hợp với từng nhóm. Ví dụ, một công ty bán lẻ có thể sử dụng phân cụm để xác định các nhóm khách hàng trung thành, khách hàng tiềm năng và khách hàng có nguy cơ rời bỏ, và sau đó tạo ra các chương trình khuyến mãi và chăm sóc khách hàng riêng biệt cho từng nhóm.

4.2. Ứng Dụng Phân Cụm trong Y Học Phân Loại Bệnh và Điều Trị

Phân cụm dữ liệu có thể được sử dụng trong y học để phân loại bệnh nhân dựa trên các triệu chứng, kết quả xét nghiệm và tiền sử bệnh. Việc phân loại bệnh nhân thành các nhóm tương tự có thể giúp các bác sĩ đưa ra chẩn đoán chính xác hơn và lựa chọn phương pháp điều trị phù hợp. Ví dụ, phân cụm có thể được sử dụng để phân loại bệnh nhân ung thư thành các nhóm có phản ứng khác nhau với các phương pháp điều trị khác nhau, từ đó giúp các bác sĩ lựa chọn phương pháp điều trị hiệu quả nhất cho từng bệnh nhân.

V. Thách Thức và Hướng Nghiên Cứu Mới Trong Phân Cụm Dữ Liệu

Mặc dù phân cụm dữ liệu đã đạt được nhiều thành công, vẫn còn nhiều thách thức và hướng nghiên cứu mới cần được khám phá. Một trong những thách thức lớn nhất là xử lý dữ liệu lớn và dữ liệu phức tạp. Các thuật toán phân cụm truyền thống có thể không hiệu quả hoặc không khả thi khi áp dụng cho dữ liệu có kích thước lớn hoặc có nhiều chiều. Hướng nghiên cứu mới bao gồm phát triển các thuật toán phân cụm song song và phân tán, cũng như các thuật toán có khả năng xử lý dữ liệu không cấu trúc và dữ liệu hỗn hợp. Theo các chuyên gia, việc kết hợp các kỹ thuật học sâu vào phân cụm dữ liệu cũng là một hướng đi đầy triển vọng.

5.1. Xử Lý Dữ Liệu Lớn và Phức Tạp Giải Pháp Phân Cụm Mới

Việc xử lý dữ liệu lớn và phức tạp là một thách thức lớn trong phân cụm dữ liệu. Các thuật toán truyền thống thường gặp khó khăn khi phải xử lý dữ liệu có hàng triệu hoặc thậm chí hàng tỷ bản ghi, hoặc dữ liệu có nhiều thuộc tính khác nhau. Để giải quyết vấn đề này, các nhà nghiên cứu đã phát triển nhiều giải pháp mới, bao gồm các thuật toán phân cụm song song và phân tán, có khả năng chia nhỏ dữ liệu và xử lý đồng thời trên nhiều máy tính. Ngoài ra, các thuật toán dựa trên học sâu cũng đang được nghiên cứu để xử lý dữ liệu không cấu trúc và dữ liệu hỗn hợp.

5.2. Kết Hợp Học Sâu và Phân Cụm Dữ Liệu Xu Hướng Tương Lai

Kết hợp học sâu và phân cụm dữ liệu là một xu hướng đầy hứa hẹn trong lĩnh vực trí tuệ nhân tạo. Học sâu cung cấp các công cụ mạnh mẽ để trích xuất đặc trưng từ dữ liệu, giúp cải thiện hiệu quả và độ chính xác của phân cụm. Các mô hình học sâu có thể được sử dụng để học biểu diễn dữ liệu, sau đó các thuật toán phân cụm có thể được áp dụng trên các biểu diễn này. Ví dụ, các mạng tự mã hóa (autoencoders) có thể được sử dụng để giảm chiều dữ liệu và trích xuất các đặc trưng quan trọng, sau đó thuật toán K-Means có thể được sử dụng để phân cụm dữ liệu dựa trên các đặc trưng này.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan về khai phá tri thức và khai phá dữ liệu. Trong chương này trình bày tổng quan về khai phá tri thức, khai phá dữ liệu; qui trình khai phá tri thức, khai phá dữ liệu; … Chương 2: Phân cụm và các kỹ thuật phân cụm. Trong chương này trình bày tổng quan về phân cụm dữ liệu, một số phương pháp phân cụm dữ liệu dữ liệu phổ biến như phân cụm phân hoạch, phân cụm phân cấp, phân cụm dựa trên mật độ, phân cụm dựa trên lưới; trình bày một số giải thuật điển hình của mỗi phương pháp phân cụm; … Chương 3: Ứng dụng, triển khai bài toán với giải thuật DBSCAN Phần kết luận trình bày tóm tắt về các nội dung thực hiện trong luận văn, đồng thời đưa ra các vấn đề nghiên cứu tiếp cho tương lai. Phần phụ lục trình bày một số modul chương trình cài đặt bằng thuật toán DBSCAN.

Do thời gian nghiên cứu và trình độ có hạn, luận văn không tránh khỏi những hạn chế và thiếu sót. Em rất mong nhận được sự chỉ bảo, đóng góp ý kiến của các thầy thầy/ cô giáo cũng như bạn bè và đồng nghiệp. Em xin chân thành cảm ơn! (LUAN.dung TIEU LUAN MOI download : [e-mail] 3 Chƣơng 1. TỔNG QUAN VỀ KHAI PHÁ TRI THỨC VÀ KHAI PHÁ DỮ LIỆU 1.

Giới thiệu chung Cách mạng khoa học kỹ thuật tạo ra bước nhảy vọt trong tất cả các lĩnh vực của đời sống kinh tế, xã hội, … Một thành công không thể không kể đến của cuộc cách mạng này là sự bùng nổ thông tin, khiến cho khối lượng thông tin mà con người thu thập và lưu trữ ngày một khổng lồ, kích thước của CSDL tăng một cách nhanh chóng. Trong những CSDL đó tiềm ẩn nhiều rất nhiều tri thức mà con người chưa khám phá ra được. Đứng trước núi dữ liệu khổng lồ thu thập được, việc khám phá tri thức và thông tin trở nên rất khó khăn. Chính vì lý do đó nhu cầu tìm kiếm tri thức trong khối CSDL đã nảy sinh, nhu cầu này ngày một cấp thiết và dẫn tới sự hình thành của một lĩnh vực mới – lĩnh vực khai phá dữ liệu (Data Mining) hay khai phá tri thức trong cơ sở dữ liệu (Knowledge Discovery in databases - KDD).

Khai phá tri thức trong cơ sở dữ liệu có thể được coi như quá trình tìm tri thức có ích, cần thiết, tiềm ẩn và chưa được biết trước trong cơ sở dữ liệu lớn (discovery of interesting, implicit, and previously unknown knowledge from large databases) Tuy mới ra đời nhưng khai phá tri thức và khai phá dữ liệu đã và đang được nghiên cứu, ứng dụng trong nhiều lĩnh vực khác nhau ở các nước trên thế giới, tại Việt Nam kỹ thuật này tương đối còn mới mẻ tuy nhiên cũng đang được nghiên cứu và dần đưa vào ứng dụng trong những năm gần đây. Những vấn đề được quan tâm là phân lớp nhận dạng mẫu, luật kết hợp, phân cụm dữ liệu, phần tử dị biệt,… 1. Khai phá tri thức và quá trình khai phá tri thức 1. Khai phá tri thức Khai phá hay phát hiện tri thức trong các cơ sở dữ liệu là một quy trình nhận biết các mẫu hoặc các mô hình trong dữ liệu với các tính năng: Phân tích, tổng hợp, hợp thức, khả ích, và có thể hiểu được.

Còn khám phá dữ liệu là một bước trong qui trình khám phá tri thức gồm có các thuật toán khai thác dữ liệu chuyên dùng dưới một số qui định về hiệu quả tính toán chấp nhận được để tìm ra các mẫu hoặc các (LUAN.dung TIEU LUAN MOI download : [e-mail] 4 mô hình trong dữ liệu. Nói một cách khác, mục đích của phát hiện tri thức và khai phá dữ liệu chính là tìm ra các mẫu và/hoặc các mô hình đang tồn tại trong các cơ sở dữ liệu nhưng nhưng vẫn còn bị che khuất bởi hàng núi dữ liệu. Quá trình khai phá tri thức Việc khai phá tri thức thông thường có thể mô tả bằng sơ đồ các quy trình sau [4]: Hình 1.2: Quá trình khai phá tri thức Trong đó, mỗi bước là một quy trình có vai trò riêng và nhiệm vụ khác nhau, bao gồm: Bước thứ nhất: tìm hiểu lĩnh vực ứng dụng và hình thành bài toán, bước này sẽ quyết định cho việc rút ra được các tri thức hữu ích và cho phép chọn các phương pháp khai phá dữ liệu thích hợp với mục đích ứng dụng và bản chất của dữ liệu. Bước thứ hai: thu thập và xử lý dữ liệu thô, còn được gọi là tiền xử lý dữ liệu nhằm loại bỏ nhiễu, xử lý việc thiếu dữ liệu, biến đổi dữ liệu và rút gọn dữ liệu nếu cần thiết, bước này thường chiếm nhiều thời gian nhất trong toàn bộ quy trình khai phá tri thức.

Bước thứ ba: khai phá dữ liệu, hay nói cách khác là trích ra các mẫu hoặc/và các mô hình ẩn dưới các dữ liệu.dung TIEU LUAN MOI download : [e-mail] 5 Bước thứ tư: hiểu tri thức đã tìm được, đặc biệt là làm sáng tỏ các mô tả và dự đoán. Các bước trên có thể lặp đi lặp lại một số lần, kết quả thu được có thể được lấy trung bình trên tất cả các lần thực hiện. Bước thứ năm: sử dụng tri thức đã được khám phá vào thực tế, các tri thức phát hiện được tích hợp chặt chẽ trong hệ thống. Tuy nhiên để sử dụng được các tri thức đó đôi khi cần đến các chuyên gia trong các lĩnh vực quan tâm vì tri thức rút ra có thể chỉ mang tính chất hỗ trợ quyết định hoặc cũng có thể được sử dụng cho một quá trình khai phá tri thức khác.

Mặc dù được tóm tắt thành năm bước như trên, nhưng thực chất quá trình xây dựng và thực hiện việc khám phá tri thức không chỉ phải tuân theo các bước cố định mà các quá trình này còn có thể được lặp đi lặp lại ở một hoặc một số giai đoạn, lần sau sẽ hoàn thiện hơn lần trước và giai đoạn sau dựa vào kết quả của giai đoạn trước và cứ tiếp tục như thế sẽ làm cho quá trình khai phá và tìm kiếm dữ liệu ngày càng hoàn thiện hơn. Khai phá dữ liệu 1. Khai phá dữ liệu Khai phá dữ liệu là một giai đoạn quan trọng trong quá trình KPTT. Về bản chất nó là giai đoạn duy nhất tìm ra được thông tin mới.

Việc khai phá dữ liệu còn được coi như là việc khai phá tri thức từ dữ liệu (knowlegde mining from databases), trích lọc tri thức (knowlegde extraction), phân tích dữ liệu - mẫu (data- partent analysis), khảo cứu dữ liệu (data archaeology), đào xới, nạo vét dữ liệu (data dredging). Khai phá dữ liệu (Data Mining) được định nghĩa là quá trình trích lọc các thông tin có giá trị ẩn trong lượng lớn dữ liệu được lưu trữ trong các CSDL hoặc các kho dữ liệu,… Khai phá dữ liệu cũng còn được coi là một quá trình tìm kiếm, khám phá ở nhiều góc độ để tìm ra các mối tương quan, các mối liên hệ dưới nhiều góc độ khác nhau nhằm tìm ra các mẫu hay các mô hình tồn tại bên trong cơ sở dữ liệu đang bị che khuất. Để trích rút các mẫu, mô hình tiềm ẩn có tính ―tri thức‖ ta phải tìm và áp dụng các phương pháp, kỹ thuật khai phá sao cho các kỹ thuật và (LUAN.dung TIEU LUAN MOI download : [e-mail] 6 phương pháp này phải phù hợp với tính chất, đặc trưng của dữ liệu và mục đích sử dụng. Tuy khai phá dữ liệu chỉ là một bước trong quá trình khám phá tri thức nhưng nó lại là bước tiên quyết, quan trọng và ảnh hưởng đến toàn bộ quá trình.

Tóm lại, khai phá dữ liệu là một quá trình tìm kiếm thông tin ―tri thức‖ tiềm ẩn trong cơ sở dữ liệu lớn, khổng lồ. Vì thế, có thể nói rằng hai thuật ngữ khám phá tri thức và khai phá dữ liệu là tương đương nếu nói ở khía cạnh tổng quan, còn nếu xét ở một góc độ chi tiết thì khai phá dữ liệu là một giai đoạn có vai trò quan trọng trong quá trình khám phá tri thức [3][4][9]. Mục tiêu của khai phá dữ liệu Qua những nội dung đã trình bày ở trên, ta có thể hiểu một cách sơ lược rằng khai phá dữ liệu là quá trình tìm kiếm thông tin hữu ích, tiềm ẩn và mang tính dự báo trong các cơ sở dữ liệu lớn. Việc khai phá dữ liệu nhằm các mục đích chính như sau: - Khai thác những thông tin tiềm ẩn mang tính dự đoán từ những cơ sở dữ liệu lớn dựa trên các công cụ khai phá dữ liệu nhằm dự đoán những xu hướng trong tương lai nhằm giúp các đối tượng cần tri thức khai phá như: các tổ chức, doanh nghiệp, nhà nghiên cứu, ….

để hỗ trợ việc đưa ra những quyết định kịp thời, được định hướng trên những tri thức được khám phá mang lại; - Thực hiện phân tích xử lý, tính toán dữ liệu một cách tự động cho mỗi quá trình xử lý dữ liệu để tìm ra tri thức. Quá trình khai phá dữ liệu KPDL là một giai đoạn quan trọng trong quá trình KPTT. Về bản chất, nó là giai đoạn duy nhất tìm ra được thông tin mới, thông tin tiềm ẩn có trong CSDL chủ yếu phục vụ cho mô tả và dự đoán. Dự đoán là thực hiện việc suy luận trên dữ liệu để đưa ra các dự báo nhằm phân tích tập dữ liệu huấn luyện và tạo ra một mô hình cho phép dự đoán các mẫu, mô hình mới chưa biết.

Mô tả dữ là tổng kết hoặc diễn tả những đặc điểm chung của những thuộc tính dữ liệu trong kho dữ liệu mà con người có thể hiểu được. Quá trình KPDL bao gồm các bước như trong hình sau: (LUAN.dung TIEU LUAN MOI download : skknchat@gmail.3: Qúa trình khai phá dữ liệu  Xác định nhiệm vụ: Xác định chính xác các vấn đề cần giải quyết.  Xác định các dữ liệu liên quan: Dùng để xây dựng giải pháp.  Thu thập và tiền xử lý dữ liệu: Thu thập các dữ liệu liên quan và tiền xử lý chúng sao cho thuật toán KPDL có thể hiểu được.

Đây là một quá trình rất khó khăn, có thể gặp phải rất nhiều các vướng mắc như: dữ liệu phải được sao ra nhiều bản (nếu được chiết xuất vào các tệp), quản lý tập các dữ liệu, phải lặp đi lặp lại nhiều lần toàn bộ quá trình (nếu mô hình dữ liệu thay đổi), v.  Thuật toán khai phá dữ liệu: Lựa chọn thuật toán KPDL và thực hiện việc PKDL để tìm được các mẫu có ý nghĩa, các mẫu này được biểu diễn dưới dạng luật kết hợp, cây quyết định. tương ứng với ý nghĩa của nó.