Luận văn thạc sĩ: Nghiên cứu thuật toán phân cụm và phân lớp dữ liệu

Luận văn thạc sĩ nghiên cứu các thuật toán phân cụm và phân lớp dữ liệu, cùng với những ứng dụng thực tiễn trong lĩnh vực khoa học dữ liệu.

• Tác giả: Nguyễn Minh Tâm
• Người hướng dẫn: TS. Nguyễn Văn Núi
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Luận văn thạc sĩ nghiên cứu một số thuật toán phân cụm phân lớp dữ liệu và ứng dụng
• Loại tài liệu: thesis
• Năm xuất bản: 2019
• Địa điểm: Thái Nguyên

Tóm tắt

I. Tổng Quan Nghiên Cứu Thuật Toán Phân Cụm Phân Lớp

Sự phát triển mạnh mẽ của công nghệ thông tin đã tạo ra một lượng dữ liệu khổng lồ. Các phương pháp quản trị CSDL truyền thống không còn đáp ứng được nhu cầu khai thác tri thức từ dữ liệu. Kỹ thuật phát hiện tri thức và khai phá dữ liệu (KDD) ra đời để giải quyết vấn đề này. Để khai phá dữ liệu hiệu quả, cần có các mô hình toán học và giải thuật phù hợp. Luận văn này trình bày một số vấn đề về phân cụm, phân lớp dữ liệu, một trong những kỹ thuật cơ bản để khai phá dữ liệu, được sử dụng rộng rãi và đem lại hiệu quả cao. Khai phá dữ liệu (Data Mining) là quá trình tự động trích xuất thông tin có giá trị ẩn chứa trong lượng dữ liệu lớn. Nó bao hàm các kỹ thuật nhằm phát hiện ra các mẫu hình có tính chính quy trong tập dữ liệu. Về bản chất, nó liên quan đến việc phân tích các dữ liệu và sử dụng các kỹ thuật để tìm ra các mẫu hình có tính chính quy (regularities) trong tập dữ liệu.

1.1. Các Bước Cơ Bản Trong Quy Trình Khai Phá Dữ Liệu

Quá trình phát hiện tri thức gồm 6 giai đoạn: gom dữ liệu, trích lọc dữ liệu, làm sạch, chuyển đổi dữ liệu, khai phá dữ liệu và đánh giá. Đầu vào là dữ liệu thô, đầu ra là thông tin có giá trị. Giai đoạn làm sạch dữ liệu rất quan trọng, vì dữ liệu không sạch sẽ gây ra kết quả sai lệch. Giai đoạn khai phá dữ liệu sử dụng nhiều thuật toán khác nhau để trích ra các mẫu từ dữ liệu. Giai đoạn đánh giá biểu diễn tri thức ở dạng gần gũi với người sử dụng. Theo [1], quá trình này bắt đầu từ dữ liệu thô và kết thúc bằng tri thức hữu ích.

1.2. Các Kỹ Thuật Quan Trọng Trong Khai Phá Dữ Liệu

Từ góc độ học máy, các kỹ thuật trong KPDL bao gồm: học có giám sát, học không giám sát và học nửa giám sát. Nếu căn cứ vào lớp các bài toán cần giải quyết, thì KPDL bao gồm các kỹ thuật áp dụng sau: Kĩ thuật khai phá dữ liệu mô tả và Kĩ thuật khai phá dữ liệu dự đoán. Ba phương pháp thông dụng nhất là: phân cụm dữ liệu, phân lớp dữ liệu và khai phá luật kết hợp. Phân cụm dữ liệu là nhóm các đối tượng tương tự nhau vào các cụm. Phân lớp dữ liệu là xếp một đối tượng vào một trong những lớp đã biết trước. Khai phá luật kết hợp là tìm ra các mối quan hệ giữa các đối tượng.

II. Thách Thức Ứng Dụng Thuật Toán Phân Cụm Phân Lớp

Khai phá dữ liệu mang lại nhiều lợi ích, nhưng cũng gặp phải những thách thức. Cơ sở dữ liệu lớn, vấn đề "quá khớp", thay đổi dữ liệu, dữ liệu thiếu và nhiễu, tích hợp với hệ thống là những vấn đề cần giải quyết. Tuy nhiên, tiềm năng của KPDL đã được khẳng định bằng sự ra đời của nhiều ứng dụng. Các công ty phần mềm lớn cũng quan tâm đến việc nghiên cứu và phát triển kỹ thuật khai phá dữ liệu. Oracle tích hợp các công cụ khai phá dữ liệu vào bộ Oracle9i, IBM đã đi tiên phong trong việc phát triển các ứng dụng khai phá dữ liệu với các ứng dụng như Intelligence Miner.

2.1. Ứng Dụng Thực Tế Của Khai Phá Dữ Liệu Trong Ngân Hàng

Trong lĩnh vực ngân hàng, KPDL được ứng dụng để xây dựng mô hình dự báo rủi ro tín dụng, tìm kiếm tri thức, quy luật của thị trường chứng khoán và đầu tư bất động sản. Các thuật toán phân lớp có thể giúp ngân hàng đánh giá khả năng trả nợ của khách hàng dựa trên lịch sử tín dụng và các thông tin cá nhân khác. Phân cụm có thể giúp phân nhóm khách hàng để đưa ra các gói sản phẩm phù hợp.

2.2. Ứng Dụng Khai Phá Dữ Liệu Trong Thương Mại Điện Tử

Trong thương mại điện tử, KPDL được sử dụng để tìm hiểu, định hướng, thúc đẩy, giao tiếp với khách hàng, phân tích khách hàng duyệt web, phân tích hành vi mua sắm trên mạng và cho biết thông tin tiếp thị phù hợp với từng loại khách hàng. Các thuật toán khai phá luật kết hợp có thể giúp xác định các sản phẩm thường được mua cùng nhau, từ đó đưa ra các gợi ý mua hàng phù hợp.

2.3. Ứng Dụng Khai Phá Dữ Liệu Trong Các Lĩnh Vực Khác

Ngoài ra, KPDL còn được ứng dụng trong nhiều lĩnh vực khác như thiên văn học (xác định các vì sao và dải thiên hà), sinh học phân tử (tìm kiếm các mẫu trong cấu trúc phân tử và dữ liệu gen), mô hình hóa những thay đổi thời tiết (tìm các mẫu không gian, thời gian như lốc, gió xoáy). Các ứng dụng này cho thấy tiềm năng to lớn của KPDL trong việc giải quyết các bài toán phức tạp.

III. Phân Cụm Dữ Liệu Cách Nhóm Dữ Liệu Hiệu Quả Nhất

Phân cụm là kỹ thuật quan trọng trong khai phá dữ liệu, thuộc lớp các phương pháp học không giám sát trong Machine Learning. Về bản chất, phân cụm là các qui trình tìm cách nhóm các đối tượng đã cho vào các cụm, sao cho các đối tượng trong cùng một cụm tương tự nhau và các đối tượng khác cụm thì không tương tự nhau. Các tiêu chí "tương tự" để phân cụm có thể là khoảng cách giữa các đối tượng.

3.1. Mục Tiêu Chính Của Phân Cụm Dữ Liệu Là Gì

Mục tiêu của phân cụm dữ liệu là tìm ra cấu trúc ẩn trong dữ liệu bằng cách nhóm các đối tượng tương tự nhau vào cùng một cụm. Các cụm này có thể được sử dụng để phân tích, dự đoán hoặc đưa ra quyết định. Ví dụ, trong phân tích khách hàng, phân cụm có thể giúp xác định các nhóm khách hàng có hành vi mua sắm tương tự nhau.

3.2. Các Kiểu Dữ Liệu Thường Dùng Trong Phân Cụm

Các kiểu dữ liệu thường dùng trong phân cụm bao gồm dữ liệu số (ví dụ: tuổi, thu nhập), dữ liệu phân loại (ví dụ: giới tính, nghề nghiệp) và dữ liệu văn bản (ví dụ: đánh giá sản phẩm). Tùy thuộc vào kiểu dữ liệu, các thuật toán phân cụm khác nhau sẽ được sử dụng.

3.3. Các Kỹ Thuật Phân Cụm Dữ Liệu Phổ Biến Hiện Nay

Có nhiều kỹ thuật phân cụm dữ liệu khác nhau, bao gồm phương pháp phân cụm dựa trên phân cấp, phương pháp phân cụm dựa trên mật độ và phương pháp phân cụm phân hoạch. Mỗi phương pháp có ưu và nhược điểm riêng, phù hợp với các loại dữ liệu và bài toán khác nhau.

IV. Phân Lớp Dữ Liệu Dự Đoán Nhãn Dữ Liệu Chính Xác

Phân lớp dữ liệu là xếp một đối tượng vào một trong những lớp đã biết trước. Ví dụ như phân lớp các dữ liệu bệnh nhân trong hồ sơ bệnh án. Hướng tiếp cận này thường sử dụng một số kỹ thuật của học máy như cây quyết định, mạng nơron nhân tạo. Phân lớp dữ liệu còn được gọi là học có giám sát. Quá trình phân lớp dữ liệu thường gồm 2 bước xây dựng mô hình và sử dụng mô hình để phân lớp dữ liệu.

4.1. Các Vấn Đề Quan Tâm Trong Phân Lớp Dữ Liệu

Các vấn đề quan tâm trong phân lớp dữ liệu bao gồm độ chính xác của mô hình, khả năng khái quát hóa của mô hình và khả năng xử lý dữ liệu lớn. Độ chính xác là thước đo quan trọng để đánh giá hiệu quả của mô hình phân lớp.

4.2. So Sánh Các Phương Pháp Phân Lớp Dữ Liệu

Có nhiều phương pháp phân lớp dữ liệu khác nhau, bao gồm cây quyết định, Bayesian, và các phương pháp dựa trên sự kết hợp. Mỗi phương pháp có ưu và nhược điểm riêng, phù hợp với các loại dữ liệu và bài toán khác nhau. Cây quyết định dễ hiểu và dễ diễn giải, trong khi Bayesian có thể xử lý dữ liệu không đầy đủ.

4.3. Độ Chính Xác Của Classifier Trong Phân Lớp Dữ Liệu

Độ chính xác của classifier là một thước đo quan trọng để đánh giá hiệu quả của mô hình phân lớp dữ liệu. Độ chính xác được tính bằng tỷ lệ số lượng mẫu được phân lớp đúng trên tổng số lượng mẫu. Tuy nhiên, độ chính xác không phải là thước đo duy nhất, cần xem xét thêm các yếu tố khác như độ nhạy và độ đặc hiệu.

V. Thử Nghiệm Phân Cụm Phân Lớp Với Công Cụ Weka

Chương này trình bày và phân tích một số kết quả thử nghiệm các thuật toán phân cụm, phân lớp dữ liệu cơ bản. Kết quả phân tích chủ yếu được triển khai thực hiện dựa trên phần mềm Weka (Waikato Environment for Knowledge Analysis) - một bộ phần mềm học máy được trường Đại học Waikato, New Zealand phát triển bằng Java. Weka là phần mềm tự do phát hành theo Giấy phép Công cộng GNU, hiện đang được sử dụng rất rộng rãi bởi cộng đồng những người làm về lĩnh vực khai phá dữ liệu và phát hiện tri thức.

5.1. Giới Thiệu Về Công Cụ Phân Cụm Phân Lớp Dữ Liệu Weka

Weka là một bộ phần mềm học máy mạnh mẽ, cung cấp nhiều thuật toán phân cụm, phân lớp dữ liệu khác nhau. Weka có giao diện đồ họa thân thiện, dễ sử dụng, phù hợp cho cả người mới bắt đầu và chuyên gia. Weka cũng hỗ trợ nhiều định dạng dữ liệu khác nhau.

5.2. Ứng Dụng Phân Cụm Dữ Liệu Để Phân Nhóm Khách Hàng

Sử dụng thuật toán K-Means trong Weka để phân cụm dữ liệu khách hàng. Kết quả phân cụm có thể giúp xác định các nhóm khách hàng có hành vi mua sắm tương tự nhau, từ đó đưa ra các chiến lược marketing phù hợp. Tham số K (số lượng cụm) cần được lựa chọn cẩn thận để đạt được kết quả tốt nhất.

5.3. Ứng Dụng Phân Lớp Dữ Liệu Để Phân Lớp

Sử dụng thuật toán Naive Bayes trong Weka để phân lớp dữ liệu. Kết quả phân lớp có thể giúp dự đoán nhãn của các mẫu dữ liệu mới. Độ chính xác của mô hình phân lớp cần được đánh giá để đảm bảo tính tin cậy.

VI. Kết Luận Hướng Phát Triển Thuật Toán Phân Cụm

Luận văn đã trình bày một số vấn đề cơ bản về phân cụm và phân lớp dữ liệu, hai kỹ thuật quan trọng trong khai phá dữ liệu. Các thuật toán phân cụm và phân lớp có thể được ứng dụng trong nhiều lĩnh vực khác nhau để giải quyết các bài toán thực tế. Tuy nhiên, vẫn còn nhiều vấn đề cần được nghiên cứu và phát triển để nâng cao hiệu quả của các thuật toán này.

6.1. Tối Ưu Hóa Thuật Toán Phân Cụm Để Nâng Cao Hiệu Quả

Một trong những hướng phát triển quan trọng là tối ưu hóa các thuật toán phân cụm để nâng cao hiệu quả và khả năng xử lý dữ liệu lớn. Các kỹ thuật tối ưu hóa có thể bao gồm giảm chiều dữ liệu, lựa chọn đặc trưng và cải thiện độ phức tạp tính toán.

6.2. Nghiên Cứu Các Thuật Toán Phân Cụm Mới

Một hướng phát triển khác là nghiên cứu các thuật toán phân cụm mới, phù hợp với các loại dữ liệu và bài toán khác nhau. Các thuật toán mới có thể dựa trên các phương pháp học sâu (deep learning) hoặc các kỹ thuật khai phá dữ liệu tiên tiến khác.

6.3. Ứng Dụng Phân Cụm Trong Các Lĩnh Vực Mới

Cuối cùng, cần tiếp tục khám phá các ứng dụng mới của phân cụm trong các lĩnh vực khác nhau, như y học, tài chính, và khoa học xã hội. Các ứng dụng mới có thể giúp giải quyết các bài toán phức tạp và mang lại giá trị thực tiễn.

Trích đoạn nội dung tài liệu

Chương 1. Tổng quan: Chƣơng này giới thiệu một cách tổng quát về quá trình phát hiện tri thức nói chung và khai phá dữ liệu nói riêng. Đặc biệt, chƣơng trình còn liệt kê một số điểm chính về ứng dụng cũng nhƣ thách thức của khai phá dữ liệu và phát hiện tri thức. Phân cụm dữ liệu và một số thuật toán cơ bản: Chƣơng này trình bày các nội dung chính liên quan đến phân cụm dữ liệu.

Một số thuật toán phân cụm dữ liệu cơ bản cũng đƣợc trình bày chi tiết trong chƣơng này. Phân lớp dữ liệu và một số thuật toán cơ bản: Chƣơng này trình bày các nội dung chính liên quan đến phân lớp dữ liệu và ứng dụng. Một số 8 thuật toán phân lớp dữ liệu bao gồm: ID3, C.5, Naive Bayes, Apriori, … cũng sẽ đƣợc trình bày chi tiết trong chƣơng này. Một số kết quả thử nghiệm: Chƣơng này trình bày và phân tích một số kết quả thử nghiệm các thuật toán phân cụm, phân lớp dữ liệu cơ bản.

Kết quả phân tích chủ yếu đƣợc triển khai thực hiện dựa trên phần mềm Weka (Waikato Environment for Knowledge Analysis) - một bộ phần mềm học máy đƣợc trƣờng Đại học Waikato, New Zealand phát triển bằng Java. Weka là phần mềm tự do phát hành theo Giấy phép Công cộng GNU, hiện đang đƣợc sử dụng rất rộng rãi bởi cộng đồng những ngƣời làm về lĩnh vực khai phá dữ liệu và phát hiện tri thức. 9 CHƢƠNG 1 TỔNG QUAN 1.1 Gi i thi u chung Sự phát triển của khoa học công nghệ và việc ứng dụng công nghệ thông tin ở hầu hết các lĩnh vực trong nhiều năm qua cũng đồng nghĩa với lƣợng dữ liệu đã đƣợc thu thập và lƣu trữ ngày càng lớn. Các hệ quản trị cơ sở dữ liệu truyền thống cũng chỉ khai thác đƣợc một lƣợng thông tin nhỏ không còn đáp ứng đầy đủ những yêu cầu, những thách thức mới.

Do vậy các phƣơng pháp quản trị và khai thác cơ sở dữ liệu truyền thống ngày càng không đáp ứng đƣợc thực tế đã làm phát triển một khuynh hƣớng kỹ thuật mới đó là kỹ thuật phát hiện tri thức và khai phá dữ liệu. Tôi xin giới thiệu một cách tổng quan về phát hiện tri thức và khai phá dữ liệu cùng một số kỹ thuật cơ bản để trong khai phá dữ liệu để phát hiện tri thức và một số ứng dụng trong thực tế nhằm hỗ trợ cho tiến trình ra quyết định. Khai phá dữ liệu (Data Mining) hay có thể hiểu là phát hiện tri thức (Knowledge Discovery) có rất nhiều khái niệm khác nhau nhƣng về cơ bản đó là quá trình tự động trích xuất thông tin có giá trị (thông tin dự đoán - Predictive Information) ẩn chứa trong lƣợng dữ liệu lớn trong thực tế. Nó bao hàm một loạt các kỹ thuật nhằm phát hiện ra các thông tin có giá trị tiềm ẩn trong các tập dữ liệu lớn (các kho dữ liệu).

Về bản chất, nó liên quan đến việc phân tích các dữ liệu và sử dụng các kỹ thuật để tìm ra các mẫu hình có tính chính quy (regularities) trong tập dữ liệu. Khai phá dữ liệu là một tiến trình sử dụng các công cụ phân tích dữ liệu khác nhau để khám phá ra các mẫu dƣới nhiều góc độ khác nhau nhằm phát hiện ra các mối quan hệ giữa các dữ kiện, đối tƣợng bên trong cơ sở dữ liệu, kết quả của việc khai phá là xác định các mẫu hay các mô hình đang tồn tại bên trong, nhƣng chúng nằm ẩn khuất ở các cơ sở dữ liệu. Để từ đó rút trích ra đƣợc các mẫu, các mô hình hay 10 các thông tin và tri thức từ các cơ sở dữ liệu. Để hình dung rõ hơn Data Mining là gì có thể hiểu đơn giản nó chính là một phần của quá trình trích xuất những dữ liệu có giá trị tốt, loại bỏ dữ liệu giá trị xấu trong rất nhiều thông tin trên Internet và các nguồn dữ liệu đang có.2 C c bƣ c trong khai phá dữ li u Qúa trình phát hiện tri thức gồm 6 giai đoạn [1] đƣợc thể hiện nhƣ hình sau: Hình 1.

C c bƣ c trong khai phá dữ li u Đầu vào là dữ liệu thô đƣợc lấy từ internet và đầu ra là các thông tin có giá trị. (1) Gom dữ liệu: Tập hợp dữ liệu là bƣớc đầu tiên trong quá trình khai phá dữ liệu. Đây là bƣớc đƣợc khai thác trong một cơ sở dữ liệu, một kho dữ liệu và thậm chí các dữ liệu từ các nguồn ứng dụng Web. 11 (2) Trích lọc dữ liệu: Ở giai đoạn này những tập dữ liệu cần đƣợc khai phá từ các tập dữ liệu lớn ban đầu theo một số tiêu chí nhất định phục vụ mục đích khai thác.

(3) Làm sạch, tiền xử lý và chuẩn bị trƣớc dữ liệu: Đối với dữ liệu thu thập đƣợc, cần xác định các vấn đề ảnh hƣởng là cho nó không sạch. Bởi vì, dữ liệu không sạch (những dữ liệu không đầy đủ, nhiễu, không nhất quán) thì các tri thức khám phá đƣợc sẽ bị ảnh hƣởng và không đáng tin cậy, dẫn tới các quyết định thiếu chính xác. Vậy, cần gán các giá trị thuộc tính còn thiếu, sữa chữa các dữ liệu nhiễu, lỗi, xác định loại bỏ các giá trị ngoại lai, giải quyết các mâu thuẫn dữ liệu. Sau bƣớc này, dữ liệu sẽ nhất quán, đầy đủ, đƣợc rút gọn và đƣợc rời rạc hóa.

Đây là một quá trình rất quan trọng vì dữ liệu này nếu không đƣợc “làm sạch - tiền xử lý dữ liệu” thì sẽ gây nên những kết quả sai lệch nghiêm trọng. (4) Chuyển đổi dữ liệu: Tiếp theo là giai đoạn chuyển đổi dữ liệu, dữ liệu đƣa ra có thể sử dụng và điều khiển đƣợc bởi việc tổ chức lại nó, tức là dữ liệu sẽ đƣợc chuyển đổi về dạng thuận lợi nhất nhằm phục vụ quá trình khai phá ở bƣớc sau. (5) Khai phá dữ liệu: Ở giai đoạn này nhiều thuật toán khác nhau đã đƣợc sử dụng để trích ra các mẫu từ dữ liệu. Đây là bƣớc áp dụng những kỹ thuật phân tích (nhƣ các kỹ thuật của học máy) nhằm để khai thác dữ liệu, trích chọn đƣợc những mẫu thông tin, những mối liên hệ đặc biệt trong dữ liệu.

Đây đƣợc xem là bƣớc quan trọng và tốn nhiều thời gian nhất của toàn quá trình khai phá dữ liệu. (6) Đánh giá các luật và biểu diễn tri thức: Ở giai đoạn này, những mẫu thông tin và mối liên hệ trong dữ liệu đã đƣợc khám phá ở bƣớc trên đƣợc biến đổi và biểu diễn ở một dạng gần gũi với ngƣời sử dụng nhƣ đồ thị, cây, bảng biểu, luật,… 12 Đồng thời bƣớc này cũng đánh giá những tri thức khám phá đƣợc theo những tiêu chí nhất định. Trên đây là 6 giai đoạn của quá trình phát hiện tri thức, trong đó giai đoạn 5 khai phá dữ liệu (hay còn gọi đó là Data Mining) là giai đoạn đƣợc đánh giá là quan trọng nhất.3 Các kỹ thu t áp dụng trong khai phá dữ li u Đứng trên quan điểm của học máy, thì các kỹ thuật trong KPDL, bao gồm: Học có giám sát: Là quá trình gán nhãn cho các phần tử trong CSDL dựa trên một tập các ví dụ huấn luyện và các thông tin về nhãn đã biết. Học không có giám sát: Là quá trình phân chia một tập dữ liệu thành các lớp hay cụm dữ liệu tƣơng tự nhau mà chƣa biết trƣớc các thông tin về lớp hay tập các ví dụ huấn luyện.

Học nửa giám sát: Là quá trình phân chia một tập dữ liệu thành các lớp dựa trên một tập nhỏ các ví dụ huấn luyện và các thông tin về một số nhãn lớp đã biết trƣớc. Nếu căn cứ vào lớp các bài toán cần giải quyết, thì KPDL bao gồm các kỹ thuật áp dụng sau: - Kĩ thuật khai phá dữ liệu mô tả: có nhiệm vụ mô tả về các tính chất hoặc các đặc tính chung của dữ liệu trong cơ sở dữ liệu hiện có. Các kĩ thuật này có thể liệt kê: phân cụm (clustering), tóm tắt (summerization), trực quan hóa (visualization), phân tích sự phát hiện biến đổi và độ lệch, phân tích luật kết hợp (association rules).; - Kĩ thuật khai phá dữ liệu dự đoán: có nhiệm vụ đƣa ra các dự đoán dựa vào các suy diễn trên dữ liệu hiện thời. Các kĩ thuật này gồm có: phân lớp (classification), hồi quy (regression).; 13 3 phƣơng pháp thông dụng nhất trong khai phá dữ liệu là: phân cụm dữ liệu, phân lớp dữ liệu và khai phá luật kết hợp.

Ta sẽ xem xét từng phƣơng pháp: Phân cụm dữ liệu là nhóm các đối tƣợng tƣơng tự nhau trong tập dữ liệu vào các cụm sao cho các đối tƣợng thuộc cùng một cụm là tƣơng đồng còn các đối tƣợng thuộc các cụm khác nhau sẽ không tƣơng đồng. Phân cụm dữ liệu là một ví dụ của phƣơng pháp học không giám sát. Không giống nhƣ phân loại dữ liệu, phân cụm dữ liệu không đòi hỏi phải định nghĩa trƣớc các mẫu dữ liệu huấn luyện. Vì thế, có thể coi phân cụm dữ liệu là một cách học bằng quan sát (learning by observation), trong khi phân loại dữ liệu là học bằng ví dụ (learning by example).

Trong phƣơng pháp này bạn sẽ không thể biết kết quả các cụm thu đƣợc sẽ nhƣ thế nào khi bắt đầu quá trình. Vì vậy, thông thƣờng cần có một chuyên gia về lĩnh vực đó để đánh giá các cụm thu đƣợc. Phân cụm dữ liệu đƣợc sử dụng nhiều trong các ứng dụng về phân đoạn thị trƣờng, phân đoạn khách hàng, nhận dạng mẫu, phân loại trang Web… Ngoài ra phân cụm dữ liệu còn có thể đƣợc sử dụng nhƣ một bƣớc tiền xử lí cho các thuật toán khai phá dữ liệu khác. Phân lớp dữ liệu là xếp một đối tƣợng vào một trong những lớp đã biết trƣớc.

Ví dụ nhƣ phân lớp các dữ liệu bệnh nhân trong hồ sơ bệnh án. Hƣớng tiếp cận này thƣờng sử dụng một số kỹ thuật của học máy nhƣ cây quyết định, mạng nơron nhân tạo,. Phân lớp dữ liệu còn đƣợc gọi là học có giám sát. Quá trình phân lớp dữ liệu thƣờng gồm 2 bƣớc xây dựng mô hình và sử dụng mô hình để phân lớp dữ liệu.

Bƣớc 1: Một mô hình sẽ đƣợc xây dựng dựa trên việc phân tích các mẫu dữ liệu sẵn có. Mỗi mẫu tƣơng ứng với một lớp, đƣợc quyết định bởi một thuộc tính gọi là thuộc tính lớp. Các mẫu dữ liệu này còn đƣợc gọi là tập dữ liệu huấn luyện (training data set). Các nhãn của tập dữ liệu huấn luyện đều 14 phải đƣợc xác định trƣớc khi xây dựng mô hình, vì vậy phƣơng pháp này còn đƣợc gọi là học có thầy (supervised learning) khác với phân cụm dữ liệu là học không có thầy (unsupervised learning).