Tìm hiểu về Kỹ thuật Phân cụm Dữ liệu: Tổng quan và Ứng dụng

Tìm hiểu kỹ thuật phân cụm (clustering) trong machine learning. Bài viết giới thiệu các thuật toán phân cụm phổ biến và ứng dụng thực tế của chúng.

• Tác giả: Nguyễn Văn Hoàng
• Trường học: Trường Đại Học Kinh Tế Quốc Dân
• Chuyên ngành: Công Nghệ Thông Tin Và Kinh Tế Số
• Đề tài: Tìm Hiểu Về Kĩ Thuật Phân Cụm
• Loại tài liệu: Báo Cáo Chuyên Đề Tự Chọn
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI NÓI ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU
• 1.1. GIỚI THIỆU CHUNG
• 1.2. KHÁM PHÁ TRI THỨC VÀ QUÁ TRÌNH KHÁM PHÁ TRI THỨC
• 1.2.1. Khám phá tri thức
• 1.2.2. Quá trình khám phá tri thức
• 1.3. KHAI PHÁ DỮ LIỆU
• 1.3.1. Khai phá dữ liệu
• 1.3.2. Quy trình Khai phá dữ liệu
• 1.3.3. Các hướng tiếp cận cơ bản và kỹ thuật áp dụng trong khai phá dữ liệu
• 2. CHƯƠNG 2: PHÂN CỤM DỮ LIỆU VÀ CÁC THUẬT TOÁN PHÂN CỤM DỮ LIỆU
• 2.1. PHÂN CỤM DỮ LIỆU
• 2.1.1. Định nghĩa
• 2.2. Một số ví dụ về Phân cụm dữ liệu
• 2.3. Các kiểu dữ liệu và độ đo tương tự
• 2.4. Một số kỹ thuật tiếp cận trong phân cụm dữ liệu
• 2.5. Các yêu cầu cho kỹ thuật Phân cụm dữ liệu
• 2.6. Một số thuật toán phân cụm dữ liệu điển hình
• 3. CHƯƠNG 3: ỨNG DỤNG CỦA PHÂN CỤM DỮ LIỆU
• 3.1. Phân đoạn ảnh
• 3.1.1. Định nghĩa phân đoạn ảnh:
• 3.1.2. Phân đoạn ảnh dựa vào phân cụm dữ liệu:
• 3.2. Nhận dạng đối tượng và ký tự:
• 3.2.1. Nhận dạng đối tượng:
• 3.2.2. Nhận dạng ký tự:
• 3.3. Khai phá dữ liệu:
• 3.3.1. Khai phá dữ liệu bằng phương pháp tiếp cận:
• 3.3.2. Khai phá dữ liệu có cấu trúc lớn:
• 3.3.3. Khai phá dữ liệu trong Cơ sở dữ liệu địa chất:
• 4. CHƯƠNG 4: HẠN CHẾ CỦA PHÂN CỤM DỮ LIỆU
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu Phân cụm dữ liệu Khám phá tri thức từ Data Mining

Phân cụm dữ liệu, hay Clustering, đóng vai trò then chốt trong lĩnh vực Data Mining. Đây là quá trình Unsupervised Learning nhằm tìm kiếm và phát hiện các cụm dữ liệu tự nhiên trong một tập dữ liệu lớn. Thay vì phân loại dữ liệu dựa trên nhãn đã biết trước, phân cụm dữ liệu giúp ta khám phá ra cấu trúc ẩn chứa trong dữ liệu. Các kỹ thuật này được kế thừa từ thống kê, Machine Learning, nhận dạng mẫu và lượng hóa. Ngày nay, nó được ứng dụng rộng rãi trong nhiều lĩnh vực như tài chính, địa lý, sinh học và nhận dạng ảnh. Khai phá dữ liệu (Data Mining) là một bước quan trọng trong quá trình khám phá tri thức, trích xuất thông tin giá trị tiềm ẩn từ lượng lớn dữ liệu. Phân cụm dữ liệu hướng đến việc nhóm các đối tượng tương đồng vào cùng một cụm. Mục đích chính là tìm kiếm và phát hiện các mẫu dữ liệu tự nhiên, giúp phân tích sâu và khám phá thông tin hữu ích. Các kỹ thuật phân cụm dữ liệu được ứng dụng rộng rãi để giải quyết các vấn đề trong nhiều lĩnh vực khác nhau. Dữ liệu được thu thập và lưu trữ ngày càng nhiều, việc khám phá tri thức và thông tin trở nên khó khăn hơn. Nhu cầu tìm kiếm tri thức trong các cơ sở dữ liệu đã dẫn đến sự hình thành của khai phá dữ liệu. Theo Fayyad, Piatetsky-Shapiro và Smyth, nghiên cứu về khám phá tri thức trong cơ sở dữ liệu nhằm giải quyết tình trạng "ngập tràn thông tin mà vẫn thiếu thốn tri thức".

1.1. Tầm quan trọng của Clustering trong Data Analysis hiện đại

Phân cụm dữ liệu giúp ta hiểu rõ hơn về cấu trúc của dữ liệu, tìm ra các nhóm dữ liệu có đặc điểm tương đồng, và từ đó đưa ra các quyết định sáng suốt hơn. Quá trình Data Analysis bao gồm nhiều bước khác nhau, từ thu thập dữ liệu đến tiền xử lý, phân tích và trình bày kết quả. Phân cụm dữ liệu đóng vai trò quan trọng trong giai đoạn phân tích, giúp ta khám phá ra những thông tin ẩn chứa trong dữ liệu mà các phương pháp khác có thể bỏ qua. Việc Data Grouping có thể được dùng để xác định các nhóm khách hàng tiềm năng, phân loại các sản phẩm dựa trên đặc điểm của chúng, hoặc phát hiện các gian lận trong giao dịch tài chính.

1.2. Phân biệt Clustering với các kỹ thuật Machine Learning khác

Clustering là một kỹ thuật Unsupervised Learning, nghĩa là ta không cần cung cấp nhãn cho dữ liệu. Điều này khác với các kỹ thuật Machine Learning có giám sát (Supervised Learning) như phân loại (Classification) và hồi quy (Regression), nơi ta cần có dữ liệu đã được gắn nhãn để huấn luyện mô hình. Trong phân loại, ta muốn dự đoán nhãn của một đối tượng mới dựa trên những gì đã học được từ dữ liệu huấn luyện. Trong hồi quy, ta muốn dự đoán một giá trị liên tục dựa trên các biến đầu vào. Ngược lại, trong phân cụm dữ liệu, ta không biết trước các nhãn hoặc giá trị cần dự đoán, mà chỉ muốn khám phá ra cấu trúc tự nhiên của dữ liệu.

1.3. Ứng dụng đa dạng của phân cụm dữ liệu trong thực tế

Phân cụm dữ liệu có vô số ứng dụng trong thực tế. Trong kinh doanh, nó có thể được sử dụng để phân khúc khách hàng, xác định các nhóm khách hàng có nhu cầu và hành vi tương đồng. Trong y tế, nó có thể giúp phân loại bệnh nhân dựa trên các triệu chứng và kết quả xét nghiệm. Trong marketing, nó có thể được sử dụng để tạo ra các chiến dịch quảng cáo nhắm mục tiêu đến các nhóm khách hàng cụ thể. Trong nhận dạng ảnh, nó có thể được sử dụng để phân loại các đối tượng trong ảnh. Ứng dụng Phân cụm dữ liệu trong kinh doanh có thể giúp doanh nghiệp hiểu rõ hơn về thị trường và khách hàng của mình. Tương tự, Phân cụm dữ liệu trong y tế giúp cải thiện chất lượng dịch vụ và hiệu quả điều trị.

II. Thách thức khi triển khai Phân cụm dữ liệu trên bộ dữ liệu lớn

Việc triển khai Clustering Algorithms trên các bộ dữ liệu lớn đặt ra nhiều thách thức đáng kể. Một trong những thách thức lớn nhất là hiệu suất tính toán. Các thuật toán phân cụm dữ liệu có thể trở nên rất chậm khi áp dụng cho các bộ dữ liệu có hàng triệu hoặc hàng tỷ bản ghi. Một thách thức khác là lựa chọn các tham số phù hợp cho thuật toán. Nhiều thuật toán phân cụm dữ liệu yêu cầu người dùng xác định các tham số như số lượng cụm, ngưỡng khoảng cách, hoặc hàm mật độ. Việc lựa chọn các tham số này có thể ảnh hưởng đáng kể đến chất lượng của kết quả phân cụm. Ngoài ra, việc xử lý dữ liệu nhiễu và dữ liệu thiếu cũng là một thách thức quan trọng. Dữ liệu thực tế thường chứa các giá trị không chính xác, không đầy đủ, hoặc không liên quan, có thể làm giảm độ chính xác của thuật toán phân cụm dữ liệu. Theo tài liệu gốc, nhiễu xuất hiện do quá trình thu thập thông tin không chính xác hoặc không đầy đủ.

2.1. Vấn đề về Scalability Xử lý dữ liệu lớn hiệu quả

Một trong những yêu cầu quan trọng nhất đối với các thuật toán phân cụm dữ liệu là khả năng mở rộng (Scalability). Một thuật toán có khả năng mở rộng tốt có thể xử lý các bộ dữ liệu lớn một cách hiệu quả mà không làm giảm đáng kể hiệu suất. Để giải quyết vấn đề về Scalability, các nhà nghiên cứu đã phát triển nhiều kỹ thuật khác nhau, chẳng hạn như sử dụng các cấu trúc dữ liệu đặc biệt (ví dụ: cây KD, cây ball), song song hóa thuật toán, hoặc sử dụng các phương pháp xấp xỉ.

2.2. Lựa chọn thuật toán và tham số phù hợp Elbow Method

Việc lựa chọn thuật toán phân cụm dữ liệu và các tham số phù hợp là một quá trình phức tạp và đòi hỏi kiến thức chuyên môn về Cluster Analysis và dữ liệu. Không có một thuật toán phân cụm dữ liệu nào phù hợp với tất cả các loại dữ liệu và ứng dụng. Một số thuật toán hoạt động tốt với dữ liệu số, trong khi các thuật toán khác phù hợp hơn với dữ liệu phân loại. Các phương pháp như Elbow Method, Silhouette Score, và Davies-Bouldin Index được sử dụng để đánh giá chất lượng cụm và lựa chọn số lượng cụm tối ưu. Việc hiểu rõ ưu nhược điểm của từng thuật toán và thử nghiệm với các tham số khác nhau là rất quan trọng.

2.3. Xử lý dữ liệu nhiễu và thiếu cho kết quả Clustering chính xác

Dữ liệu nhiễu và dữ liệu thiếu có thể ảnh hưởng nghiêm trọng đến chất lượng của kết quả phân cụm. Để giải quyết vấn đề này, cần thực hiện các bước xử lý dữ liệu trước khi áp dụng thuật toán phân cụm dữ liệu. Các kỹ thuật làm sạch dữ liệu có thể được sử dụng để loại bỏ các giá trị ngoại lệ, điền vào các giá trị thiếu, hoặc chuyển đổi dữ liệu về một định dạng phù hợp hơn. Việc chuẩn hóa dữ liệu cũng rất quan trọng, đảm bảo rằng tất cả các thuộc tính có cùng tỷ lệ và không có thuộc tính nào chi phối kết quả phân cụm.

III. K Means Clustering Hướng dẫn chi tiết và tối ưu hiệu suất

K-Means Clustering là một trong những thuật toán phân cụm dữ liệu phổ biến nhất. Đây là một thuật toán phân hoạch, nghĩa là nó chia tập dữ liệu thành các cụm không giao nhau. Thuật toán K-Means hoạt động bằng cách lặp đi lặp lại các bước sau: (1) Khởi tạo K trung tâm cụm ngẫu nhiên. (2) Gán mỗi điểm dữ liệu cho trung tâm cụm gần nhất. (3) Tính toán lại các trung tâm cụm dựa trên các điểm dữ liệu được gán cho chúng. (4) Lặp lại các bước 2 và 3 cho đến khi các trung tâm cụm không thay đổi đáng kể. Mặc dù đơn giản và dễ hiểu, K-Means có một số hạn chế. Nó nhạy cảm với việc khởi tạo ban đầu của các trung tâm cụm, và nó chỉ hoạt động tốt với dữ liệu có dạng hình cầu. Thuật toán cũng yêu cầu người dùng xác định số lượng cụm K trước khi chạy. Theo tài liệu gốc, K-means biểu diễn các cụm bởi các trọng tâm của các đối tượng trong cụm đó. Do K-means phân tích phân cụm đơn giản nên có thể áp dụng đối với tập dữ liệu lớn.

3.1. Giải thích thuật toán K Means Ưu điểm và nhược điểm

Thuật toán K-Means Clustering có nhiều ưu điểm, bao gồm tính đơn giản, dễ hiểu và hiệu quả tính toán. Tuy nhiên, nó cũng có một số nhược điểm, chẳng hạn như nhạy cảm với việc khởi tạo ban đầu, giả định các cụm có dạng hình cầu, và yêu cầu xác định số lượng cụm trước. Việc hiểu rõ ưu nhược điểm của K-Means giúp ta quyết định khi nào nên sử dụng thuật toán này và khi nào nên lựa chọn các thuật toán khác. Theo tài liệu, nhược điểm của K-means là chỉ áp dụng với dữ liệu có thuộc tính số và khám ra các cụm có dạng hình cầu, K-means còn rất nhạy cảm với các phần tử ngoại lại trong dữ liệu.

3.2. Các bước thực hiện K Means Clustering và ví dụ minh họa

Để thực hiện K-Means Clustering, ta cần thực hiện các bước sau: (1) Chọn số lượng cụm K. (2) Khởi tạo K trung tâm cụm ngẫu nhiên. (3) Gán mỗi điểm dữ liệu cho trung tâm cụm gần nhất. (4) Tính toán lại các trung tâm cụm dựa trên các điểm dữ liệu được gán cho chúng. (5) Lặp lại các bước 3 và 4 cho đến khi các trung tâm cụm không thay đổi đáng kể. Ví dụ: giả sử ta có một tập dữ liệu gồm 10 điểm dữ liệu trong không gian hai chiều. Ta muốn phân cụm dữ liệu này thành 2 cụm. Ta có thể khởi tạo 2 trung tâm cụm ngẫu nhiên, sau đó lặp lại các bước gán điểm dữ liệu và tính toán lại trung tâm cụm cho đến khi các trung tâm cụm không thay đổi.

3.3. Mẹo tối ưu hiệu suất và khắc phục hạn chế của K Means

Để tối ưu hiệu suất của K-Means Clustering, ta có thể sử dụng các kỹ thuật như khởi tạo trung tâm cụm thông minh (ví dụ: K-Means++), sử dụng các cấu trúc dữ liệu đặc biệt, hoặc song song hóa thuật toán. Để khắc phục các hạn chế của K-Means, ta có thể sử dụng các thuật toán khác như K-Medoids (ít nhạy cảm hơn với dữ liệu ngoại lệ) hoặc các thuật toán phân cụm dựa trên mật độ như DBSCAN (có thể phát hiện các cụm có hình dạng bất kỳ). Cần Chuẩn hóa dữ liệu trước khi áp dụng thuật toán.

IV. Hierarchical Clustering Phân tích chi tiết các phương pháp tiếp cận

Hierarchical Clustering là một phương pháp phân cụm dữ liệu khác, tạo ra một hệ thống phân cấp các cụm. Phương pháp này có hai cách tiếp cận chính: (1) Agglomerative (từ dưới lên): Bắt đầu với mỗi điểm dữ liệu là một cụm riêng biệt, sau đó hợp nhất các cụm gần nhau nhất cho đến khi chỉ còn một cụm duy nhất. (2) Divisive (từ trên xuống): Bắt đầu với tất cả các điểm dữ liệu trong một cụm duy nhất, sau đó chia cụm này thành các cụm nhỏ hơn cho đến khi mỗi điểm dữ liệu là một cụm riêng biệt. Ưu điểm của Hierarchical Clustering là không yêu cầu người dùng xác định số lượng cụm trước. Tuy nhiên, nó có thể tốn kém về mặt tính toán, đặc biệt là đối với các bộ dữ liệu lớn. Theo tài liệu gốc, cây phân cụm có thể được xây dựng theo hai phương pháp: từ dưới lên và từ trên xuống.

4.1. Agglomerative vs. Divisive So sánh ưu nhược điểm

Phương pháp Agglomerative Hierarchical Clustering bắt đầu với mỗi điểm dữ liệu là một cụm riêng biệt, sau đó hợp nhất các cụm gần nhau nhất cho đến khi chỉ còn một cụm duy nhất. Ưu điểm của phương pháp này là đơn giản và dễ hiểu. Tuy nhiên, nó có thể tốn kém về mặt tính toán đối với các bộ dữ liệu lớn. Phương pháp Divisive Hierarchical Clustering bắt đầu với tất cả các điểm dữ liệu trong một cụm duy nhất, sau đó chia cụm này thành các cụm nhỏ hơn cho đến khi mỗi điểm dữ liệu là một cụm riêng biệt. Ưu điểm của phương pháp này là có thể phát hiện các cụm có cấu trúc phức tạp. Tuy nhiên, nó thường tốn kém về mặt tính toán hơn phương pháp Agglomerative.

4.2. Các phương pháp liên kết linkage trong Hierarchical Clustering

Trong Hierarchical Clustering, phương pháp liên kết (linkage) xác định cách tính khoảng cách giữa các cụm. Có nhiều phương pháp liên kết khác nhau, bao gồm: (1) Single Linkage: Khoảng cách giữa hai cụm là khoảng cách nhỏ nhất giữa bất kỳ hai điểm dữ liệu nào trong hai cụm. (2) Complete Linkage: Khoảng cách giữa hai cụm là khoảng cách lớn nhất giữa bất kỳ hai điểm dữ liệu nào trong hai cụm. (3) Average Linkage: Khoảng cách giữa hai cụm là khoảng cách trung bình giữa tất cả các cặp điểm dữ liệu trong hai cụm. (4) Ward's Method: Khoảng cách giữa hai cụm là sự gia tăng phương sai khi hai cụm được hợp nhất. Việc lựa chọn phương pháp liên kết phù hợp có thể ảnh hưởng đáng kể đến chất lượng của kết quả phân cụm.

4.3. Ứng dụng thực tế của Hierarchical Clustering Ví dụ minh họa

Hierarchical Clustering có nhiều ứng dụng trong thực tế, chẳng hạn như phân loại các tài liệu văn bản, phân tích dữ liệu gen, và phân đoạn thị trường. Ví dụ, trong phân loại các tài liệu văn bản, ta có thể sử dụng Hierarchical Clustering để nhóm các tài liệu có chủ đề tương tự lại với nhau. Bằng cách này, ta có thể tạo ra một hệ thống phân cấp các chủ đề, từ các chủ đề chung nhất đến các chủ đề cụ thể hơn. Ta có thể ứng dụng phân cụm dữ liệu trong marketing để phân đoạn khách hàng.

V. Ứng dụng Phân cụm dữ liệu trong kinh doanh và các lĩnh vực

Ứng dụng phân cụm dữ liệu rất đa dạng và phong phú, trải rộng trên nhiều lĩnh vực khác nhau. Trong kinh doanh, nó được sử dụng để phân khúc khách hàng, phân tích thị trường, và phát hiện gian lận. Trong y tế, nó được sử dụng để phân loại bệnh nhân, dự đoán nguy cơ bệnh tật, và phát triển các phương pháp điều trị mới. Trong khoa học, nó được sử dụng để phân tích dữ liệu gen, nghiên cứu cấu trúc protein, và khám phá các mẫu trong dữ liệu thiên văn. Trong kỹ thuật, nó được sử dụng để phân tích các tín hiệu, nhận dạng các mẫu, và điều khiển các hệ thống tự động. Nhóm em được phân công tìm hiểu về đề tài “Tìm hiểu về các kỹ thuật phân cụm”.

5.1. Phân cụm dữ liệu trong kinh doanh Phân đoạn khách hàng mục tiêu

Trong kinh doanh, phân cụm dữ liệu được sử dụng rộng rãi để phân khúc khách hàng. Bằng cách nhóm các khách hàng có đặc điểm tương đồng lại với nhau, các doanh nghiệp có thể tạo ra các chiến dịch marketing nhắm mục tiêu, phát triển các sản phẩm và dịch vụ phù hợp, và cải thiện trải nghiệm khách hàng. Ví dụ, một công ty bán lẻ có thể sử dụng phân cụm dữ liệu để phân khúc khách hàng dựa trên độ tuổi, giới tính, thu nhập, và hành vi mua sắm. Sau đó, công ty có thể tạo ra các chiến dịch quảng cáo khác nhau cho từng phân khúc khách hàng, tập trung vào các sản phẩm và dịch vụ mà họ quan tâm nhất.

5.2. Phân cụm dữ liệu trong y tế Chẩn đoán bệnh và dự đoán rủi ro

Trong y tế, phân cụm dữ liệu có thể giúp các bác sĩ chẩn đoán bệnh và dự đoán rủi ro. Bằng cách nhóm các bệnh nhân có triệu chứng và kết quả xét nghiệm tương tự lại với nhau, các bác sĩ có thể xác định các nhóm bệnh nhân có nguy cơ mắc bệnh cao hơn. Điều này cho phép họ tập trung vào việc điều trị cho những bệnh nhân này trước khi bệnh trở nên nghiêm trọng hơn. Ngoài ra, phân cụm dữ liệu cũng có thể giúp các nhà nghiên cứu phát triển các phương pháp điều trị mới bằng cách xác định các mục tiêu thuốc tiềm năng.

5.3. Ứng dụng Phân cụm dữ liệu trong các lĩnh vực khoa học và kỹ thuật

Trong khoa học, phân cụm dữ liệu được sử dụng để phân tích dữ liệu gen, nghiên cứu cấu trúc protein, và khám phá các mẫu trong dữ liệu thiên văn. Trong kỹ thuật, nó được sử dụng để phân tích các tín hiệu, nhận dạng các mẫu, và điều khiển các hệ thống tự động. Ví dụ, trong phân tích dữ liệu gen, phân cụm dữ liệu có thể giúp các nhà khoa học xác định các gen có liên quan đến các bệnh di truyền. Trong nghiên cứu cấu trúc protein, nó có thể giúp các nhà khoa học dự đoán chức năng của các protein mới. Trong điều khiển các hệ thống tự động, nó có thể giúp các kỹ sư thiết kế các hệ thống hoạt động hiệu quả hơn.

VI. Đánh giá hiệu quả Phân cụm dữ liệu và hướng nghiên cứu tương lai

Việc đánh giá hiệu quả của thuật toán phân cụm dữ liệu là rất quan trọng để đảm bảo rằng kết quả phân cụm là chính xác và có ý nghĩa. Có nhiều phương pháp khác nhau để đánh giá hiệu quả của phân cụm dữ liệu, bao gồm các chỉ số nội tại (ví dụ: Silhouette Score, Davies-Bouldin Index) và các chỉ số ngoại tại (ví dụ: độ chính xác, độ phủ). Các chỉ số nội tại đánh giá chất lượng của phân cụm dựa trên cấu trúc của dữ liệu, trong khi các chỉ số ngoại tại đánh giá chất lượng của phân cụm dựa trên thông tin bên ngoài (ví dụ: nhãn lớp). Hướng nghiên cứu tương lai trong lĩnh vực phân cụm dữ liệu bao gồm phát triển các thuật toán có khả năng mở rộng hơn, có thể xử lý dữ liệu nhiễu tốt hơn, và có thể phát hiện các cụm có hình dạng bất kỳ.

6.1. Các phương pháp đánh giá chất lượng Clustering Metrics for Clustering

Có nhiều phương pháp khác nhau để đánh giá chất lượng của Clustering. Các chỉ số nội tại đánh giá chất lượng của phân cụm dựa trên cấu trúc của dữ liệu, chẳng hạn như độ gắn kết của các điểm dữ liệu trong cùng một cụm và độ tách biệt giữa các cụm khác nhau. Các chỉ số ngoại tại đánh giá chất lượng của phân cụm dựa trên thông tin bên ngoài, chẳng hạn như độ chính xác của việc gán nhãn lớp cho các cụm. Một số chỉ số phổ biến bao gồm Silhouette Score, Davies-Bouldin Index, và độ đo F.

6.2. Hướng nghiên cứu và phát triển Phân cụm dữ liệu trong tương lai

Hướng nghiên cứu tương lai trong lĩnh vực phân cụm dữ liệu bao gồm phát triển các thuật toán có khả năng mở rộng hơn, có thể xử lý dữ liệu nhiễu tốt hơn, và có thể phát hiện các cụm có hình dạng bất kỳ. Ngoài ra, các nhà nghiên cứu cũng đang khám phá các ứng dụng mới của phân cụm dữ liệu trong các lĩnh vực như y học, tài chính, và khoa học xã hội. Cần chú trọng xử lý dữ liệu hiệu quả hơn và áp dụng các thuật toán tiên tiến.

6.3. Kết luận Tóm tắt và đánh giá tiềm năng của Phân cụm dữ liệu

Phân cụm dữ liệu là một công cụ mạnh mẽ để khám phá các mẫu và cấu trúc ẩn chứa trong dữ liệu. Nó có nhiều ứng dụng trong các lĩnh vực khác nhau, từ kinh doanh đến khoa học. Mặc dù có nhiều thuật toán phân cụm dữ liệu khác nhau, nhưng việc lựa chọn thuật toán phù hợp và đánh giá chất lượng của kết quả phân cụm là rất quan trọng để đảm bảo rằng kết quả là chính xác và có ý nghĩa. Phân cụm dữ liệu có tiềm năng to lớn trong việc giúp chúng ta hiểu rõ hơn về thế giới xung quanh.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 – TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 1.1 GIỚI THIỆU CHUNG Cách mạng khoa học kỹ thuật tạo ra bước nhảy vọt trong tất cả các lĩnh vực của đời sống kinh tế, xã hội,… Một thành công không thể không kể đến của cuộc cách mạng này là sự bùng nổ thông tin, khiến cho khối lượng thông tin mà con người thu thập và lưu trữ ngày một khổng lồ, kích thước của CSDL tăng một cách chóng mặt. Trong những CSDL đó tiềm ẩn nhiều tri thức mà con người chưa khám phá ra được. Đứng trước núi dữ liệu khổng lồ thu thập được. Đứng trước núi dữ liệu khổng lồ thu thập được, việc khám phá tri thức và thông tin trở lên rất khó khan.

Chính vì lý do đó nhu cầu tìm kiếm tri thức trong khối CSDL đã nảy sinh, nhu cầu này ngày một cấp thiết và dẫn tới sự hình thành của một lĩnh vực mới – Khai phám dữ liệu (Data Mining).2 KHÁM PHÁ TRI THỨC VÀ QUÁ TRÌNH KHÁM PHÁ TRI THỨC 1.1 Khám phá tri thức Khám phá tri thức trong CSDL có thể được coi như quá trình tìm tri thức có ích, cần thiết, tiềm ẩn và chưa được biết trước trong CSDL lớn. Tuy mới ra đời nhưng khám phá tri thức và khai phá dữ liệu đã và đang được nghiên cứu, ứng dụng trong nhiều lĩnh vực khác nhau ở các nước trên thế giới, tại Việt Nam kỹ thuật này tương đối còn mới mẻ tuy nhiên cũng đang được nghiên cứu và dần đưa vào ứng dụng trong những năm gần đây. Những vấn đề được quan tâm là phân lớp nhận dạng mẫu, luật kết hợp, phân cụm dữ liệu, phần tử dị biệt, … Theo Fayyad, Piatetsky-Shapiro, Smyth, việc nghiên cứu phát triển lĩnh vực khám phá tri thức trong CSDL (Knowledge Discovery in Database) nhằm giải tình trạng “ngập tràn thông tin mà vẫn thiếu thốn tri thức”. Khám phá tri thức trong CSDL là lĩnh vực đã , đang và sẽ được quan tâm triển khai nghiên cứu, phát triển một cách nhanh chóng và rộng rãi.

Đã có rất nhiều các thuật ngữ khác nhau mà được coi là cùng mang nghĩa của Khám phá tri thức trong CSDL như Chiết lọc tri thức (Knowledge Extraction), Phát hiện thông tin (Information Discovery), Thu hoạch thông tin (Inforation Harvesting), Khai quật dữ liệu (Data Archaeology), và Xử lý mẫu dữ liệu (Data Pattern Processing). Năm 1989, Fayyad, Smyth và Piatestsky-Shapiro đã định nghĩa một cách đầy đủ về khái niệm Khám phá tri thức trong cơ sở dữ liệu như sau: “Khám phá tri thức trong Cơ sở dữ liệu (đôi khi còn được gọi là khai phá dữ liệu) là một quá trình không tầm thường nhận ra những mẫu có giá trị, mới, hữu ích tiềm năng và hiểu được trong dữ liệu.2 Quá trình khám phá tri thức Quá trình Khám phá tri thức trong CSDL gồm các bước: - Trích lọc dữ liệu (Data Selection) Là bước trích chọn những tập dữ liệu cần được khai thác từ các tập dữ liệu lớn (Databases, Datawarehouses) banđầu theo một số tiêu chí nhất định. - Tiền xử lý dữ liệu (Data Preprocessing) Giai đoạn này hay bị xao lãng, nhưng thực tế nó là một bước rất quan trọng trong quá trình khai phá dữ liệu. Tiền xử lý dữ liệu là bước làm sạch dữ liệu (xử lý dữ liệu không đầy đủ, dữ liệu nhiễu, dữ liệu không nhất quán,…), rút gọn dữ liệu (sử dụng các phương pháp nén dữ liệu, histograms, entropy,…), rời rạc hóa dữ liệu (dựa vào histograms, dựa vào phân khoảng,…).

Sau bước này, dữ liệu sẽ nhất quán, đầy đủ, được rút gọn và được rời rạc hóa. Có thể nói, đây là một bước rất quan trọng vì dữ liệu này nếu không được “làm sạch – tiền xử lý – chuẩn bị trước” thì sẽ gây nên những kết quả sai lệch nghiêm trọng. - Biến đổi dữ liệu (Data transformation) Là bước chuẩn hóa và làm mịn dữ liệu để đưa về dạng thuận lợi nhất nhằm phục vụ cho mục đích khai thác ở bước sau. - Khai phá dữ liệu (Data Mining) Đây là bước quan trọng và tốn nhiều thời gian nhất của quá trình khám phá tri thức, áp dụng các kỹ thuật phân tích (phần lớn là các kỹ thuật của Machine Learning) nhằm khai thác, trích chọn được các mẫu thông tin, các mối liên hệ đặc biệt trong dữ liệu.

- Đánh giá và biểu diễn tri thức (Knowledge Representation & Evaluation) Dùng các kỹ thuật hiển thị dữ liệu để trình bày các mẫu thông tin (tri thức) và mối liên hệ đặc biệt trong dữ liệu đã được khai thác ở bước trên theo dạng gần gũi với người dùng như đồ thị, cây, bảng biểu, luật,…. Đồng thời, bước này cũng đánh giá những tri thức khám phá được theo các tiêu chí nhất định.3 KHAI PHÁ DỮ LIỆU 1.1 Khai phá dữ liệu Có rất nhiều nguồn định nghĩ và khái niệm về Data Mining: - Theo Wikipedia: “Khai phá dữ liệu (data mining) Là quá trình tính toán để tìm ra các mẫu trong các bộ dữ liệu lớn liên quan đến các phương pháp tại giao điểm của máy học, thống kê và các hệ thống cơ sở dữ liệu. Mục tiêu tổng thể của quá trình khai thác dữ liệu là trích xuất thông tin từ một bộ dữ liệu và chuyển nó thành một cấu trúc dễ hiểu để sử dụng tiếp. Ngoài bước phân tích thô, nó còn liên quan tới cơ sở dữ liệu và các khía cạnh quản lý dữ liệu, xử lý dữ liệu trước, suy xét mô hình và suy luận thống kê, các thước đo thú vị, các cân nhắc phức tạp, xuất kết quả về các cấu trúc được phát hiện, hiện hình hóa và cập nhật trực tuyến.

Khai thác dữ liệu là bước phân tích của quá trình "khám phá kiến thức trong cơ sở dữ liệu" hoặc KDD.” - Theo Data-Flair, một trang web cung cấp các khóa học, các kiến thức về Big Data và Data Science: “Data mining là một tập hợp, một hệ thống các phương pháp tính toán, thuật toán được áp dụng cho các cơ sở dữ liệu lớn và phức tạp với mục đích loại bỏ các chi tiết ngẫu nhiên, chi tiết ngoại lệ, khám phá các mẫu, mô hình, quy luật tiềm ẩn, các thông tin có giá trị trong bộ dữ liệu. Data mining là thành quả công nghệ tiên tiến ngày nay, là quá trình khám phá các kiến thức vô giá bằng cách phân tích khối lượng lớn dữ liệu đồng thời lưu trữ chúng ở nhiều CSDL khác nhau.” - Theo trang Investopedia: “Data mining là một quá trình được các công ty sử dụng để biến dữ liệu thô thành những thông tin hữu ích. Bằng cách sử dụng các phần mềm chuyên dụng để tìm kiếm các quy luật, các mẫu, thông tin có giá trị, mối tương quan tiềm ẩn trong khối lượng lớn dữ liệu, công ty có thể tìm hiểu thêm về khách hàng của mình để phát triển các chiến lược tiếp thị hiệu quả hơn, tăng doanh số và giảm chi phí.” Tóm lại, Data Mining có thể được hiểu theo một cách tổng quát như sau: “Data mining là quá trình khám phá và phân tích khối lượng lớn dữ liệu để tìm ra các mẫu dữ liệu và quy tắc có ý nghĩa. Data mining là một trong những lĩnh vực nghiên cứu khoa học dữ liệu, khai thác và sử dụng các dữ kiện, thông tin có giá trị từ dữ liệu để phục vụ đưa ra dự báo, quyết định trong tương lai.2 Quy trình Khai phá dữ liệu Quy trình Khai phá dữ liệu thông thường gồm 10 bước (theo tiến trình KDD): - Nghiên cứu lĩnh vực Ta cần nghiên cứu lĩnh vực cần sử dụng Data mining để xác định được những tri thức ta cần chắt lọc, từ đó định hướng để tránh tốn thời gian cho những tri thức không cần thiết.

- Tạo tập tin dữ liệu đầu vào Ta xây dựng tập tin để lưu trữ các dữ liệu đầu vào để máy tính có thể lưu trữ và xử lý. - Tiền xử lý, làm sạch, mã hóa Ở bước này ta tiến hành bỏ bớt những dữ liệu rườm rà, không cần thiết, tinh chỉnh lại cấu trúc của dữ liệu và mã hóa chúng để tiện cho quá trình xử lý. - Rút gọn chiều Thông thường một tập dữ liệu có chiều khá lớn sẽ sinh ra một lượng dữ liệu khổng lồ, ví dụ với n chiều ta sẽ có 2^n tổ hợp. Do đó, đây là một bước quan trọng giúp giảm đáng kể hao tổn về tài nguyên trong quá trình xử lý tri thức.

Thông thường ta sẽ dùng Rough set(http://en.org/wiki/Rough_set) để giảm số chiều. - Chọn tác vụ khai thác dữ liệu Để đạt được mục đích ta cần, ta cần chọn được tác vụ khai thác dữ liệu sao cho phù hợp. Thông thường có các tác vụ sau: * Đặc trưng (feature) * Phân biệt (discrimination) * Kết hợp (association) * Phân lớp (classification) * Gom cụm (clusterity) * Xu thế (trend analysis) * Phân tích độ lệch * Phân tích hiếm - Chọn các thuật giải Khai thác dữ liệu - Khai thác dữ liệu: Tìm kiếm tri thức Sau khi tiến hành các bước trên thì đây là bước chính của cả quá trình, ta sẽ tiến hành khai thác và tìm kiếm tri thức. - Đánh giá mẫu tìm được Ta cần đánh giá lại xem trong các tri thức tìm được, ta sẽ sử đụng được những tri thức nào, những tri thức nào dư thừa, không cần thiết - Biểu diễn tri thức Ta biểu diễn tri thức vừa thu thập được dưới dạng ngôn ngữ tự nhiên và hình thức sao cho người dùng có thể hiểu được những tri thức đó.

- Sử dụng các tri thức vừa khám phá.3 Các hướng tiếp cận cơ bản và kỹ thuật áp dụng trong khai phá dữ liệu Vấn đề khai phá dữ liệu có thể được phân chia theo lớp các hướng tiếp cận chính sau: 1.1 Phân lớp và dự đoán Hướng tiếp cận này làm nhiệm vụ đưa ra các dự đoán dựa vào các suy diễn trên dữ liệu hiện thời. Kỹ thuật này gồm có: Phân lớp, hồi quy, … Là quá trình xếp một đối tượng vào một trong những lớp đã biết trước (ví dụ: phân lớp các bệnh nhân theo dữ liệu hồ sơ bệnh án, phân lớp vùng địa lý theo dữ liệu thời tiết …). Đối với hướng tiếp cận này thường sử dụng một số kỹ thuật của máy như cây quyết định, mạng nơron nhân tạo, … 1.2 Phân cụm dữ liệu Mục tiêu của phương pháp phân cụm dữ liệu là quá trình nhóm các điểm dữ liệu trong cơ sở dữ liệu thành các cụm sao cho những điểm dữ liệu trong cùng một cụm có độ tương đồng lớn và những điểm không cùng một cụm có sự tương đồng là rất nhỏ. Điểm mạnh của phân cụm dữ liệu là đưa ra được những cấu trúc có ích hoặc những cụm có đối tượng tìm thấy trực tiếp từ dữ liệu mà không cần bất kì một tri thức cơ sở nào.