Khám Phá Tri Thức Trong Dữ Liệu Không Gian Dựa Trên Mật Độ

Khám phá tri thức trong dữ liệu không gian dựa trên mật độ qua luận văn thạc sĩ, cung cấp cái nhìn sâu sắc về phân tích và ứng dụng.

• Tác giả: Phan Thị Hồng Thu Trang
• Người hướng dẫn: TS. Hoàng Xuân Huấn
• Trường học: Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ
• Đề tài: Khám Phá Tri Thức Trong Dữ Liệu Không Gian Bằng Kỹ Thuật Khai Phá Dữ Liệu
• Loại tài liệu: Luận Văn Thạc Sỹ
• Năm xuất bản: 2004
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI NÓI ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ DATA MINING
• 1.1. I- ĐIỀU GÌ DẪN ĐẾN KỸ THUẬT DATA MINING
• 1.1.1. 1- Nhu cầu khai thác dữ liệu
• 1.1.2. 2- Sự cho phép của kỹ thuật và xu thế thời đại
• 1.2. II- DATA MINING LÀ GÌ
• 1.2.1. 1- Định nghĩa về Data Mining
• 1.2.2. 2- Các bước trong Data Mining
• 1.2.3. 3- Phân loại các hệ thống Data Mining
• 1.2.4. 4- Ứng dụng của Data Mining
• 2. CHƯƠNG 2: CÁC THUẬT TOÁN PHÂN CỤM DỮ LIỆU
• 2.1. I- KHÁI QUÁT VỀ PHÂN CỤM DỮ LIỆU
• 2.1.1. 1- Phân cụm dữ liệu là gì?
• 2.1.2. 2- Các ứng dụng của phân cụm dữ liệu
• 2.1.3. 3- Các vấn đề nghiên cứu trong phân cụm
• 2.1.4. 4- Các yêu cầu đối với bài toán phân cụm
• 2.2. II- KHÁI QUÁT VỀ CÁC PHƯƠNG PHÁP PHÂN CỤM DỮ LIỆU
• 2.2.1. 1- Phương pháp phân hoạch (Partitioning methods)
• 2.2.2. 2- Phương pháp phân cấp (Hirarchical methods)
• 2.2.3. 3- Phương pháp dựa vào mật độ (Density-based Method)
• 2.2.4. 4- Phương pháp dựa vào chia lưới (Grid-based methods)
• 2.3. III- PHƯƠNG PHÁP PHÂN CỤM DỰA VÀO MẬT ĐỘ DBSCAN
• 2.3.1. 1- Các khái niệm
• 2.3.2. 2- Bổ đề chứng minh tính đúng đắn của DBSCAN
• 2.3.3. 3- Thuật toán DBSCAN
• 3. CHƯƠNG 3: TÌM KIẾM PHẦN TỬ NGOẠI LAI DỰA VÀO SỐ LOF
• 3.1. I- CÁC ĐỊNH NGHĨA VỀ PHẦN TỬ NGOẠI LAI ĐỊA PHƯƠNG
• 3.1.1. 1- K-distance của một đối tượng
• 3.1.2. 2- Lân cận bán kính k-distance của đối tượng p
• 3.1.3. 3- Khoảng cách có thể đến một đối tượng
• 3.1.4. 4- Mật độ địa phương có thể đến được
• 3.1.5. 5- Hệ số ngoại lai của một đối tượng (LOF)
• 3.2. II- TÍNH CHẤT CỦA PHẦN TỬ NGOẠI LAI
• 3.2.1. 1- Số LOF của những đối tượng nằm sâu trong cụm gần bằng 1
• 3.2.2. 2- Cận dưới và cận trên của LOF
• 3.2.3. 3- Giới hạn LOF của một đối tượng lân cận đến được trải trên nhiều cụm
• 3.3. III- ẢNH HƯỞNG CỦA THAM SỐ MinPts
• 3.3.1. 1- Sự Phụ Thuộc của LOF Theo Minpts
• 3.3.2. 2- Xác Định Miền Của Minpts
• 4. CHƯƠNG 4: TÌM HIỂU KINH NGHIỆM XÂY DỰNG ỨNG DỤNG DATA MINING TRONG THỰC TIỄN
• 4.1. I- CÁC PHẠM TRÙ ỨNG DỤNG DATA MINING
• 4.1.1. 1- Khai phá dữ liệu khám phá (Discovery data mining)
• 4.1.2. 2- Khai phá dữ liệu đoán trước
• 4.2. II- PHƯƠNG PHÁP TỔNG QUÁT XÂY DỰNG ỨNG DỤNG
• 4.2.1. 1- Định nghĩa vấn đề doanh nghiệp hướng tới
• 4.2.2. 2- Định nghĩa mô hình dữ liệu
• 4.2.3. 3- Chuẩn bị dữ liệu nguồn
• 4.2.4. 4- Đánh giá chất lượng dữ liệu
• 4.2.5. 5- Lựa chọn kỹ thuật Mining
• 4.2.6. 6- Thể hiện, làm rõ và đánh giá kết quả
• 4.2.7. 7- Sử dụng những kết quả đó
• 4.3. III- ÁP DỤNG THỰC TIỄN
• 4.3.1. 1- Vấn Đề Thương Nghiệp
• 4.3.2. 2- Dữ Liệu Cần Sử Dụng
• 4.3.3. 3- Nguồn dữ Liệu, Chuẩn Bị Dữ Liệu
• 4.3.4. 4- Ước lượng dữ liệu
• 4.3.5. 5- Phương Pháp Kỹ Thuật Để Khai Phá Dữ Liệu
• 4.3.6. 6- Trình bày kết quả
• 4.3.7. 7- Triển Khai Mô Hình
• 5. CHƯƠNG 5: KẾT LUẬN VÀ ĐỀ NGHỊ
• 5.1. II- ĐỀ XUẤT HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Khai Phá Tri Thức Trong Dữ Liệu Không Gian

Khai phá dữ liệu, hay Data Mining, đã trở thành một lĩnh vực quan trọng nhờ khả năng trích xuất thông tin hữu ích từ các kho dữ liệu khổng lồ. KDD trong dữ liệu không gian đặc biệt quan trọng khi xem xét dữ liệu có yếu tố vị trí và hình học. Từ Hệ thống thông tin địa lý (GIS) đến cơ sở dữ liệu không gian, nguồn dữ liệu tiềm năng rất lớn. Việc khám phá tri thức từ những nguồn này giúp chúng ta hiểu rõ hơn về các mô hình, xu hướng và mối quan hệ tiềm ẩn trong không gian. Tuy nhiên, các phương pháp truyền thống thường không đáp ứng được nhu cầu xử lý dữ liệu không gian phức tạp, đòi hỏi những kỹ thuật spatial data mining chuyên biệt. Tài sản lớn nhất của nhân loại đó là thông tin, thông tin được lưu trữ nhiều nhất là trong các hệ thống thông tin, việc khám phá tri thức trong cơ sở dữ liệu (KDD- Knowledgle Discovery in Database) nói chung và Khai phá dữ liệu (Data Mining) nói riêng đang được nhiều người quan tâm nghiên cứu.

1.1. Định Nghĩa và Mục Tiêu của Khai Phá Dữ Liệu Không Gian

Khai phá dữ liệu không gian, hay Spatial Data Mining, là quá trình khám phá tri thức mới, hữu ích và không tầm thường từ dữ liệu không gian. Mục tiêu chính là tự động hóa việc tìm kiếm các mô hình không gian, quan hệ và xu hướng từ các kho dữ liệu không gian. Việc này khác với các phân tích không gian truyền thống vốn tập trung vào kiểm tra giả thuyết hơn là khám phá. Phân tích dữ liệu không gian sử dụng các thuật toán đặc biệt để xử lý các đặc tính riêng biệt của dữ liệu không gian, ví dụ như tính liên tục không gian và sự tương quan không gian.

1.2. Các Loại Dữ Liệu Không Gian và Nguồn Dữ Liệu Phổ Biến

Dữ liệu không gian bao gồm nhiều loại khác nhau, từ dữ liệu vector (điểm, đường, đa giác) đến dữ liệu raster (ảnh vệ tinh, mô hình độ cao). Các nguồn dữ liệu không gian phổ biến bao gồm dữ liệu từ Hệ thống thông tin địa lý (GIS), dữ liệu GPS, dữ liệu viễn thám, và dữ liệu từ các mạng xã hội dựa trên vị trí. Việc trực quan hóa dữ liệu không gian đóng vai trò quan trọng trong việc hiểu và trình bày kết quả khai phá. Các công cụ GIS cung cấp nhiều chức năng để mô hình hóa không gian và phân tích dữ liệu không gian.

II. Thách Thức và Vấn Đề Trong Khai Phá Dữ Liệu Không Gian

Khai phá dữ liệu không gian đối mặt với nhiều thách thức đặc thù so với khai phá dữ liệu truyền thống. Big data không gian đặt ra yêu cầu về khả năng mở rộng của các thuật toán. Tính không gian của dữ liệu đòi hỏi các phương pháp xử lý đặc biệt để giải quyết các vấn đề như tương quan không gian và dị thường không gian. Dữ liệu không gian thường chứa nhiều nhiễu và không đầy đủ, đòi hỏi các kỹ thuật tiền xử lý dữ liệu hiệu quả. Ngoài ra, việc diễn giải và trình bày kết quả khai phá dữ liệu không gian một cách trực quan và dễ hiểu cũng là một thách thức không nhỏ. Môi trường doanh nghiệp thay đổi và sự quan tâm của các nhà quản lý. Những nhà quản trị doanh nghiệp thấy rõ những thông tin dự đoán mang lại lợi ích vô cùng to lớn cho doanh nghiệp của họ - điều này đã thúc đẩy họ sẵn sàng bỏ ra những chi phí cho việc phát triển Data Mining.

2.1. Xử Lý Dữ Liệu Không Gian Lớn Big Data Không Gian

Với sự phát triển của các công nghệ thu thập dữ liệu, lượng dữ liệu không gian ngày càng tăng lên đáng kể, tạo ra thách thức về xử lý big data không gian. Các thuật toán khai phá dữ liệu cần được thiết kế để có thể xử lý hiệu quả các tập dữ liệu lớn, đồng thời đảm bảo tính chính xác và tốc độ. Các kỹ thuật như tính toán song song và phân tán đóng vai trò quan trọng trong việc giải quyết vấn đề này. Kho dữ liệu không gian cần được xây dựng để lưu trữ và quản lý dữ liệu không gian một cách hiệu quả.

2.2. Vấn Đề về Tương Quan Không Gian và Phụ Thuộc Không Gian

Dữ liệu không gian thường có tính tương quan không gian, nghĩa là các đối tượng gần nhau có xu hướng giống nhau hơn các đối tượng ở xa nhau. Điều này đòi hỏi các thuật toán khai phá dữ liệu phải xem xét đến các mối quan hệ không gian giữa các đối tượng. Các mô hình thống kê không gian và các phương pháp mô hình hóa không gian được sử dụng để giải quyết vấn đề này.

III. Phương Pháp Phân Cụm Dữ Liệu Trong Không Gian Hiệu Quả

Phân cụm không gian là một kỹ thuật quan trọng trong khai phá dữ liệu không gian, cho phép nhóm các đối tượng có đặc điểm tương đồng vào các cụm. Có nhiều thuật toán phân cụm không gian khác nhau, mỗi thuật toán có những ưu điểm và nhược điểm riêng. Lựa chọn thuật toán phù hợp phụ thuộc vào đặc điểm của dữ liệu và mục tiêu phân tích. DBSCAN là một thuật toán phân cụm dựa trên mật độ phổ biến, có khả năng phát hiện các cụm có hình dạng bất kỳ và loại bỏ nhiễu.Phân cụm (clusteing) là quá trình nhóm một tập các đối tượng vật lí hoặc trừu tượng thành các nhóm hay các lớp đối tượng giống nhau. Một cụm (cluster) là một tập đối tượng dữ liệu trong đó các đối tượng trong cùng một cluster thì giống nhau và khác các đối tượng thuộc cluster khác.

3.1. Thuật Toán DBSCAN cho Phân Cụm Dựa Trên Mật Độ

DBSCAN là một thuật toán phân cụm dựa trên mật độ, có khả năng phát hiện các cụm có hình dạng bất kỳ và loại bỏ nhiễu. Thuật toán này hoạt động bằng cách xác định các vùng có mật độ điểm dữ liệu cao và mở rộng các vùng này thành các cụm. DBSCAN có hai tham số chính: bán kính lân cận (epsilon) và số lượng điểm tối thiểu trong lân cận (MinPts). Việc lựa chọn tham số phù hợp là rất quan trọng để đảm bảo kết quả phân cụm chính xác.

3.2. Các Phương Pháp Phân Cụm Hierarchical cho Dữ Liệu Không Gian

Các phương pháp phân cụm hierarchical xây dựng một cấu trúc phân cấp các cụm, từ các cụm nhỏ nhất (mỗi đối tượng là một cụm) đến một cụm duy nhất chứa tất cả các đối tượng. Các phương pháp này có thể được chia thành hai loại: agglomerative (từ dưới lên) và divisive (từ trên xuống). Phân cụm hierarchical có thể được sử dụng để khám phá các cấu trúc cụm đa cấp trong dữ liệu không gian.

IV. Ứng Dụng Thực Tế Khai Phá Tri Thức từ Dữ Liệu Không Gian

Khai phá dữ liệu không gian có nhiều ứng dụng thực tế trong nhiều lĩnh vực khác nhau. Trong quản lý đô thị, nó có thể được sử dụng để phân tích mô hình giao thông, quy hoạch đô thị và dự báo tội phạm. Trong môi trường, nó có thể được sử dụng để theo dõi ô nhiễm, quản lý tài nguyên thiên nhiên và dự báo thảm họa. Trong kinh doanh, nó có thể được sử dụng để phân tích hành vi khách hàng, tối ưu hóa vị trí cửa hàng và quản lý chuỗi cung ứng. Tài sản lớn nhất của nhân loại đó là thông tin. Bởi vậy, việc khám phá tri thức trong Cơ sở dữ liệu ( KDD – Knowledgle Discovery in Database ) nói chung và Khai phá dữ liệu (Data Mining) nói riêng đang đƣợc nhiều ngƣời quan tâm nghiên cứu.

4.1. Dự Đoán Tội Phạm và Phân Tích Điểm Nóng Tội Phạm

Khai phá dữ liệu không gian có thể được sử dụng để dự đoán tội phạm và phân tích điểm nóng tội phạm. Bằng cách phân tích dữ liệu về các vụ án trước đây, các nhà chức trách có thể xác định các khu vực có nguy cơ cao về tội phạm và triển khai các biện pháp phòng ngừa. Các thuật toán phân cụm và phân loại không gian có thể được sử dụng để xác định các điểm nóng tội phạm và phân loại các loại tội phạm khác nhau.

4.2. Phân Tích Dịch Bệnh và Ứng Phó với Khủng Hoảng Y Tế

Khai phá dữ liệu không gian có thể được sử dụng để phân tích dịch bệnh và ứng phó với khủng hoảng y tế. Bằng cách phân tích dữ liệu về các ca bệnh, các nhà khoa học có thể xác định các yếu tố nguy cơ, theo dõi sự lây lan của dịch bệnh và dự đoán các đợt bùng phát trong tương lai. Các bản đồ dịch bệnh và các mô hình dự đoán không gian có thể giúp các nhà chức trách đưa ra các quyết định ứng phó kịp thời.

4.3. Dự Đoán Nhu Cầu và Phân Tích Thị Trường Bất Động Sản

Khai phá dữ liệu không gian có thể được sử dụng để dự đoán nhu cầu bất động sản và phân tích thị trường. Bằng cách phân tích dữ liệu về giá nhà, vị trí, tiện ích và các yếu tố kinh tế xã hội, các nhà đầu tư và nhà phát triển có thể đưa ra các quyết định đầu tư sáng suốt. Các mô hình dự đoán không gian có thể giúp dự đoán giá nhà trong tương lai và xác định các khu vực có tiềm năng tăng trưởng cao.

V. Học Máy và AI Trong Khai Phá Dữ Liệu Không Gian Hiện Đại

Học máy trong dữ liệu không gian và AI trong dữ liệu không gian đang ngày càng đóng vai trò quan trọng trong việc nâng cao hiệu quả và độ chính xác của các phương pháp khai phá tri thức. Các thuật toán học máy, đặc biệt là deep learning trong dữ liệu không gian, có khả năng tự động học các đặc trưng phức tạp từ dữ liệu và xây dựng các mô hình dự đoán chính xác hơn. Sự kết hợp giữa học máy và các kỹ thuật khai phá dữ liệu không gian truyền thống mở ra nhiều cơ hội mới trong việc giải quyết các bài toán phức tạp.

5.1. Ứng Dụng Deep Learning để Trích Xuất Đặc Trưng Không Gian

Deep learning có thể được sử dụng để tự động trích xuất các đặc trưng không gian từ dữ liệu ảnh vệ tinh, dữ liệu địa lý và các loại dữ liệu không gian khác. Các mạng nơ-ron tích chập (CNN) có thể được sử dụng để phân loại ảnh vệ tinh, phát hiện đối tượng và phân tích cảnh quan. Các mạng nơ-ron hồi quy (RNN) có thể được sử dụng để mô hình hóa các chuỗi thời gian không gian và dự đoán các sự kiện trong tương lai.

5.2. Sử Dụng Học Máy để Cải Thiện Độ Chính Xác Dự Đoán Không Gian

Học máy có thể được sử dụng để cải thiện độ chính xác của các mô hình dự đoán không gian. Các thuật toán như Random Forest, Support Vector Machines (SVM) và Gradient Boosting có thể được sử dụng để xây dựng các mô hình dự đoán giá nhà, dự đoán tội phạm và dự đoán dịch bệnh. Việc kết hợp học máy với các mô hình thống kê không gian có thể mang lại kết quả dự đoán tốt hơn.

VI. Kết Luận và Hướng Phát Triển Của Khai Phá Dữ Liệu Không Gian

Khai phá dữ liệu không gian là một lĩnh vực nghiên cứu đầy tiềm năng, với nhiều ứng dụng thực tế trong nhiều lĩnh vực khác nhau. Sự phát triển của các công nghệ mới như big data, học máy và AI đang mở ra nhiều cơ hội mới trong việc khai thác tri thức từ dữ liệu không gian. Trong tương lai, chúng ta có thể kỳ vọng vào sự ra đời của các phương pháp khai phá dữ liệu không gian hiệu quả hơn, chính xác hơn và dễ sử dụng hơn, giúp chúng ta hiểu rõ hơn về thế giới xung quanh và đưa ra các quyết định sáng suốt hơn. Tài sản lớn nhất của nhân loại đó là thông tin.

6.1. Tóm Tắt Các Kỹ Thuật và Ứng Dụng Chính Đã Đề Cập

Bài viết đã trình bày tổng quan về khai phá dữ liệu không gian, bao gồm các kỹ thuật chính như phân cụm không gian, phân loại không gian, dự đoán không gian và trực quan hóa dữ liệu không gian. Các ứng dụng thực tế đã được đề cập bao gồm dự đoán tội phạm, phân tích dịch bệnh, dự đoán nhu cầu bất động sản và quản lý tài nguyên thiên nhiên.

6.2. Hướng Nghiên Cứu Mới và Triển Vọng Phát Triển Trong Tương Lai

Trong tương lai, các hướng nghiên cứu mới trong khai phá dữ liệu không gian bao gồm phát triển các thuật toán có khả năng xử lý big data không gian, tích hợp học máy và AI, và xây dựng các giao diện trực quan dễ sử dụng. Các triển vọng phát triển bao gồm ứng dụng khai phá dữ liệu không gian trong các lĩnh vực mới như thành phố thông minh, nông nghiệp chính xác và y tế từ xa.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của công nghệ thông tin trong hơn 40 năm qua đã tạo ra các kho lưu trữ dữ liệu khổng lồ với dung lượng từ hàng chục gigabytes đến hàng trăm terabytes. Trong bối cảnh đó, các tổ chức và doanh nghiệp đứng trước thách thức lớn khi phải đưa ra quyết định chiến lược dựa trên các tập dữ liệu không gian phức tạp. Phương pháp thống kê truyền thống và các giải thuật phân cụm cổ điển như k-means hay k-medoids thường bộc lộ hạn chế nghiêm trọng khi chỉ xử lý hiệu quả với các cụm hình cầu nhân tạo và các tập mẫu dưới 200 đối tượng, đồng thời rất nhạy cảm với nhiễu dữ liệu.

Đề tài tập trung giải quyết bài toán khám phá tri thức trong cơ sở dữ liệu không gian đa chiều thông qua việc phân tích mật độ cục bộ. Mục tiêu cụ thể bao gồm: hệ thống hóa các thuật toán phân cụm không gian hiện đại, đi sâu nghiên cứu thuật toán DBSCAN, phát triển cơ sở toán học để nhận dạng phần tử ngoại lai bằng hệ số LOF (Local Outlier Factor), và xây dựng quy trình 7 bước triển khai ứng dụng khai phá dữ liệu thực tiễn theo chuẩn công nghiệp của IBM.

Phạm vi nghiên cứu được thực hiện tại Khoa Công nghệ - Đại học Quốc gia Hà Nội vào tháng 5 năm 2004, ứng dụng thử nghiệm trên bài toán dự đoán hành vi khách hàng rời bỏ dịch vụ viễn thông. Nghiên cứu mang lại ý nghĩa học thuật và ứng dụng to lớn khi chứng minh được giới hạn toán học chặt chẽ của hệ số LOF tiệm cận giá trị 1 đối với các phần tử nằm sâu trong cụm, xác lập dải tham số MinPts tối ưu từ 10 đến 20 nhằm loại bỏ 100% sai lệch thống kê, đồng thời cung cấp giải pháp xử lý dữ liệu không gian quy mô lớn với độ tin cậy vượt trội.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa của hai lý thuyết nền tảng trong lĩnh vực khai phá dữ liệu và học không giám sát:

Lý thuyết phân cụm dựa trên mật độ không gian được kế thừa từ các công trình kinh điển của Ester và cộng sự năm 1996 với thuật toán DBSCAN, kết hợp cùng các mở rộng như OPTICS và DENCLUE. Khung lý thuyết này định nghĩa cụm dữ liệu là một vùng không gian có mật độ đối tượng cao hơn hẳn các vùng lân cận, ngăn cách nhau bởi các vùng mật độ thấp được xem là nhiễu. Ba khái niệm trung tâm bao gồm: lân cận bán kính Eps của một điểm ($N_{Eps}(p)$), điểm nhân (Core Point) chứa ít nhất số lượng điểm tối thiểu MinPts, và quan hệ liên thông mật độ (Density-Connected) mang tính đối xứng và phản xạ.

Lý thuyết phần tử ngoại lai địa phương được xây dựng trên công trình của Breunig và cộng sự năm 2000. Khung phân tích này khắc phục nhược điểm của các phương pháp thống kê cổ điển vốn chỉ nhìn nhận ngoại lai ở dạng nhị phân. Các khái niệm trụ cột bao gồm: khoảng cách $k$-distance của đối tượng, khoảng cách có thể đến ($reach\text{-}dist_k(p, o)$), mật độ địa phương có thể đến được ($lrd_{MinPts}(p)$), và hệ số ngoại lai cục bộ ($LOF_{MinPts}(p)$). Hệ số LOF phản ánh mức độ cô lập của đối tượng so với các điểm lân cận xung quanh.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu mô phỏng không gian đa chiều kết hợp với cơ sở dữ liệu giao dịch thực tế từ ngành viễn thông. Cỡ mẫu nghiên cứu được thiết kế linh hoạt từ các tập kiểm thử kiểm chứng thuật toán gồm 200 đối tượng đến các tập dữ liệu không gian phức tạp gồm 545 đối tượng chia thành 3 phân vùng mật độ khác nhau ($S_1 = 10$, $S_2 = 35$, $S_3 = 500$ đối tượng) và cơ sở dữ liệu lớn chứa hàng triệu bản ghi.

Phương pháp chọn mẫu phi xác suất có chủ đích được áp dụng để tạo ra các phân phối không gian đa dạng bao gồm phân phối Gauss và phân phối đều, nhằm kiểm chứng hành vi của các điểm dữ liệu tại biên và vùng lõi. Phương pháp phân tích định lượng kết hợp chứng minh giải tích toán học được lựa chọn vì tính chính xác tuyệt đối trong việc thiết lập các bổ đề và định lý về cận trên, cận dưới của hệ số LOF. Toàn bộ quy trình phân tích được thiết kế theo 7 giai đoạn tiêu chuẩn của tập đoàn IBM, triển khai xuyên suốt trong thời gian nghiên cứu từ cuối năm 2003 đến tháng 5 năm 2004.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã đạt được các kết quả nổi bật sau:

Thứ nhất, thuật toán DBSCAN chứng minh khả năng vượt trội trong việc phát hiện các cụm dữ liệu có hình dạng bất kỳ (hình cầu, đường gấp khúc, dải kéo dài vô hạn) mà không yêu cầu xác định trước số lượng $k$ cụm. Khi dữ liệu chứa nhiều tạp âm, DBSCAN tự động lọc sạch các điểm nhiễu có số lân cận nhỏ hơn ngưỡng MinPts, khắc phục hoàn toàn nhược điểm của k-means khi thuật toán này thường bị lệch tâm nghiêm trọng trước các giá trị ngoại lai. Đồng thời, qua khảo sát các biến thể phân cụm mật độ, thuật toán DENCLUE cho thấy tốc độ xử lý nhanh hơn DBSCAN tới 45 lần khi áp dụng cấu trúc lưới trên không gian nhiều chiều.

Thứ hai, nghiên cứu chứng minh bằng giải tích toán học Bổ đề 1 và Định lý 1: đối với mọi đối tượng $p$ nằm sâu trong vùng cụm đặc $C$, giá trị $LOF(p)$ luôn xấp xỉ bằng 1 và bị chặn chặt chẽ trong khoảng từ $1/(1+\epsilon)$ đến $(1+\epsilon)$. Ngược lại, những điểm nằm tại ranh giới hoặc cô lập bên ngoài cụm sẽ có giá trị LOF tăng cao tỷ lệ thuận với tỷ số giữa mật độ của các điểm lân cận và mật độ của chính đối tượng đó.

Thứ ba, phân tích thực nghiệm trên phân phối Gauss với tham số $MinPts$ biến thiên từ 2 đến 50 phát hiện quy luật biến thiên không đơn điệu của hệ số LOF. Khi $MinPts < 10$, độ lệch tiêu chuẩn và giá trị cực đại của LOF dao động dữ dội do sai số khoảng cách thống kê. Khi $MinPts \ge 10$, các dao động này hoàn toàn bị triệt tiêu, đưa hệ số LOF về trạng thái ổn định vững chắc. Thử nghiệm trên 3 tập dữ liệu không gian $S_1$ (10 phần tử), $S_2$ (35 phần tử) và $S_3$ (500 phần tử) khẳng định rằng việc xác lập cận dưới $MinPts_{LB}$ từ 10 đến 20 là quy tắc thực nghiệm chuẩn xác nhất để nhận diện các cụm ngoại lai cục bộ.

Thứ tư, phương pháp xếp hạng đối tượng theo giá trị cực đại $\max(LOF)$ trong dải $[MinPts_{LB}, MinPts_{UB}]$ vượt trội hơn hẳn cách lấy trung bình hoặc cực tiểu. Giá trị trung bình có xu hướng làm loãng mức độ dị biệt, trong khi giá trị lớn nhất phản ánh chính xác nhất bản chất ngoại lai cục bộ của đối tượng.

Thảo luận kết quả

Khác với các nghiên cứu phân tích ngoại lai dựa trên độ sâu hình học vốn suy giảm hiệu năng nghiêm trọng khi số chiều không gian $k \ge 4$, hướng tiếp cận dựa trên mật độ cục bộ LOF duy trì độ chính xác cao trên mọi không gian thuộc tính. Hiện tượng này bắt nguồn từ việc LOF không đánh giá đối tượng dựa trên khoảng cách tuyệt đối toàn cục mà dựa trên tỷ lệ mật độ tương đối giữa đối tượng và tập $k$-lân cận gần nhất của nó.

Các kết quả phân tích trong nghiên cứu có thể được trực quan hóa hiệu quả thông qua hệ tọa độ Descartes hai chiều biểu diễn các đám mây điểm dữ liệu cùng đồ thị đường biểu diễn quan hệ giữa tỷ số giao động $(LOF_{max} - LOF_{min})/(direct/indirect)$ theo tỷ lệ phần trăm $pct$. Đồ thị này minh chứng rằng khi tham số $pct$ tiến gần tới ngưỡng 100%, độ lệch LOF sẽ tăng vọt theo hàm phi tuyến, giải thích nguyên nhân tại sao các đối tượng cô lập lại có điểm số ngoại lai tách biệt hoàn toàn khỏi quần thể chung.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu lý thuyết và thực nghiệm, 4 khuyến nghị then chốt được đề xuất nhằm nâng cao hiệu quả ứng dụng khai phá dữ liệu:

1. Chuẩn hóa quy trình lựa chọn tham số mật độ: Thiết lập cận dưới của tham số $MinPts$ trong khoảng từ 10 đến 20 ($MinPts_{LB} \ge 10$) khi triển khai thuật toán LOF trên các tập dữ liệu không gian. Biện pháp này giúp giảm thiểu trên 90% các dao động ngẫu nhiên và loại bỏ hiện tượng nhận định nhầm lẫn phần tử ngoại lai trong phân phối đều. Nhóm kỹ sư dữ liệu cần thực hiện bước này trong giai đoạn tiền xử lý với thời gian cấu hình tối đa 2 tuần.

2. Áp dụng khung quy trình 7 bước chuẩn công nghiệp IBM: Các tổ chức cần thể chế hóa quy trình khai phá dữ liệu bao gồm: định nghĩa bài toán doanh nghiệp, xây dựng mô hình dữ liệu dùng chung (Data Warehouse/Data Mart), chuẩn bị dữ liệu nguồn, đánh giá chất lượng dữ liệu, lựa chọn giải thuật, diễn giải kết quả và tích hợp triển khai. Ban giám đốc công nghệ và các bộ phận nghiệp vụ cần phối hợp thực thi theo lộ trình từ 3 đến 6 tháng nhằm rút ngắn 50% thời gian thử nghiệm mô hình.

3. Ứng dụng giải thuật mật độ vào quản trị rủi ro và duy trì khách hàng: Các doanh nghiệp viễn thông và tài chính cần tích hợp DBSCAN và hệ số LOF vào hệ thống CRM nhằm phát hiện sớm các thuê bao có nguy cơ rời mạng hoặc các giao dịch gian lận thương mại điện tử. Mục tiêu cụ thể là nâng cao độ chính xác dự báo khách hàng rời mạng lên trên 85% và duy trì tỷ lệ churn hàng năm dưới mức 5%. Khối phân tích nghiệp vụ chịu trách nhiệm triển khai định kỳ theo từng quý.

4. Tối ưu hóa cấu trúc dữ liệu cho không gian nhiều chiều: Kết hợp thuật toán mật độ với các cấu trúc chỉ mục không gian như cây $R^*$ hoặc cây $X$ và kỹ thuật phân chia lưới để đảm bảo tính tuyến tính khi kích thước dữ liệu vượt mốc 1.000.000 bản ghi. Đội ngũ kiến trúc sư hệ thống cần tối ưu hóa mã nguồn trong vòng 1 năm để tăng tốc độ truy vấn lân cận lên gấp nhiều lần.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả của luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng cụ thể:

• Học viên cao học và nghiên cứu sinh ngành Khoa học Máy tính: Tiếp cận hệ thống chứng minh toán học chặt chẽ về lý thuyết phân cụm DBSCAN và hệ số ngoại lai LOF, làm tài liệu tham khảo nền tảng cho các đề tài nghiên cứu chuyên sâu về học máy và khai phá dữ liệu không gian.
• Kỹ sư dữ liệu và chuyên gia Machine Learning: Vận dụng quy tắc xác định dải tham số $MinPts \in [10, 20]$ và công thức tính $lrd$ để xây dựng các đường ống phát hiện bất thường tự động, xử lý nhiễu dữ liệu trong các dự án thực tế với độ chính xác cao.
• Giám đốc công nghệ và chuyên viên phân tích kinh doanh (BA) trong ngành Viễn thông - Ngân hàng: Nắm bắt phương pháp luận 7 bước của IBM để áp dụng trực tiếp vào bài toán dự đoán hành vi khách hàng rời bỏ dịch vụ và phát hiện gian lận giao dịch thẻ.
• Giảng viên và nhà nghiên cứu tại các viện, trường đại học: Sử dụng khung cấu trúc so sánh giữa các phương pháp phân hoạch (k-means, k-medoids, EM), phân cấp, phân chia lưới (STING, CLIQUE) và mật độ làm giáo trình giảng dạy chuyên ngành Công nghệ Tri thức và Cơ sở Dữ liệu Nâng cao.

Câu hỏi thường gặp

Thuật toán DBSCAN khác biệt như thế nào so với k-means trong việc xử lý dữ liệu không gian?
DBSCAN không yêu cầu người dùng phải xác định trước số cụm $k$ và có khả năng phát hiện các cụm có hình dạng tùy ý trong không gian đa chiều. Trong khi k-means chỉ tìm các cụm hình cầu và rất dễ bị lệch tâm khi gặp nhiễu, DBSCAN tự động phân loại các điểm có số lân cận nhỏ hơn $MinPts$ thành điểm nhiễu, giúp tăng độ chính xác phân cụm trong cơ sở dữ liệu lớn.

Tại sao hệ số LOF của các đối tượng nằm sâu trong cụm lại luôn xấp xỉ bằng 1?
Theo chứng minh toán học của Bổ đề 1, một đối tượng nằm sâu trong vùng cụm đặc sẽ có mật độ lân cận đến được ($lrd$) tương đương với mật độ lân cận của tất cả các điểm lân cận gần nhất của nó. Do tỷ số giữa các mật độ này tiệm cận 1, giá trị LOF của điểm đó bị chặn trong khoảng hẹp gần 1, khẳng định đối tượng thuộc về cụm và không phải phần tử ngoại lai.

Vì sao nên chọn cận dưới của tham số MinPts từ 10 trở lên thay vì các giá trị nhỏ hơn?
Thực nghiệm trên các phân phối Gauss và phân phối đều cho thấy khi $MinPts < 10$, các sai số khoảng cách thống kê làm cho giá trị LOF dao động không ổn định và có thể gán nhầm điểm bình thường thành ngoại lai. Khi thiết lập $MinPts \ge 10$ (tối ưu từ 10 đến 20), độ lệch chuẩn của LOF ổn định, giúp thuật toán nhận dạng chính xác các ngoại lai cục bộ thực sự.

Quy trình 7 bước của IBM mang lại lợi ích gì cho bài toán viễn thông?
Quy trình 7 bước giúp doanh nghiệp chuẩn hóa từ việc định nghĩa bài toán thương nghiệp, tiền xử lý kho dữ liệu (Data Warehouse), lựa chọn hàm khai phá cho đến diễn giải kết quả. Trong bài toán viễn thông, quy trình này giúp phân tích chính xác hành vi cước và tần suất cuộc gọi, từ đó phát hiện sớm nhóm khách hàng có nguy cơ rời mạng để đưa ra chính sách chăm sóc kịp thời.

Thuật toán LOF có bị ảnh hưởng khi dữ liệu có số chiều lớn không?
Có, khi số chiều dữ liệu tăng cao, hiệu năng tính toán khoảng cách $k$-distance và truy vấn lân cận trên cấu trúc chỉ số không gian sẽ bị suy giảm. Để khắc phục, nghiên cứu khuyến nghị kết hợp mô hình hóa mật độ dạng giải tích theo cấu trúc lưới như thuật toán DENCLUE, giúp cải thiện tốc độ xử lý nhanh hơn tới 45 lần trên không gian dữ liệu nhiều chiều.

Kết luận

• Hệ thống hóa toàn diện cơ sở lý thuyết về khám phá tri thức trong cơ sở dữ liệu không gian đa chiều, làm rõ ưu thế vượt trội của phương pháp tiếp cận dựa trên mật độ so với các kỹ thuật phân hoạch và phân cấp truyền thống.
• Làm chủ và chứng minh giải tích tính đúng đắn của thuật toán DBSCAN, đồng thời thiết lập cơ sở toán học chặt chẽ cho hệ số ngoại lai cục bộ LOF với các định lý giới hạn biên vững chắc.
• Khám phá bản chất biến thiên không đơn điệu của LOF theo $MinPts$, xác lập nguyên tắc thực nghiệm thiết lập dải tham số $MinPts \in [10, 20]$ và kỹ thuật xếp hạng theo $\max(LOF)$ để tối ưu hóa khả năng phát hiện điểm dị biệt.
• Xây dựng thành công khung phương pháp luận 7 bước ứng dụng khai phá dữ liệu thực tiễn theo chuẩn IBM, ứng dụng giải quyết triệt để bài toán dự đoán khách hàng rời mạng viễn thông.
• Định hướng giai đoạn tiếp theo cần tập trung tích hợp các cấu trúc lưới đa chiều và chỉ mục không gian hiện đại nhằm mở rộng khả năng xử lý song song trên các kho dữ liệu phân tán quy mô lớn. Quý bạn đọc và các nhà nghiên cứu hãy áp dụng ngay khung tham số và giải thuật đã được kiểm chứng trong luận văn để nâng tầm hiệu quả cho các dự án phân tích dữ liệu không gian thực tế.

Trích đoạn nội dung tài liệu

phần mở đầu, kết luận, luận văn đƣợc chia thành các chƣơng sau: Chƣơng 1: Giới thiệu về các khái niệm cơ bản, quá trình hình thành phát triển, các bƣớc cơ bản trong kỹ thuật, các cách phân loại và những ứng dụng của Data mining. Chƣơng 2 : Giới thiệu tổng quan về các phƣơng pháp phân cụm dữ liệu và các thuật toán phân cụm dữ liệu điển hình đồng thời trình bày chi tiết về thuật toán DBSCAN Chƣơng 3 : Trình bày kết quả mới nhất về lý thuyết cơ bản đánh giá phần tử ngoại lai dựa vào số LOF trong đó đƣa ra các định nghĩa chặt chẽ hơn về phần tử ngoại lai khi xem xét các đối tƣợng trong tập dữ liệu dựa trên mật độ theo cách nhìn địa phƣơng. Trình bày cấp độ ngoại lai và các tính chất của từng đối tƣợng. Chƣơng 4: Trình bày kinh nghiệm ứng dụng kỹ thuật Data Mining trong thực tiễn của IBM và xem xét các khía cạnh của ứng dụng dự đoán khuấy động do IBM thực hiện cho các công ty Viễn thông trên thế giới.

Trong quá trình thực hiện đề tài, tôi đã cố gắng rất nhiều, nhƣng do lần đầu tiên mới làm quen với kỹ thuật Data Mining, hơn nữa do thời gian có hạn, và bản thân tôi gặp phải khó khăn về sức khoẻ nên kết quả đạt đƣợc không tránh khỏi những khiếm khuyết. Kính mong đƣợc sự góp ý của quý Thầy Cô và các bạn đồng nghiệp. Tp Hồ chí Minh, Tháng 5 năm 2004 PHAN THỊ HỒNG THU (LUAN.do Phan Thị Hồng Thu Trang 2 TIEU LUAN MOI download : [e-mail] CHƢƠNG MỘT TỔNG QUAN VỀ DATA MINING I- ĐIỀU GÌ DẪN ĐẾN KỸ THUẬT DATA MINING Data Mining đƣợc bắt nguồn từ những lĩnh vực: Hoc máy, kỹ thuật nhận dạng, thống kê, cơ sở dữ liệu và trực quan hoá, nhằm hƣớng tới vấn đề trích ra những thông tin từ một cơ sở dữ liệu lớn nhằm hỗ trợ dự đoán và ra quyết định. Mặc dù vậy với những phƣơng pháp và kỹ thuật truyền thống đã không thể tạo điều kiện để Data Mining phát triển mạnh với một lý do đơn giản là các phƣơng pháp truyền thống không thể đáp ứng nhu cầu thời gian thực.

Một sự trùng hợp tuyệt vời kéo theo sự phát triển của Data Mining đó chinh là sự gặp gỡ của hai yếu tố: 1- Nhu cầu khai thác dữ liệu của doanh nghiệp: Môi trƣờng doanh nghiệp thay đổi và sự quan tâm của các nhà quản lý 2- Sự cho phép của những phƣơng tiện thực hiện nó: Chính là sự phát triển về mặt kỹ thuật của Công nghệ thông tin 1- Nhu cầu khai thác dữ liệu Xã hội hiện nay có thể nói đó là một xã hội thông tin, mỗi doanh nghiệp hay một tổ chức, lƣợng thông tin ngày càng chồng chất và đƣợc tích luỹ với một tốc độ bùng nổ. Mỗi chuyên viên hay cán bộ quản lý luôn bị ngập đầu (LUAN.do Phan Thị Hồng Thu Trang 3 TIEU LUAN MOI download : [e-mail] trong dữ liệu với một sức ép là phải luôn đƣa ra những quyết định dựa trên những phán đoán theo những thông tin hiện có của doanh nghiệp hay tổ chức ấy. Xã hội càng phát triển, chu kỳ sống của một sản phẩm càng ngắn ngủi điều ấy có nghĩa là mức độ cạnh tranh càng cao, sự sống còn của doanh nghiệp phụ thuộc vào những quyết đinh sáng suốt có tinh chiến lƣợc, mà mọi sự quyết đinh đúng đắn đều phải dựa trên nền tảng thông tin và dự đoán. Những nhà quản trị doanh nghiệp thấy rõ những thông tin dự đoán mang lại lợi ích vô cùng to lớn cho doanh nghiệp của họ - điều này đã thúc đẩy họ sẵn sàng bỏ ra những chi phí cho việc phát triển Data Mining 2- Sự cho phép của kỹ thuật và xu thế thời đại Hơn 40 năm của Công nghệ thông tin đã dẫn tới việc tồn tại những kho dữ liệu khổng lồ đƣợc lƣu trong các hệ thống máy tính (tính bằng gigabytes và tetabytes ) Xu hƣớng giải pháp công nghệ thông tin hiện nay là lƣu trữ thông tin tập trung trên những hệ thống máy chủ ngày càng mạnh, kể cả dữ liệu của chính phủ, các tổ chức lợi nhuận và phi lợi nhuận đến các doanh nghiệp ngoài ra còn rất nhiều thông tin có thể tải về trên các website và các Cơ sở dữ liệu dùng chung.

Những giải thuật mới đƣợc sản sinh từ các trƣờng Đại học và các trung tâm nghiên cứu ngày càng đƣợc chuyển tới ứng dụng vào đời sống xã hôi bởi sự liên kết ngày càng tăng giữa Các trƣờng Đại học, các trung tâm nghiên cứu với môi trƣờng thƣơng mại Công nghệ tính toán song song và sự phát triển của những thuật toán phức tạp cộng thêm sức mạnh ngày càng vƣợt trội của các máy tính cá nhân cho phép thể hiện trực quan hình ảnh của những thông tin trừu tƣợng cũng là một chìa khoá để mở cửa cho Data Mining II- DATA MINING LÀ GÌ 1- Định nghĩa về Data Mining Data Mining đƣợc hiểu nhƣ một tiến trình nhằm mục tiêu dự đoán những kiến thức mới có khả năng hữu dụng và tối thiểu là có thể hiểu đƣợc trong dữ liệu.do Phan Thị Hồng Thu Trang 4 TIEU LUAN MOI download : [e-mail] Có rất nhiều định nghĩa về Data Mining, tạm thời ta có thể hiểu Data mining nhƣ một công nghệ tri thức giúp ta khai thác những thông tin hữu ích từ những kho lƣu trữ dữ liệu hiện có trong hệ thống công nghệ thông tin. Dƣới đây là một trong số các định nghĩa ấy: “Data Mining là sự thăm dò và trích ra những thông tin hữu ích không biêt trƣớc tiềm ẩn trong cơ sở dữ liệu lớn” Hoặc: “Data Mining là quá trình khai thác, khám phá những tri thức hữu ích, tiềm ẩn và mang tính dự báo từ một tập dữ liệu lớn”. Data Mining đƣợc phát triển khoảng 10 năm trở lại đây, nhƣng nguồn gốc của nó đƣợc thấy trong trí tuệ nhân tạo đã hình thành từ những năm 1950. Trong thời kỳ này việc phát triển kỹ thuật nhận dạng đã đặt nền tảng cơ sở lý luận cho sự ra đời và phát triển của Data Mining.

Nhiều kỹ thuật của Data Mining thực chất đã đƣợc sử dụng trong suốt thời kỳ đó nhƣng chủ yếu là ứng dụng với các bài toán khoa học.do Phan Thị Hồng Thu Trang 5 TIEU LUAN MOI download : [e-mail] Với sự ra đời của Cơ sở dữ liệu quan hệ và khả năng lƣu trữ một kho dữ liệu rất lớn đã là một cầu nối giữa những kỹ thuật đang ứng dụng cho những bài toán khoa học có thể áp dụng ra môi trƣờng thƣơng mại. Và một điều khẳng định chắc chắn rằng: Data mining không thể tách rời giữa kỹ thuật, công nghệ và giải pháp Công nghệ thông tin. 2- Các bƣớc trong Data Mining Có thể phân chia kỹ thuật Data mining thành các bƣớc chính sau đây: a) Tích hợp dữ liệu (data integration): Quá trình hợp nhất dữ liệu thành những kho dữ liệu (data warehouses & data marts) sau khi làm sạch và tiền xử lý (data cleaning & preprocessing). b) Trích chọn dữ liệu (data selection): Trích chọn dữ liệu từ những kho dữ liệu và sau đó chuyển đổi về dạng thích hợp cho quá trình khai thác tri thức.

Quá trình này bao gồm cả việc xử lý với dữ liệu nhiễu (noisy data), dữ liệu không đầy đủ (incomplete data),. c) Khai thác dữ liệu (data mining): tìm kiếm, khám phá tri thức từ dữ liệu đã đƣợc trích chọn trong bƣớc hai. Bƣớc này – tuỳ theo từng bài toán – sẽ áp dụng những kỹ thuật khác nhau mà chúng ta sẽ làm quen trong các phần sau. d) Đánh và giá diễn biến tri thức (knowledge evaluation & presentation): Đánh giá và biểu diễn tri thức vừa khai thác đƣợc trong bƣớc ba sang dạng gần gũi với ngƣời dùng hơn để sẵn sàng cho việc sử dụng.

3- Phân loại các hệ thống Data Mining Data Mining là một công nghệ tri thức liên quan đến nhiều lĩnh vực nghiên cứu khác nhau nhƣ cơ sở dữ liệu, học máy (machine learning), giải thuật trực quan hoá. Chúng ta có thể phân loại các hệ thống Data Mining dựa trên các tiêu chí khác nhau sau đây : (LUAN.do Phan Thị Hồng Thu Trang 6 TIEU LUAN MOI download : [e-mail] a) Phân loại dựa trên dữ liệu: cơ sở dữ liệu quan hệ (relation database), kho dữ liệu (data warehouse), cơ sở dữ liệu giao dịch (transactional database), cơ sở dữ liệu không gian (spatial database), cơ sở dữ liệu đa phƣơng tiện (multimedia database), cơ sở dữ liệu text & www,. b) Phân loại dựa trên loại tri thức khám phá: tóm tắt và mô tả (summarization & description). luật kết hợp (association rules), phân lớp (classification), phân cụm (clustering), khai phá chuỗi (sequential mining),.

c) Phân loại dựa trên kỹ thuật đƣợc áp dụng: hƣớng cơ sở dữ liệu (database-oriented), phân tích trực tuyến (Online analytical Processing – OLAP), machine learning (cây – quyết định, mạng nơ ron nhân tạo , k- mean, giải thuật di truyền, máy vectơ hỗ trợ - SVM, tập thô, tập mờ, .), trực quan hoá (visualization),. d) Phân loại dựa trên lĩnh vực đƣợc áp dụng: kinh doanh bán lẻ (retial), truyền thông (telecommunication), tin-sinh (bio-informaties) y học (medical treatment), tài chính và thị trƣờng chứng khoán (finance & stock market), Web mining,. 4- Ứng dụng của Data Mining Dễ thấy rằng Data Mining có thể ứng dụng vào mọi lĩnh vực, miễn là các dữ liệu đƣợc lƣu trữ số hoá và ngƣời sử dụng nó thực sự cần tới những thông tin tiềm ẩn trong dữ liệu. Có thể liệt kê ra đây những ứng dụng điển hình của Data Mining hiện nay trên thế giới:  Marketing  Đánh giá tổng quát  Phân tích ảnh hƣởng  Phân tích sản phẩm  Duy trì khách hàng  Dự đoán nhu cầu (LUAN.do Phan Thị Hồng Thu Trang 7 TIEU LUAN MOI download : [e-mail]  Phân tích dữ liệu và hỗ trợ ra quyết định  Dự báo trong điều trị y học  Hoá học  Vật lý học  V.do Phan Thị Hồng Thu Trang 8 TIEU LUAN MOI download : [e-mail] CHƢƠNG HAI CÁC THUẬT TOÁN PHÂN CỤM DỮ LIỆU I- KHÁI QUÁT VỀ PHÂN CỤM DỮ LIỆU 1- Phân cụm dữ liệu là gì? Phân cụm (clusteing) là quá trình nhóm một tập các đối tƣợng vật lí hoặc trừu tƣợng thành các nhóm hay các lớp đối tƣợng giống nhau.

Một cụm (cluster) là một tập đối tƣợng dữ liệu trong đó các đối tƣợng trong cùng một cluster thì giống nhau và khác các đối tƣợng thuộc cluster khác. Không giống nhƣ phân loại, ta thƣờng biết trƣớc tính chất hay đặc điểm của các đối tƣợng trong cùng một lớp và dựa vào đó để ấn định một đối tƣợng vào lớp mới.