Khám Phá Tri Thức Trong Dữ Liệu Không Gian Dựa Trên Mật Độ

Khám phá tri thức trong dữ liệu không gian dựa trên mật độ qua luận văn thạc sĩ, cung cấp cái nhìn sâu sắc về phân tích và ứng dụng.

• Tác giả: Phan Thị Hồng Thu Trang
• Người hướng dẫn: TS. Hoàng Xuân Huấn
• Trường học: Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ
• Đề tài: Khám Phá Tri Thức Trong Dữ Liệu Không Gian Bằng Kỹ Thuật Khai Phá Dữ Liệu
• Loại tài liệu: Luận Văn Thạc Sỹ
• Năm xuất bản: 2004
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Về Khai Phá Tri Thức Trong Dữ Liệu Không Gian

Khai phá dữ liệu, hay Data Mining, đã trở thành một lĩnh vực quan trọng nhờ khả năng trích xuất thông tin hữu ích từ các kho dữ liệu khổng lồ. KDD trong dữ liệu không gian đặc biệt quan trọng khi xem xét dữ liệu có yếu tố vị trí và hình học. Từ Hệ thống thông tin địa lý (GIS) đến cơ sở dữ liệu không gian, nguồn dữ liệu tiềm năng rất lớn. Việc khám phá tri thức từ những nguồn này giúp chúng ta hiểu rõ hơn về các mô hình, xu hướng và mối quan hệ tiềm ẩn trong không gian. Tuy nhiên, các phương pháp truyền thống thường không đáp ứng được nhu cầu xử lý dữ liệu không gian phức tạp, đòi hỏi những kỹ thuật spatial data mining chuyên biệt. Tài sản lớn nhất của nhân loại đó là thông tin, thông tin được lưu trữ nhiều nhất là trong các hệ thống thông tin, việc khám phá tri thức trong cơ sở dữ liệu (KDD- Knowledgle Discovery in Database) nói chung và Khai phá dữ liệu (Data Mining) nói riêng đang được nhiều người quan tâm nghiên cứu.

1.1. Định Nghĩa và Mục Tiêu của Khai Phá Dữ Liệu Không Gian

Khai phá dữ liệu không gian, hay Spatial Data Mining, là quá trình khám phá tri thức mới, hữu ích và không tầm thường từ dữ liệu không gian. Mục tiêu chính là tự động hóa việc tìm kiếm các mô hình không gian, quan hệ và xu hướng từ các kho dữ liệu không gian. Việc này khác với các phân tích không gian truyền thống vốn tập trung vào kiểm tra giả thuyết hơn là khám phá. Phân tích dữ liệu không gian sử dụng các thuật toán đặc biệt để xử lý các đặc tính riêng biệt của dữ liệu không gian, ví dụ như tính liên tục không gian và sự tương quan không gian.

1.2. Các Loại Dữ Liệu Không Gian và Nguồn Dữ Liệu Phổ Biến

Dữ liệu không gian bao gồm nhiều loại khác nhau, từ dữ liệu vector (điểm, đường, đa giác) đến dữ liệu raster (ảnh vệ tinh, mô hình độ cao). Các nguồn dữ liệu không gian phổ biến bao gồm dữ liệu từ Hệ thống thông tin địa lý (GIS), dữ liệu GPS, dữ liệu viễn thám, và dữ liệu từ các mạng xã hội dựa trên vị trí. Việc trực quan hóa dữ liệu không gian đóng vai trò quan trọng trong việc hiểu và trình bày kết quả khai phá. Các công cụ GIS cung cấp nhiều chức năng để mô hình hóa không gian và phân tích dữ liệu không gian.

II. Thách Thức và Vấn Đề Trong Khai Phá Dữ Liệu Không Gian

Khai phá dữ liệu không gian đối mặt với nhiều thách thức đặc thù so với khai phá dữ liệu truyền thống. Big data không gian đặt ra yêu cầu về khả năng mở rộng của các thuật toán. Tính không gian của dữ liệu đòi hỏi các phương pháp xử lý đặc biệt để giải quyết các vấn đề như tương quan không gian và dị thường không gian. Dữ liệu không gian thường chứa nhiều nhiễu và không đầy đủ, đòi hỏi các kỹ thuật tiền xử lý dữ liệu hiệu quả. Ngoài ra, việc diễn giải và trình bày kết quả khai phá dữ liệu không gian một cách trực quan và dễ hiểu cũng là một thách thức không nhỏ. Môi trường doanh nghiệp thay đổi và sự quan tâm của các nhà quản lý. Những nhà quản trị doanh nghiệp thấy rõ những thông tin dự đoán mang lại lợi ích vô cùng to lớn cho doanh nghiệp của họ - điều này đã thúc đẩy họ sẵn sàng bỏ ra những chi phí cho việc phát triển Data Mining.

2.1. Xử Lý Dữ Liệu Không Gian Lớn Big Data Không Gian

Với sự phát triển của các công nghệ thu thập dữ liệu, lượng dữ liệu không gian ngày càng tăng lên đáng kể, tạo ra thách thức về xử lý big data không gian. Các thuật toán khai phá dữ liệu cần được thiết kế để có thể xử lý hiệu quả các tập dữ liệu lớn, đồng thời đảm bảo tính chính xác và tốc độ. Các kỹ thuật như tính toán song song và phân tán đóng vai trò quan trọng trong việc giải quyết vấn đề này. Kho dữ liệu không gian cần được xây dựng để lưu trữ và quản lý dữ liệu không gian một cách hiệu quả.

2.2. Vấn Đề về Tương Quan Không Gian và Phụ Thuộc Không Gian

Dữ liệu không gian thường có tính tương quan không gian, nghĩa là các đối tượng gần nhau có xu hướng giống nhau hơn các đối tượng ở xa nhau. Điều này đòi hỏi các thuật toán khai phá dữ liệu phải xem xét đến các mối quan hệ không gian giữa các đối tượng. Các mô hình thống kê không gian và các phương pháp mô hình hóa không gian được sử dụng để giải quyết vấn đề này.

III. Phương Pháp Phân Cụm Dữ Liệu Trong Không Gian Hiệu Quả

Phân cụm không gian là một kỹ thuật quan trọng trong khai phá dữ liệu không gian, cho phép nhóm các đối tượng có đặc điểm tương đồng vào các cụm. Có nhiều thuật toán phân cụm không gian khác nhau, mỗi thuật toán có những ưu điểm và nhược điểm riêng. Lựa chọn thuật toán phù hợp phụ thuộc vào đặc điểm của dữ liệu và mục tiêu phân tích. DBSCAN là một thuật toán phân cụm dựa trên mật độ phổ biến, có khả năng phát hiện các cụm có hình dạng bất kỳ và loại bỏ nhiễu.Phân cụm (clusteing) là quá trình nhóm một tập các đối tượng vật lí hoặc trừu tượng thành các nhóm hay các lớp đối tượng giống nhau. Một cụm (cluster) là một tập đối tượng dữ liệu trong đó các đối tượng trong cùng một cluster thì giống nhau và khác các đối tượng thuộc cluster khác.

3.1. Thuật Toán DBSCAN cho Phân Cụm Dựa Trên Mật Độ

DBSCAN là một thuật toán phân cụm dựa trên mật độ, có khả năng phát hiện các cụm có hình dạng bất kỳ và loại bỏ nhiễu. Thuật toán này hoạt động bằng cách xác định các vùng có mật độ điểm dữ liệu cao và mở rộng các vùng này thành các cụm. DBSCAN có hai tham số chính: bán kính lân cận (epsilon) và số lượng điểm tối thiểu trong lân cận (MinPts). Việc lựa chọn tham số phù hợp là rất quan trọng để đảm bảo kết quả phân cụm chính xác.

3.2. Các Phương Pháp Phân Cụm Hierarchical cho Dữ Liệu Không Gian

Các phương pháp phân cụm hierarchical xây dựng một cấu trúc phân cấp các cụm, từ các cụm nhỏ nhất (mỗi đối tượng là một cụm) đến một cụm duy nhất chứa tất cả các đối tượng. Các phương pháp này có thể được chia thành hai loại: agglomerative (từ dưới lên) và divisive (từ trên xuống). Phân cụm hierarchical có thể được sử dụng để khám phá các cấu trúc cụm đa cấp trong dữ liệu không gian.

IV. Ứng Dụng Thực Tế Khai Phá Tri Thức từ Dữ Liệu Không Gian

Khai phá dữ liệu không gian có nhiều ứng dụng thực tế trong nhiều lĩnh vực khác nhau. Trong quản lý đô thị, nó có thể được sử dụng để phân tích mô hình giao thông, quy hoạch đô thị và dự báo tội phạm. Trong môi trường, nó có thể được sử dụng để theo dõi ô nhiễm, quản lý tài nguyên thiên nhiên và dự báo thảm họa. Trong kinh doanh, nó có thể được sử dụng để phân tích hành vi khách hàng, tối ưu hóa vị trí cửa hàng và quản lý chuỗi cung ứng. Tài sản lớn nhất của nhân loại đó là thông tin. Bởi vậy, việc khám phá tri thức trong Cơ sở dữ liệu ( KDD – Knowledgle Discovery in Database ) nói chung và Khai phá dữ liệu (Data Mining) nói riêng đang đƣợc nhiều ngƣời quan tâm nghiên cứu.

4.1. Dự Đoán Tội Phạm và Phân Tích Điểm Nóng Tội Phạm

Khai phá dữ liệu không gian có thể được sử dụng để dự đoán tội phạm và phân tích điểm nóng tội phạm. Bằng cách phân tích dữ liệu về các vụ án trước đây, các nhà chức trách có thể xác định các khu vực có nguy cơ cao về tội phạm và triển khai các biện pháp phòng ngừa. Các thuật toán phân cụm và phân loại không gian có thể được sử dụng để xác định các điểm nóng tội phạm và phân loại các loại tội phạm khác nhau.

4.2. Phân Tích Dịch Bệnh và Ứng Phó với Khủng Hoảng Y Tế

Khai phá dữ liệu không gian có thể được sử dụng để phân tích dịch bệnh và ứng phó với khủng hoảng y tế. Bằng cách phân tích dữ liệu về các ca bệnh, các nhà khoa học có thể xác định các yếu tố nguy cơ, theo dõi sự lây lan của dịch bệnh và dự đoán các đợt bùng phát trong tương lai. Các bản đồ dịch bệnh và các mô hình dự đoán không gian có thể giúp các nhà chức trách đưa ra các quyết định ứng phó kịp thời.

4.3. Dự Đoán Nhu Cầu và Phân Tích Thị Trường Bất Động Sản

Khai phá dữ liệu không gian có thể được sử dụng để dự đoán nhu cầu bất động sản và phân tích thị trường. Bằng cách phân tích dữ liệu về giá nhà, vị trí, tiện ích và các yếu tố kinh tế xã hội, các nhà đầu tư và nhà phát triển có thể đưa ra các quyết định đầu tư sáng suốt. Các mô hình dự đoán không gian có thể giúp dự đoán giá nhà trong tương lai và xác định các khu vực có tiềm năng tăng trưởng cao.

V. Học Máy và AI Trong Khai Phá Dữ Liệu Không Gian Hiện Đại

Học máy trong dữ liệu không gian và AI trong dữ liệu không gian đang ngày càng đóng vai trò quan trọng trong việc nâng cao hiệu quả và độ chính xác của các phương pháp khai phá tri thức. Các thuật toán học máy, đặc biệt là deep learning trong dữ liệu không gian, có khả năng tự động học các đặc trưng phức tạp từ dữ liệu và xây dựng các mô hình dự đoán chính xác hơn. Sự kết hợp giữa học máy và các kỹ thuật khai phá dữ liệu không gian truyền thống mở ra nhiều cơ hội mới trong việc giải quyết các bài toán phức tạp.

5.1. Ứng Dụng Deep Learning để Trích Xuất Đặc Trưng Không Gian

Deep learning có thể được sử dụng để tự động trích xuất các đặc trưng không gian từ dữ liệu ảnh vệ tinh, dữ liệu địa lý và các loại dữ liệu không gian khác. Các mạng nơ-ron tích chập (CNN) có thể được sử dụng để phân loại ảnh vệ tinh, phát hiện đối tượng và phân tích cảnh quan. Các mạng nơ-ron hồi quy (RNN) có thể được sử dụng để mô hình hóa các chuỗi thời gian không gian và dự đoán các sự kiện trong tương lai.

5.2. Sử Dụng Học Máy để Cải Thiện Độ Chính Xác Dự Đoán Không Gian

Học máy có thể được sử dụng để cải thiện độ chính xác của các mô hình dự đoán không gian. Các thuật toán như Random Forest, Support Vector Machines (SVM) và Gradient Boosting có thể được sử dụng để xây dựng các mô hình dự đoán giá nhà, dự đoán tội phạm và dự đoán dịch bệnh. Việc kết hợp học máy với các mô hình thống kê không gian có thể mang lại kết quả dự đoán tốt hơn.

VI. Kết Luận và Hướng Phát Triển Của Khai Phá Dữ Liệu Không Gian

Khai phá dữ liệu không gian là một lĩnh vực nghiên cứu đầy tiềm năng, với nhiều ứng dụng thực tế trong nhiều lĩnh vực khác nhau. Sự phát triển của các công nghệ mới như big data, học máy và AI đang mở ra nhiều cơ hội mới trong việc khai thác tri thức từ dữ liệu không gian. Trong tương lai, chúng ta có thể kỳ vọng vào sự ra đời của các phương pháp khai phá dữ liệu không gian hiệu quả hơn, chính xác hơn và dễ sử dụng hơn, giúp chúng ta hiểu rõ hơn về thế giới xung quanh và đưa ra các quyết định sáng suốt hơn. Tài sản lớn nhất của nhân loại đó là thông tin.

6.1. Tóm Tắt Các Kỹ Thuật và Ứng Dụng Chính Đã Đề Cập

Bài viết đã trình bày tổng quan về khai phá dữ liệu không gian, bao gồm các kỹ thuật chính như phân cụm không gian, phân loại không gian, dự đoán không gian và trực quan hóa dữ liệu không gian. Các ứng dụng thực tế đã được đề cập bao gồm dự đoán tội phạm, phân tích dịch bệnh, dự đoán nhu cầu bất động sản và quản lý tài nguyên thiên nhiên.

6.2. Hướng Nghiên Cứu Mới và Triển Vọng Phát Triển Trong Tương Lai

Trong tương lai, các hướng nghiên cứu mới trong khai phá dữ liệu không gian bao gồm phát triển các thuật toán có khả năng xử lý big data không gian, tích hợp học máy và AI, và xây dựng các giao diện trực quan dễ sử dụng. Các triển vọng phát triển bao gồm ứng dụng khai phá dữ liệu không gian trong các lĩnh vực mới như thành phố thông minh, nông nghiệp chính xác và y tế từ xa.

Trích đoạn nội dung tài liệu

phần mở đầu, kết luận, luận văn đƣợc chia thành các chƣơng sau: Chƣơng 1: Giới thiệu về các khái niệm cơ bản, quá trình hình thành phát triển, các bƣớc cơ bản trong kỹ thuật, các cách phân loại và những ứng dụng của Data mining. Chƣơng 2 : Giới thiệu tổng quan về các phƣơng pháp phân cụm dữ liệu và các thuật toán phân cụm dữ liệu điển hình đồng thời trình bày chi tiết về thuật toán DBSCAN Chƣơng 3 : Trình bày kết quả mới nhất về lý thuyết cơ bản đánh giá phần tử ngoại lai dựa vào số LOF trong đó đƣa ra các định nghĩa chặt chẽ hơn về phần tử ngoại lai khi xem xét các đối tƣợng trong tập dữ liệu dựa trên mật độ theo cách nhìn địa phƣơng. Trình bày cấp độ ngoại lai và các tính chất của từng đối tƣợng. Chƣơng 4: Trình bày kinh nghiệm ứng dụng kỹ thuật Data Mining trong thực tiễn của IBM và xem xét các khía cạnh của ứng dụng dự đoán khuấy động do IBM thực hiện cho các công ty Viễn thông trên thế giới.

Trong quá trình thực hiện đề tài, tôi đã cố gắng rất nhiều, nhƣng do lần đầu tiên mới làm quen với kỹ thuật Data Mining, hơn nữa do thời gian có hạn, và bản thân tôi gặp phải khó khăn về sức khoẻ nên kết quả đạt đƣợc không tránh khỏi những khiếm khuyết. Kính mong đƣợc sự góp ý của quý Thầy Cô và các bạn đồng nghiệp. Tp Hồ chí Minh, Tháng 5 năm 2004 PHAN THỊ HỒNG THU (LUAN.do Phan Thị Hồng Thu Trang 2 TIEU LUAN MOI download : [e-mail] CHƢƠNG MỘT TỔNG QUAN VỀ DATA MINING I- ĐIỀU GÌ DẪN ĐẾN KỸ THUẬT DATA MINING Data Mining đƣợc bắt nguồn từ những lĩnh vực: Hoc máy, kỹ thuật nhận dạng, thống kê, cơ sở dữ liệu và trực quan hoá, nhằm hƣớng tới vấn đề trích ra những thông tin từ một cơ sở dữ liệu lớn nhằm hỗ trợ dự đoán và ra quyết định. Mặc dù vậy với những phƣơng pháp và kỹ thuật truyền thống đã không thể tạo điều kiện để Data Mining phát triển mạnh với một lý do đơn giản là các phƣơng pháp truyền thống không thể đáp ứng nhu cầu thời gian thực.

Một sự trùng hợp tuyệt vời kéo theo sự phát triển của Data Mining đó chinh là sự gặp gỡ của hai yếu tố: 1- Nhu cầu khai thác dữ liệu của doanh nghiệp: Môi trƣờng doanh nghiệp thay đổi và sự quan tâm của các nhà quản lý 2- Sự cho phép của những phƣơng tiện thực hiện nó: Chính là sự phát triển về mặt kỹ thuật của Công nghệ thông tin 1- Nhu cầu khai thác dữ liệu Xã hội hiện nay có thể nói đó là một xã hội thông tin, mỗi doanh nghiệp hay một tổ chức, lƣợng thông tin ngày càng chồng chất và đƣợc tích luỹ với một tốc độ bùng nổ. Mỗi chuyên viên hay cán bộ quản lý luôn bị ngập đầu (LUAN.do Phan Thị Hồng Thu Trang 3 TIEU LUAN MOI download : [e-mail] trong dữ liệu với một sức ép là phải luôn đƣa ra những quyết định dựa trên những phán đoán theo những thông tin hiện có của doanh nghiệp hay tổ chức ấy. Xã hội càng phát triển, chu kỳ sống của một sản phẩm càng ngắn ngủi điều ấy có nghĩa là mức độ cạnh tranh càng cao, sự sống còn của doanh nghiệp phụ thuộc vào những quyết đinh sáng suốt có tinh chiến lƣợc, mà mọi sự quyết đinh đúng đắn đều phải dựa trên nền tảng thông tin và dự đoán. Những nhà quản trị doanh nghiệp thấy rõ những thông tin dự đoán mang lại lợi ích vô cùng to lớn cho doanh nghiệp của họ - điều này đã thúc đẩy họ sẵn sàng bỏ ra những chi phí cho việc phát triển Data Mining 2- Sự cho phép của kỹ thuật và xu thế thời đại Hơn 40 năm của Công nghệ thông tin đã dẫn tới việc tồn tại những kho dữ liệu khổng lồ đƣợc lƣu trong các hệ thống máy tính (tính bằng gigabytes và tetabytes ) Xu hƣớng giải pháp công nghệ thông tin hiện nay là lƣu trữ thông tin tập trung trên những hệ thống máy chủ ngày càng mạnh, kể cả dữ liệu của chính phủ, các tổ chức lợi nhuận và phi lợi nhuận đến các doanh nghiệp ngoài ra còn rất nhiều thông tin có thể tải về trên các website và các Cơ sở dữ liệu dùng chung.

Những giải thuật mới đƣợc sản sinh từ các trƣờng Đại học và các trung tâm nghiên cứu ngày càng đƣợc chuyển tới ứng dụng vào đời sống xã hôi bởi sự liên kết ngày càng tăng giữa Các trƣờng Đại học, các trung tâm nghiên cứu với môi trƣờng thƣơng mại Công nghệ tính toán song song và sự phát triển của những thuật toán phức tạp cộng thêm sức mạnh ngày càng vƣợt trội của các máy tính cá nhân cho phép thể hiện trực quan hình ảnh của những thông tin trừu tƣợng cũng là một chìa khoá để mở cửa cho Data Mining II- DATA MINING LÀ GÌ 1- Định nghĩa về Data Mining Data Mining đƣợc hiểu nhƣ một tiến trình nhằm mục tiêu dự đoán những kiến thức mới có khả năng hữu dụng và tối thiểu là có thể hiểu đƣợc trong dữ liệu.do Phan Thị Hồng Thu Trang 4 TIEU LUAN MOI download : [e-mail] Có rất nhiều định nghĩa về Data Mining, tạm thời ta có thể hiểu Data mining nhƣ một công nghệ tri thức giúp ta khai thác những thông tin hữu ích từ những kho lƣu trữ dữ liệu hiện có trong hệ thống công nghệ thông tin. Dƣới đây là một trong số các định nghĩa ấy: “Data Mining là sự thăm dò và trích ra những thông tin hữu ích không biêt trƣớc tiềm ẩn trong cơ sở dữ liệu lớn” Hoặc: “Data Mining là quá trình khai thác, khám phá những tri thức hữu ích, tiềm ẩn và mang tính dự báo từ một tập dữ liệu lớn”. Data Mining đƣợc phát triển khoảng 10 năm trở lại đây, nhƣng nguồn gốc của nó đƣợc thấy trong trí tuệ nhân tạo đã hình thành từ những năm 1950. Trong thời kỳ này việc phát triển kỹ thuật nhận dạng đã đặt nền tảng cơ sở lý luận cho sự ra đời và phát triển của Data Mining.

Nhiều kỹ thuật của Data Mining thực chất đã đƣợc sử dụng trong suốt thời kỳ đó nhƣng chủ yếu là ứng dụng với các bài toán khoa học.do Phan Thị Hồng Thu Trang 5 TIEU LUAN MOI download : [e-mail] Với sự ra đời của Cơ sở dữ liệu quan hệ và khả năng lƣu trữ một kho dữ liệu rất lớn đã là một cầu nối giữa những kỹ thuật đang ứng dụng cho những bài toán khoa học có thể áp dụng ra môi trƣờng thƣơng mại. Và một điều khẳng định chắc chắn rằng: Data mining không thể tách rời giữa kỹ thuật, công nghệ và giải pháp Công nghệ thông tin. 2- Các bƣớc trong Data Mining Có thể phân chia kỹ thuật Data mining thành các bƣớc chính sau đây: a) Tích hợp dữ liệu (data integration): Quá trình hợp nhất dữ liệu thành những kho dữ liệu (data warehouses & data marts) sau khi làm sạch và tiền xử lý (data cleaning & preprocessing). b) Trích chọn dữ liệu (data selection): Trích chọn dữ liệu từ những kho dữ liệu và sau đó chuyển đổi về dạng thích hợp cho quá trình khai thác tri thức.

Quá trình này bao gồm cả việc xử lý với dữ liệu nhiễu (noisy data), dữ liệu không đầy đủ (incomplete data),. c) Khai thác dữ liệu (data mining): tìm kiếm, khám phá tri thức từ dữ liệu đã đƣợc trích chọn trong bƣớc hai. Bƣớc này – tuỳ theo từng bài toán – sẽ áp dụng những kỹ thuật khác nhau mà chúng ta sẽ làm quen trong các phần sau. d) Đánh và giá diễn biến tri thức (knowledge evaluation & presentation): Đánh giá và biểu diễn tri thức vừa khai thác đƣợc trong bƣớc ba sang dạng gần gũi với ngƣời dùng hơn để sẵn sàng cho việc sử dụng.

3- Phân loại các hệ thống Data Mining Data Mining là một công nghệ tri thức liên quan đến nhiều lĩnh vực nghiên cứu khác nhau nhƣ cơ sở dữ liệu, học máy (machine learning), giải thuật trực quan hoá. Chúng ta có thể phân loại các hệ thống Data Mining dựa trên các tiêu chí khác nhau sau đây : (LUAN.do Phan Thị Hồng Thu Trang 6 TIEU LUAN MOI download : [e-mail] a) Phân loại dựa trên dữ liệu: cơ sở dữ liệu quan hệ (relation database), kho dữ liệu (data warehouse), cơ sở dữ liệu giao dịch (transactional database), cơ sở dữ liệu không gian (spatial database), cơ sở dữ liệu đa phƣơng tiện (multimedia database), cơ sở dữ liệu text & www,. b) Phân loại dựa trên loại tri thức khám phá: tóm tắt và mô tả (summarization & description). luật kết hợp (association rules), phân lớp (classification), phân cụm (clustering), khai phá chuỗi (sequential mining),.

c) Phân loại dựa trên kỹ thuật đƣợc áp dụng: hƣớng cơ sở dữ liệu (database-oriented), phân tích trực tuyến (Online analytical Processing – OLAP), machine learning (cây – quyết định, mạng nơ ron nhân tạo , k- mean, giải thuật di truyền, máy vectơ hỗ trợ - SVM, tập thô, tập mờ, .), trực quan hoá (visualization),. d) Phân loại dựa trên lĩnh vực đƣợc áp dụng: kinh doanh bán lẻ (retial), truyền thông (telecommunication), tin-sinh (bio-informaties) y học (medical treatment), tài chính và thị trƣờng chứng khoán (finance & stock market), Web mining,. 4- Ứng dụng của Data Mining Dễ thấy rằng Data Mining có thể ứng dụng vào mọi lĩnh vực, miễn là các dữ liệu đƣợc lƣu trữ số hoá và ngƣời sử dụng nó thực sự cần tới những thông tin tiềm ẩn trong dữ liệu. Có thể liệt kê ra đây những ứng dụng điển hình của Data Mining hiện nay trên thế giới:  Marketing  Đánh giá tổng quát  Phân tích ảnh hƣởng  Phân tích sản phẩm  Duy trì khách hàng  Dự đoán nhu cầu (LUAN.do Phan Thị Hồng Thu Trang 7 TIEU LUAN MOI download : [e-mail]  Phân tích dữ liệu và hỗ trợ ra quyết định  Dự báo trong điều trị y học  Hoá học  Vật lý học  V.do Phan Thị Hồng Thu Trang 8 TIEU LUAN MOI download : [e-mail] CHƢƠNG HAI CÁC THUẬT TOÁN PHÂN CỤM DỮ LIỆU I- KHÁI QUÁT VỀ PHÂN CỤM DỮ LIỆU 1- Phân cụm dữ liệu là gì? Phân cụm (clusteing) là quá trình nhóm một tập các đối tƣợng vật lí hoặc trừu tƣợng thành các nhóm hay các lớp đối tƣợng giống nhau.

Một cụm (cluster) là một tập đối tƣợng dữ liệu trong đó các đối tƣợng trong cùng một cluster thì giống nhau và khác các đối tƣợng thuộc cluster khác. Không giống nhƣ phân loại, ta thƣờng biết trƣớc tính chất hay đặc điểm của các đối tƣợng trong cùng một lớp và dựa vào đó để ấn định một đối tƣợng vào lớp mới.