CHƯƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ KHAI PHÁ LUẬT KẾT HỢP TRONG KINH DOANH 1. Tổng quan về khai phá dữ liệu 1. Khái niệm khai phá dữ liệu Khai phá dữ liệu như một quy tình phân tích được thiết kế để thăm dò một lượng lớn các dữ liệu nhằm phát hiện ra các mẫu thích hợp hoặc các mối quan hệ mang tính hệ thống giữa các biến và sau đó sẽ hợp thức hóa các kết quả tìm được bằng cách áp dụng các mẫu đã phát hiện cho các tập con mới của dữ liệu. Quy trình này gồm giai đoạn cơ bản: thăm dò, xây dựng mô hình hoặc định nghĩa mẫu, hợp thức, kiểm chứng.
Khai phá dữ liệu là một giai đoạn quan trọng trong quá trình khám phá tri thức. Về bản chất nó là giai đoạn duy nhất tìm ra được thông tin mới. Việc khai phá dữ liệu còn được coi như là việc khai phá tri thức từ dữ liệu, trích lọc tri thức, phân tích dữ liệu mẫu, khảo cứu dữ liệu, đào xới, nạo vét dữ liệu. Khai phá dữ liệu (Data Mining) được định nghĩa là quá trình trích lọc các thông tin có giá trị ẩn trong lượng lớn dữ liệu được lưu trữ trong các cơ sở dữ liệu hoặc các kho dữ liệu,.
Khai phá dữ liệu cũng còn được coi là một quá trình tìm kiếm, khám phá ở nhiều góc độ để tìm ra các mối tương quan, các mối liên hệ dưới nhiều góc độ khác nhau nhằm tìm ra các mẫu hay các mô hình tồn tại bên trong cơ sở dữ liệu đang bị che khuất. Để trích rút các mẫu, mô hình tiềm ẩn có tính “tri thức” ta phải tìm và áp dụng các phương pháp, kỹ thuật khai phá sao cho các kỹ thuật và phương pháp này phải phù hợp với tính chất, đặc trưng của dữ liệu và mục đích sử dụng. Tuy khai phá dữ liệu chỉ là một bước trong quá trình khám phá tri thức nhưng nó lại là bước tiên quyết, quan trọng và ảnh hưởng đến toàn bộ quá trình. Tóm lại, khai phá dữ liệu là một quá trình tìm kiếm thông tin “tri thức” tiềm ẩn trong cơ sở dữ liệu lớn, khổng lồ.
Vì thế, có thể nói rằng hai thuật ngữ khám phá tri thức và khai phá dữ liệu là tương đương nếu nói ở khía cạnh tổng quan, 3 còn nếu xét ở một góc độ chi tiết thì khai phá dữ liệu là một giai đoạn có vai trò quan trọng trong quá trình khám phá tri thức. Quy trình trong khai phá dữ liệu Quy trình khai phá dữ liệu là quá trình tìm kiếm và phân tích các mẫu, thông tin và kiến thức ẩn trong dữ liệu. Quy trình này bao gồm các bước sau đây: 1. Xác định mục tiêu: Bước này rất quan trọng để xác định rõ mục đích của việc khai phá dữ liệu, từ đó đưa ra các câu hỏi cụ thể cần giải quyết và tìm kiếm thông tin gì trong dữ liệu.
Nếu không có mục tiêu rõ ràng, quá trình khai phá dữ liệu có thể không hiệu quả và tốn thời gian. Thu thập dữ liệu: Bước này liên quan đến việc tập hợp dữ liệu từ các nguồn khác nhau, bao gồm cơ sở dữ liệu, tệp tin, hệ thống hoặc web. Việc thu thập dữ liệu phải được thực hiện một cách cẩn thận và đảm bảo tính chính xác của dữ liệu. Tiền xử lý dữ liệu: Sau khi thu thập dữ liệu, bước tiền xử lý dữ liệu cần được thực hiện để chuẩn hóa, lọc, xử lý các giá trị thiếu, đối phó với nhiễu và sự không chính xác trong dữ liệu.
Bước này giúp tăng tính chính xác và độ tin cậy của dữ liệu. Lựa chọn và áp dụng các phương pháp khai phá dữ liệu: Bước này bao gồm việc lựa chọn các phương pháp khai phá dữ liệu phù hợp để phân tích dữ liệu, tìm kiếm các mẫu, tạo ra các dự đoán hoặc phát hiện các quy luật ẩn trong dữ liệu. Các phương pháp này bao gồm rất nhiều kỹ thuật khác nhau, từ các thuật toán học máy đơn giản đến các phương pháp phân tích định lượng phức tạp hơn. Đánh giá và lựa chọn mô hình tốt nhất: Sau khi áp dụng các phương pháp khai phá dữ liệu, cần đánh giá độ chính xác của các mô hình được áp dụng và lựa chọn mô hình tốt nhất để giải quyết vấn đề đặt ra.
Đây là bước quan trọng để đảm bảo tính khả thi và độ chính xác của quy trình khai phá dữ liệu. Triển khai và thực hiện: Sau khi lựa chọn mô hình tốt nhất và đánh giá độ chính xác của nó, bước tiếp theo là triển khai và thực hiện mô hình đó vào thực tế. Quá trình này có thể bao gồm: 1. Chuyển đổi mô hình sang dạng thực tế: Nếu mô hình được tạo ra trên một nền tảng khác với môi trường thực tế, bạn có thể cần chuyển đổi mô hình sang dạng thực tế để có thể triển khai được.
Định nghĩa các tham số và tiêu chuẩn: Bạn cần định nghĩa các tham số cần thiết để triển khai mô hình và các tiêu chuẩn để đánh giá kết quả thực tế. Triển khai mô hình: Bạn có thể triển khai mô hình bằng cách sử dụng các công cụ phần mềm hoặc bằng cách xây dựng các ứng dụng riêng cho mô hình đó 4. Kiểm tra và điều chỉnh: Sau khi triển khai mô hình, bạn cần kiểm tra kết quả thực tế và điều chỉnh mô hình nếu cần thiết để tối ưu hoá kết quả. Giám sát và bảo trì: Khi mô hình đã triển khai thành công, bạn cần giám sát và bảo trì mô hình để đảm bảo nó hoạt động tốt trong thực tế và cập nhật nó khi có thay đổi trong dữ liệu hoặc yêu cầu của người dùng.
Đánh giá và kiểm tra lại: Đánh giá kết quả và kiểm tra lại quy trình khai phá dữ liệu đã thực hiện, từ đó cải thiện và nâng cao kết quả khai phá dữ liệu trong tương lai 5 Hình 1. Các bước trong DataMining & KDD 1. Ứng dụng khai phá dữ liệu Khai phá dữ liệu được ứng dụng trong nhiều lĩnh vực quan trọng, được ứng dụng trong phân tích và giải quyết các vấn đề phức tạp thông qua đó giúp tăng cường hiệu quả và hiệu suất. Một số ứng dụng của khai phá dữ liệu gồm: 1.
Phân tích hành vi khách hàng: Khai phá dữ liệu giúp phân tích hành vi khách hàng và tìm ra các mô hình tiêu thụ của họ. Những thông tin này có thể được sử dụng để tối ưu hóa quảng cáo, marketing và bán hàng, giúp tăng doanh số và lợi nhuận. Dự báo và dự đoán: Khai phá dữ liệu cũng được sử dụng để dự báo và dự đoán trong nhiều lĩnh vực, từ dự báo thời tiết đến dự đoán giá cổ phiếu. Những thông tin này giúp người dùng đưa ra quyết định thông minh và đưa ra các chiến lược hiệu quả.
Phát triển sản phẩm: Khai phá dữ liệu giúp phát hiện các nhu cầu và xu hướng của khách hàng, giúp các công ty phát triển sản phẩm mới và nâng cấp sản phẩm hiện có. Phân tích dữ liệu về tài chính: Khai phá dữ liệu về tài chính giúp phát hiện các mô hình và xu hướng trong dữ liệu tài chính, giúp đưa ra các quyết định tài chính thông minh và hiệu quả. Khai phá dữ liệu về tài chính cũng được sử dụng để dự báo và đánh giá rủi ro. Phát hiện gian lận: Khai phá dữ liệu cũng được sử dụng để phát hiện các hành vi gian lận, giúp bảo vệ các tổ chức khỏi các mối đe dọa an ninh 1.
Các kỹ thuật trong khai phá dữ liệu Từ những dữ liệu đã có, quá trình khai phá dữ liệu sẽ tìm ra các mối quan hệ giữa các dữ liệu theo một đặc điểm nào đó gọi là các tác vụ khai phá dữ liệu. Một số kỹ thuật khai phá dữ liệu như: a) Phân lớp dữ liệu (Classification) Kỹ thuật phân lớp (Classifition) là một trong những kỹ thuật quan trọng trong khai phá dữ liệu. Nó được sử dụng để phân loại các đối tượng vào các nhóm khác nhau dựa trên các thuộc tính của chúng. Các thuộc tính được sử dụng để phân lớp được gọi là đặc trưng (feature).
Quá trình phân lớp thường bắt đầu với việc sử dụng một tập dữ liệu huấn luyện (training dataset) để học một mô hình phân lớp. Mô hình này được xây dựng bằng cách tìm ra các quy tắc và mối quan hệ giữa các đặc trưng của dữ liệu để phân loại chính xác các đối tượng vào các nhóm khác nhau. Có nhiều phương pháp khác nhau để xây dựng mô hình phân lớp bao gồm: - Phân lớp bằng cây quyết định : phân lớp dựa trên việc lập nên cây quyết định và nhìn vào cây quyết định có thể tìm ra dữ liệu thuộc phân lớp nào. Ví dụ: mô hình phân lớp theo dạng cây xuất phát từ nút gốc, đi theo các nhánh cho tới nút lá (nhãn) 7 Hình 1.
Ví dụ mô hình phân lớp theo dạng cây - Phân lớp dựa trên xác suất ( Naïve Bayesian) : dựa trên việc giả định các thuộc tính độc lập mạnh với nhau qua việc sử dụng định lý Bayes. - Phân lớp dựa trên giải thuật K – Láng giềng : làm như láng giềng làm , dữ liệu sẽ được phân vào lớp của đối tượng gần với dữ liệu đó nhất. - Phân lớp bằng SVM : Phân lớp dựa trên việc tìm ra một sieeu phẳng “ tốt nhất” để tách các dữ liệu trên không gian thành nhiều chiều hơn. ví dụ SVM -Hồi quy Logistic (Logistic Regression) 8 Một số ứng dụng của Bài toán phân lớp: Phân loại email spam / không spam (nhị phân) Dự đoán giới tính hay độ tuổi của một người Dự đoán khách hàng có rời bỏ dịch vụ hay không? Phân loại tin tức thuộc thể loại nào (thời sự, thể thao, kinh tế.) Phát hiện thẻ tín dụng đang giao dịch có là gian lận hay không?.
b) Phân cụm dữ liệu (Clustering) Kỹ thuật phân cụm (Clustering): là một trong những kỹ thuật quan trọng trong khai phá dữ liệu. Nó được sử dụng để phân loại các đối tượng vào các nhóm khác nhau dựa trên sự tương đồng giữa chúng. Các đối tượng trong cùng một nhóm được coi là có tính tương đồng cao với nhau, trong khi các đối tượng trong các nhóm khác nhau thì có tính tương đồng thấp hơn. Quá trình phân cụm bắt đầu bằng cách sử dụng các thuật toán phân cụm để phân chia dữ liệu thành các nhóm khác nhau.
Các thuật toán phân cụm thường dựa trên việc tính toán độ tương đồng giữa các đối tượng trong tập dữ liệu, sau đó sử dụng các kỹ thuật phân cụm như k-means, hierarchical clustering, DBSCAN, .