CHƯƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 1. Khai phá dữ liệu là gì? Khai phá dữ liệu là quá trình phân lớp, sắp xếp các tập hợp dữ liệu lớn để xác định các mẫu và thiết lập các mối liên hệ nhằm giải quyết các vấn đề nhờ phân tích dữ liệu. Các công cụ khai phá dữ liệu cho phép các doanh nghiệp có thể dự đoán được xu hướng tương lai [1][2]. Lợi ích của Khai phá dữ liệu Lợi ích chính của Khai phá dữ liệu nằm ở khả năng phát hiện các mẫu và mối liên hệ tiềm ẩn trong cơ sở dữ liệu.
Hay nói cách khác giúp ta làm chủ kho dữ liệu lớn, bằng mô hình tri thức được xây dựng dựa trên nguồn dữ liệu có sẵn, Khai phá dữ liệu đem lại nhiều giá trị như: Lịch sử bán hàng và hành vi của khách hàng có thể được sử dụng để xây dựng các mô hình dự báo doanh số, sản phẩm và dịch vụ mới cho tương lai. Các công ty trong ngành tài chính sử dụng các công cụ Khai phá dữ liệu để xây dựng các mô hình phát hiện rủi ro và gian lận. Trong Lĩnh vực sản xuất công nghiệp có thể sử dụng Khai phá dữ liệu trong việc cải thiện an toàn sản phẩm, xác định các vấn đề về chất lượng, quản lý chuỗi cung ứng và cải thiện hoạt động vận hành sản xuất.1: Lợi ích của Khai phá dữ liệu 4 1. Các bước chính trong khai phá dữ liệu Dữ liệu thực tế Tìm hiểu Tìm hiểu dữ liệu Tập hợp dữ liệu nghiệp vụ Chuẩn bị dữ liệu Làm sạch dữ liệu Triển khai Xây dựng Chuyển đổi mô hình dữ liệu Chọn lọc dữ liệu Kiểm thử & Đánh giá mô hình Dữ liệu dùng để Khai phá Hình 1.1: Các bước khai phá dữ liệu Bước 1: Tìm hiểu nghiệp vụ - Business Understanding Bước 2: Tìm hiểu dữ liệu - Data Understanding Bước 3: Chuẩn bị dữ liệu - Data preparation Việc chuẩn bị dữ liệu bao gồm các bước Dữ liệu thực tế Chuyển đổi Tập hợp dữ liệu Làm sạch dữ liệu Chọn lọc dữ liệu dữ liệu Dữ liệu dùng để Khai phá Hình 1.2: Các bước chuẩn bị data Bước 4: Xây dựng mô hình hóa - Model Building Bước 5: Kiểm thử và đánh giá mô hình - Testing and Evaluation 5 Bước 6: Triển khai - Deployment 1.
Các kỹ thuật khai phá dữ liệu Kỹ thuật phân lớp Kỹ thuật phân lớp là một trong những kỹ thuật Khai phá dữ liệu phổ biến nhất, ví dụ như: quản lý rủi ro hay lựa chọn ảnh quảng cáo nào sẽ xuất hiện đối với mỗi nhóm khách hàng, hay phân tích xem nhóm khách hàng nào có khả năng sẽ chuyển sang dùng sản phẩm dịch vụ của đối thủ cạnh tranh của công ty… Kỹ thuật phân lớp là dữ liệu được tổ chức trong các lớp cho trước, hay còn được gọi là học có quan sát. Trong kỹ thuật phân loại người ta sử dụng các nhãn lớp cho trước để sắp xếp các đối tượng. Mà trong đó, một tập huấn luyện bao gồm các đối tượng đã được kết hợp với các nhãn đã biết. Những thuật toán có quan sát sẽ được áp dụng cho tập các đối tượng cần phân loại để từ đó có thể mô hình hóa sự phân lớp của dữ liệu.
Kỹ thuật phân cụm Kỹ thuật phân cụm khác biệt với kỹ thuật phân lớp là các nhãn lớp chưa biết và không có dữ liệu huấn luyện. Đối tượng được phân cụm dựa trên các thuộc tính tương đồng giữa chúng. Bài toán phân cụm còn hay được gọi là học không có giám sát. Kỹ thuật phân tích luật kết hợp Kỹ thuật phân tích luật kết hợp, hay còn gọi là kỹ thuật phân tích giỏ hàng bởi vì nó thường được sử dụng rộng rãi trong phân tích các giao dịch dữ liệu, các bài toán lựa chọn hàng hóa đi kèm… Kỹ thuật phân tích luật kết hợp khám phá ra các luật kết hợp thể hiện mối liên hệ giữa các thuộc tính dữ liệu mà thường xuất hiện cùng nhau trong các tập dữ liệu.
Kỹ thuật bài toán hồi quy Kỹ thuật hồi quy cũng tương tự như kỹ thuật phân lớp. Điểm khác biệt là hồi quy dự đoán cho các dữ liệu liên tục. Kỹ thuật dự đoán Dự đoán là phần quan trọng của KHAI PHÁ DỮ LIỆU. Có hai loại dự đoán chính: Dự đoán về một số giá trị dữ liệu chưa biết hay có xu hướng sắp xảy ra 6 Dự đoán để phân lớp dựa trên (một tập huấn luyện và giá trị thuộc tính) của đối tượng.
Kỹ thuật phân tích chuỗi Là kỹ thuật để tìm ra các mẫu trong một loạt các giá trị hay trạng thái rời rạc. Ví dụ: việc chọn mua hàng hóa của khách hàng có thể mô hình là một chuỗi dữ liệu. Hành động chọn mặt hàng A, sau đó chọn mặt hàng B, C… là một chuỗi các trạng thái rời rạc. Trong khi đó thời gian lại là chuỗi số liên tục.
Phân tích chuỗi (PTC) và phân tích luật kết hợp (PTLKH) giống nhau ở chỗ đều phân tích tập hợp các đối tượng hay trạng thái. Điểm khác biệt là mô hình chuỗi phân tích sự chuyển của các trạng thái, trong khi mô hình luật kết hợp thì coi mỗi một mặt hàng trong giỏ hàng là như nhau và độc lập. Với mô hình chuỗi, thì việc chọn mặt hàng A trước mặt hàng B hay việc chọn mặt hàng B trước A sau là khác nhau. Còn ở mô hình kết hợp thì cả hai trường hợp đều không khác nhau.
Kỹ thuật phân tích độ lệch Kỹ thuật này còn được gọi theo cách khác là phát hiện điểm biên. Điểm biên là những đối tượng dữ liệu mà không tuân theo các đặc tính và hành vi chung. Bài toán phát hiện điểm biên ứng dụng rất nhiều trong các ứng dụng. Điển hình ứng dụng quan của bài toán phát hiện điểm biên là bài toán kiểm tra xác nhận thẻ tín dụng… 1.
Các thuật toán phân lớp Rừng ngẫu nhiên - Random Forest Định nghĩa: Phân lớp rừng ngẫu nhiên là một công cụ ước tính phù hợp với một số cây quyết định trên các mẫu dữ liệu con khác nhau và sử dụng trung bình để cải thiện độ chính xác dự đoán của mô hình và kiểm soát sự phù hợp quá mức. Cỡ mẫu phụ luôn giống với cỡ mẫu đầu vào ban đầu nhưng các mẫu được vẽ thay thế. Ưu điểm: Giảm phân lớp rừng phù hợp quá mức và ngẫu nhiên là chính xác hơn so với cây quyết định trong hầu hết các trường hợp. Nhược điểm: Dự đoán thời gian thực chậm, khó thực hiện và thuật toán phức tạp.
7 Hồi quy logistic - Logistic Regression Hồi quy logistic là đối tác phân loại với hồi quy tuyến tính. Dự đoán được ánh xạ từ 0 đến 1 thông qua hàm logistic , có nghĩa là dự đoán có thể được hiểu là xác suất của lớp. Bản thân các mô hình vẫn là "tuyến tính", vì vậy chúng hoạt động tốt khi các lớp của bạn có thể phân tách tuyến tính (nghĩa là chúng có thể được phân tách bằng một bề mặt quyết định duy nhất). Hồi quy logistic cũng có thể được thường xuyên hóa bằng cách xử phạt các hệ số với cường độ hình phạt có thể điều chỉnh.
Điểm mạnh: Đầu ra có một diễn giải xác suất tốt và thuật toán có thể được thường xuyên hóa để tránh bị quá mức. Các mô hình logistic có thể được cập nhật dễ dàng với dữ liệu mới bằng cách sử dụng gốc dốc ngẫu nhiên. Điểm yếu: Hồi quy logistic có xu hướng hoạt động kém khi có nhiều ranh giới quyết định phi tuyến tính. Họ không đủ linh hoạt để tự nhiên nắm bắt các mối quan hệ phức tạp hơn.
Cây quyết định - Decision tree Cây hồi quy (còn gọi là cây quyết định) học theo kiểu phân cấp bằng cách liên tục chia dữ liệu của bạn thành các nhánh riêng biệt để tối đa hóa mức tăng thông tin của mỗi lần phân tách.Cấu trúc phân nhánh này cho phép cây hồi quy tự nhiên học các mối quan hệ phi tuyến tính. Các phương thức của bộ đồng phục, chẳng hạn như Rừng ngẫu nhiên (RF) và Cây tăng cường Gradient (GBM), kết hợp các dự đoán từ nhiều cây riêng lẻ. Chúng ta sẽ không đi sâu vào cơ học cơ bản của chúng ở đây, nhưng trên thực tế, RF thường hoạt động rất tốt trong khi GBM khó điều chỉnh hơn nhưng có xu hướng có hiệu suất cao hơn. Điểm mạnh: Cây quyết định có thể học các mối quan hệ phi tuyến tính và khá mạnh mẽ đối với các ngoại lệ.
Bộ sưu tập thực hiện rất tốt trong thực tế, chiến thắng nhiều cuộc thi học máy cổ điển (tức là không học sâu). Điểm yếu: Không bị giới hạn, các cây riêng lẻ dễ bị quá mức vì chúng có thể tiếp tục phân nhánh cho đến khi chúng ghi nhớ dữ liệu đào tạo. Tuy nhiên, điều này có thể được giảm bớt bằng cách sử dụng các bản hòa tấu. 8 Phân lớp sác xuất - Navie Bayes Naive Bayes là một thuật toán rất đơn giản dựa trên xác suất và số đếm có điều kiện.
Về cơ bản, mô hình của bạn thực sự là một bảng xác suất được cập nhật thông qua dữ liệu đào tạo của bạn. Để dự đoán một quan sát mới, bạn chỉ cần "tra cứu" xác suất của lớp trong "bảng xác suất" dựa trên các giá trị tính năng của nó. Nó được gọi là "ngây thơ" bởi vì giả định cốt lõi của nó về sự độc lập có điều kiện (tức là tất cả các tính năng đầu vào là độc lập với nhau) hiếm khi đúng trong thế giới thực. Điểm mạnh: Mặc dù giả định độc lập có điều kiện hiếm khi đúng, các mô hình Navie Bayes thực sự hoạt động tốt một cách đáng ngạc nhiên trong thực tế, đặc biệt là vì chúng đơn giản như thế nào.
Chúng rất dễ thực hiện và có thể mở rộng quy mô với tập dữ liệu của bạn. Điểm yếu: Do tính đơn giản tuyệt đối của chúng, các mô hình NB thường bị đánh bại bởi các mô hình được đào tạo và điều chỉnh đúng cách bằng các thuật toán trước được liệt kê. Máy véc-tơ hỗ trợ - Supper Vector Machine (SVM) Các máy véc-tơ hỗ trợ (SVM) sử dụng một cơ chế gọi là hạt nhân , về cơ bản tính khoảng cách giữa hai quan sát. Thuật toán SVM sau đó tìm thấy một ranh giới quyết định tối đa hóa khoảng cách giữa các thành viên gần nhất của các lớp riêng biệt.
Ví dụ, một SVM với đường tuyến tính tương tự như hồi quy logistic.