Chương 1: Giới thiệu về Data Mining 1. Khai thác dữ liệu Khai thác dữ liệu (Data Mining) là quá trình tìm kiếm, trích xuất và phân tích dữ liệu từ các tập hợp dữ liệu lớn để phát hiện ra các mẫu (patterns), mối quan hệ (relationships), và thông tin hữu ích nhằm hỗ trợ việc ra quyết định. Quá trình này thường sử dụng các phương pháp toán học, thống kê, học máy và trí tuệ nhân tạo để phân tích dữ liệu. Các bước cơ bản trong khai thác dữ liệu gồm: Xác định vấn đề và mục tiêu.
Chuẩn bị dữ liệu (dọn dẹp, biến đổi dữ liệu). Khai thác dữ liệu bằng các thuật toán. Đánh giá và diễn giải kết quả. Triển khai và ứng dụng kết quả vào thực tiễn.
Lịch sử khai thác dữ liệu Khai thác dữ liệu có nguồn gốc từ các lĩnh vực như thống kê, học máy và cơ sở dữ liệu. Thập niên 1960 - 1980: Các hệ thống quản lý cơ sở dữ liệu (Database Management Systems) phát triển, cung cấp khả năng lưu trữ và truy xuất dữ liệu hiệu quả. Thập niên 1990: Khái niệm Data Mining chính thức xuất hiện như một ngành khoa học độc lập. Nhiều thuật toán và công cụ như cây quyết định, phân cụm, và mạng nơ-ron nhân tạo được áp dụng.
Từ năm 2000 đến nay: Với sự bùng nổ của dữ liệu lớn (Big Data), các công nghệ và công cụ như Hadoop, Spark, và các phương pháp học sâu (Deep Learning) đã nâng cao khả năng khai thác dữ liệu. Tại sao dùng khai thác dữ liệu Khai thác dữ liệu được sử dụng để: Dự đoán xu hướng: Phân tích dữ liệu để dự đoán hành vi hoặc kết quả tương lai, như dự báo doanh số bán hàng hay giá cổ phiếu. Phát hiện mẫu và mối quan hệ: Tìm ra các quy luật tiềm ẩn giữa các yếu tố dữ liệu, ví dụ như phân khúc khách hàng hoặc phân tích giỏ hàng. Tối ưu hóa hoạt động: Hỗ trợ ra quyết định nhanh chóng và hiệu quả hơn, giảm thiểu rủi ro và tăng cường lợi nhuận.
Ứng dụng đa ngành: Trong y tế (phát hiện bệnh), tài chính (phát hiện gian lận), bán lẻ (đề xuất sản phẩm), giáo dục (cá nhân hóa học tập), v. Khai thác dữ liệu không chỉ giúp tiết kiệm thời gian và chi phí mà còn mang lại lợi ích chiến lược trong việc hiểu và khai thác giá trị từ dữ liệu. Các công đoạn khám phá tri thức từ CSDL Quy trình khai thác dữ liệu gồm 3 công đoạn: Chuẩn bị dữ liệu: Chọn lọc dữ liệu Làm sạch dữ liệu Làm giàu dữ liệu Mã hóa dữ liệu Khai thác dữ liệu Báo cáo kết quả 12 IS252.P11_Nhom4 Hình Tại sao dùng khai thác dữ liệu.1: Quy trình khai thác dữ liệu. Ứng dụng của khai thác dữ liệu Khai thác dữ liệu được ứng dụng rộng rãi trong nhiều lĩnh vực như: Tài chính: Thu thập và phân tích dữ liệu hành vi khách hàng tăng độ trung thành của khách hàng.
Dự đoán hành vi của khách hàng để đưa ra các dịch vụ và sản phẩm thích hợp. Khám phá mối tương quan giữa các chỉ số tài chính khác nhau để tránh những rủi ro tiềm ẩn. Chăm sóc sức khỏe: Tìm ra mối quan hệ giữa các loại bệnh và hiệu quả phương pháp điều trị sẽ giúp thay đổi các loại thuốc mới hoặc đảm bảo bệnh nhân được chăm sóc phù hợp và kịp thời. Quản lý hồ sơ bệnh nhân, phân tích dữ liệu để chia bệnh nhân thành các nhóm theo các yếu tố khác nhau hoặc theo tình trạng sức khỏe.
Marketing và Sales: Giúp doanh nghiệp trích xuất thông tin quan trọng từ dữ liệu khách hàng và hành vi tiêu dùng để tối ưu hóa chiến lược tiếp thị và bán hàng.P11_Nhom4 Phân chia khách hàng thành các nhóm dựa trên các đặc điểm như độ tuổi, thu nhập hay hành vi mua sắm. Từ đó, xây dưng chiến dịch marketing tập trung vào từng nhóm cụ thể. Dự đoán sản phẩm mà khách hàng có khả năng mua hoặc thời điểm mua hàng để gợi ý sản phẩm liên quan, đưa ra chương trình khuyến mãi đúng thời điểm. Giáo dục: Dự đoán hành vi học tập của học sinh trong tương lai.
Dự đoán kết quả của học sinh để có thể đưa ra những chương trình giảng dạy phù hợp, tập trung vào những gì cần dạy và phương pháp dạy học hiệu quả hơn. Thương mại điện tử: Theo dõi và phân tích các tương tác của khách hàng trên nền tảng thương mại điện tử. Tối ưu hóa giá cả, điều chỉnh giá cả theo nhu cầu thị trường, thời gian. Dự đoán xu hướng tiêu dùng thông qua phân tích dữ liệu, để tối ưu hóa danh mục sản phẩm, đưa ra chiến dịch tiếp thị phù hợp.
Những thách thức trong khai thác dữ liệu Khai phá dữ liệu thường phải xử lý khối lượng dữ liệu lớn được thu thập từ nhiều nguồn khác nhau, bao gồm cơ sở dữ liệu, Internet, các thiết bị cảm biến, thiết bị nhận dạng, và các phương tiện lưu trữ như băng từ hay đĩa CD. Điều này đặt ra yêu cầu cao về tốc độ xử lý, trở thành yếu tố quan trọng cần ưu tiên giải quyết. Để đáp ứng nhu cầu này, hai giải pháp chính được đưa ra là cải thiện phần cứng và tối ưu hóa phần mềm. Trong đó, việc nghiên cứu và phát triển các thuật toán hiệu quả, có khả năng xử lý lượng lớn dữ liệu với độ phức tạp tính toán thấp, được coi là một hướng đi triển vọng.
Xuất phát từ thực tế này, nhiều ngành khoa học công nghệ mới đã ra đời nhằm hỗ trợ khai phá dữ liệu, chẳng hạn như tính toán song song, tính toán lưới, tính toán phân tán, máy tính lượng tử, công nghệ nano, và phát triển các mô hình, thuật toán tối ưu hóa.P11_Nhom4 Chương 2: Cơ sở lý thuyết 2. Độ tương quan giữa các thuộc tính 2. Khái niệm: Hệ số tương quan trong tiếng Anh gọi là Correlation coefficient là một chỉ số đo lường mức độ tương quan giữa hai biến số với nhau, giúp phát hiện được mối liên kết thống kê giữa chúng. Các biến số có thể là từ hai cột biến số trong bộ dữ liệu quan sát hoặc hai phần của một biến ngẫu nhiên đa biến số với phân phối đã biết trước đó.
Hệ số tương quan là một thước đo bằng số của một số loại tương quan, có nghĩa là mối quan hệ thống kê giữa hai biến số. Các biến có thể là hai cột của một tập dữ liệu quan sát đã cho, thường được gọi là mẫu, hoặc hai thành phần của một biến ngẫu nhiên đa biến có phân phối đã biết. Công thức tính độ tương quan: Phân tích tương quan giữa hai thuộc tính số x và y ➢r thuộc [-1, 1] ➢r > 0: x và y tương quan thuận với nhau, trị số của x tăng khi trị số của y tăng, r càng lớn thì mức độ tương quan càng cao, x hoặc y có thể được loại bỏ vì dư thừa. ➢r = 0: x và y không tương quan với nhau (độc lập).
➢r < 0: x và y tương quan nghịch với nhau, x và y loại trừ lẫn nhau.P11_Nhom4 Hình Công thức tính độ tương quan:.2: Hình ảnh ý nghĩa hệ số tương quan. Hệ số hồi quy tuyến tính: Phương trình hồi quy: y=b0+b1xy = b_0 + b_1 xy=b0+b1x, với: 2. Ứng dụng Dự đoán doanh thu từ chi phí quảng cáo Mô tả: Các doanh nghiệp thường phân tích mối tương quan giữa chi phí quảng cáo và doanh thu để xác định hiệu quả của chiến dịch quảng cáo. Ví dụ: Khi chi phí quảng cáo tăng, nếu hệ số tương quan 𝑟 > 0 16 IS252.P11_Nhom4 R > 0, doanh thu cũng tăng.
Doanh nghiệp có thể tăng ngân sách quảng cáo để thúc đẩy doanh thu. Thực tế: Công ty A phát hiện hệ số tương quan 𝑟 = 0.8 giữa chi phí quảng cáo và doanh thu → Chi phí quảng cáo có ảnh hưởng mạnh mẽ đến doanh thu. Phân tích rủi ro trong đầu tư tài chính Mô tả: Trong đầu tư chứng khoán, nhà đầu tư tính hệ số tương quan giữa các cổ phiếu để giảm thiểu rủi ro. Ví dụ: Nếu hai cổ phiếu 𝐴 và 𝐵 có hệ số tương quan 𝑟 > 0.9, chúng biến động cùng chiều → Không nên đầu tư vào cả hai để tránh rủi ro khi thị trường giảm.
Nếu 𝑟 < 0, hai cổ phiếu biến động ngược chiều → Kết hợp cả hai để cân bằng rủi ro. Thực tế: Quỹ đầu tư X nhận thấy cổ phiếu công ty dầu khí và cổ phiếu năng lượng tái tạo có R = −0.5, nên đầu tư vào cả hai để giảm thiểu rủi ro. Mối liên hệ giữa nhiệt độ và biến đổi khí hậu Mô tả: Nghiên cứu mối tương quan giữa nhiệt độ trung bình của trái đất và lượng khí CO2 trong khí quyển.9 : Nhiệt độ toàn cầu tăng mạnh tương ứng với lượng CO2 phát thải ngày càng tăng. Thực tế: Các nhà khoa học sử dụng hệ số tương quan để chứng minh sự nóng lên toàn cầu có liên quan chặt chẽ đến hoạt động công nghiệp.
Mối liên hệ giữa thói quen sống và bệnh tật Mô tả: Phân tích mối tương quan giữa các thói quen sống như hút thuốc lá, ăn uống, tập thể dục với nguy cơ mắc bệnh.P11_Nhom4 Hút thuốc lá và ung thư phổi có 𝑟 > 0.8, cho thấy mối quan hệ mạnh mẽ giữa hai yếu tố này. Thói quen tập thể dục và huyết áp có 𝑟 < 0, tức là tập thể dục nhiều giúp giảm huyết áp. Thực tế: Nghiên cứu ở bệnh viện chỉ ra rằng có 𝑟 = 0.9 giữa lượng đường trong máu và nguy cơ mắc bệnh tiểu đường. Tập phổ biến và luật kết hợp 2.
Khái niệm: Tập/mẫu phổ biến (frequent itemset/pattern) Cho tập mục X (⊆ I) Độ hỗ trợ của X, kí hiệu là sup(X, D), là số lượng giao dịch trong D chứa tập X: sup(X, D) = |{T|T ⊆ D và X ⊆ T}| Độ hỗ trợ tương đối của X, kí hiệu là rsup(X, D) là số phần trăm các giao dịch trong D chứa X: rsup(X, D) = sup(X, D)/|D| Tập mục X được gọi là tập phổ biến trong cơ sở giao dịch D nếu sup(X, D) >= minsup, với minsup là một ngưỡng độ hỗ trợ tối thiểu (minimum support threshold) do người dùng định nghĩa.