CHƯƠNG 1 TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ PHÁT HIỆN TRI THỨC "Chúng ta đang sống trong thời đại thông tin" là một câu nói phổ biến; Tuy nhiên, thực tế chúng ta đang thực sự sống trong thời đại thông tin. Terabytes hoặc petabytes dữ liệu đổ vào mạng máy tính của chúng ta, World Wide Web, và các thiết bị lưu trữ dữ liệu khác nhau mỗi ngày từ doanh nghiệp, xã hội, khoa học và kỹ thuật, y học, và gần như mọi khía cạnh khác của cuộc sống hàng ngày. Tăng trưởng bùng nổ của khối lượng dữ liệu có sẵn là kết quả của việc tin học hoá xã hội chúng ta và sự phát triển nhanh chóng của công cụ thu thập và lưu trữ dữ liệu mạnh mẽ. Các doanh nghiệp trên toàn thế giới tạo ra bộ dữ liệu khổng lồ, bao gồm cả giao dịch bán hàng, hồ sơ giao dịch chứng khoán, giới thiệu sản phẩm, chương trình khuyến mãi bán hàng, hồ sơ công ty và hiệu suất, và thông tin phản hồi của khách hàng.
Ví dụ, các cửa hàng lớn như Wal-Mart, xử lý hàng trăm triệu giao dịch mỗi tuần tại hàng ngàn chi nhánh trên khắp thế giới. Hoạt động khoa học và kỹ thuật tạo ra một lượng lớn dữ liệu một cách liên tục, từ viễn thám, quá trình đo lường, thí nghiệm khoa học, hiệu năng hệ thống, quan sát kỹ thuật và giám sát môi trường. Hệ thống đường trục viễn thông toàn cầu thực hiện hàng chục petabyte dữ liệu lưu lượng truy cập mỗi ngày. Các ngành công nghiệp y tế và sức khỏe tạo ra một lượng lớn dữ liệu từ hồ sơ y tế, theo dõi bệnh nhân, và hình ảnh y tế.
Tỷ tìm kiếm Web được hỗ trợ bởi công cụ tìm kiếm xử lý hàng chục petabyte dữ liệu hàng ngày. Cộng đồng và các phương tiện truyền thông xã hội đã trở thành nguồn dữ liệu ngày càng quan trọng, sản xuất hình ảnh kỹ thuật số và video, blog, trang web cộng đồng, và các loại mạng xã hội. Danh sách các nguồn tạo ra một lượng lớn dữ liệu là vô tận. Hiện nay, lượng dữ liệu khổng lồ này thực sự là một nguồn tài nguyên có nhiều giá trị bởi thông tin là yếu tố then chốt trong mọi hoạt động quản lý kinh doanh, phát triển sản xuất và dịch vụ… Nó giúp những người điều hành và người quản lý có hiểu biết về môi trường và tiến trình hoạt động của tổ chức mình trước khi ra quyết định để tác động đến quá trình hoạt động nhằm đạt đến mục tiêu hiệu quả và bền vững.
Khai phá dữ liệu là một lĩnh vực mới xuất hiện, nhằm tự động khai thác những 11 TIEU LUAN MOI download : skknchat@gmail.com thông tin, những trí thức có tính tiềm ẩn hữu ích từ các CSDL cho các đơn vị tổ chức doanh nghiệp… Từ đó làm thúc đẩy khả năng sản xuất, kinh doanh, cạnh tranh cho các đơn vị, tổ chức này. Các kết quả của khoa học cùng những ứng dụng thành công trong khai phá tri thức cho thấy khai phá dữ liệu là một lĩnh vực phát triển bền vững mang lại lợi ích và có nhiều triển vọng, đồng thời có ưu thế hơn hẳn so với các công cụ phân tích dữ liệu truyền thống. Hiện nay khai phá dữ liệu đã ứng dụng ngày càng rộng rãi trong các lĩnh vực như: Thương mại, tài chính, điều trị y học, viễn thông, tin sinh học, giáo dục… 1. Khái niệm về khai phá dữ liệu Khai phá dữ liệu là một hướng nghiên cứu ra đời hơn hai mươi năm trở lại đây, các kỹ thuật chính được áp dụng trong kỹ thuật này phần lớn được thừa kế từ CSDL, học máy, trí tuệ nhân tạo, lý thuyết thông tin, lý thuyết thống kê và tính toán hiệu năng cao.
Do sự phát triển nhanh của khai phá dữ liệu về phạm vi ứng dụng và phương pháp tìm ki ếm tri thức đã có nhi ều quan điểm khác nhau về khai phá dữ liệu. Tác giả xin trích dẫn một số định nghĩa về khai phá dữ liệu của những nhà nghiên cứu về khai phá dữ liệu. Tác giả Tom Mitchell [3] đã đưa ra đ ịnh nghĩa khai phá dữ liệu như sau: "Khai phá dữ liệu là việc sử dụng dữ liệu lịch sử để khám phá những quy tắc và cải thiện những quyết định trong tương lai". Chúng ta có thể tham khảo một cách tiếp cận khác, ứng dụng hơn, tác giả U.
Fayyad [4] đã phát biểu: "Khai phá dữ liệu, thường được xem là việc khám phá tri thức trong các cơ sở dữ liệu, là một quá trình trích xuất những thông tin ẩn, trước đây chưa biết và có khả năng hữu ích, dưới dạng các quy luật, ràng buộc, quy tắc trong cơ sở dữ liệu". Tuy nhiên, chúng ta có thể hiểu khai phá dữ liệu như sau: Khai phá dữ liệu là một quá trình khám phá, phát hiện những tri thức mới, tiềm ẩn hữu dụng từ những dữ liệu đã có. Khai phá dữ liệu là bước phân tích của quá trình khai phá tri thức trong CSDL hay còn gọi là KDD - Knowledge Discovery in Databases. Khai phá dữ liệu biến một lượng lớn các bộ sưu tập dữ liệu thành tri thức.
Khai phá tri thức trong CSDL là mục tiêu chính của khai phá dữ liệu, do vậy hai khái niệm khai phá dữ liệu và phát hiện tri thức được các nhà khoa học trên hai lĩnh v ực xem là tương đương nhau. Quá trình khai phá tri thức trong cơ sở dữ liệu Quá trình khai phá tri thức được tiến hành theo các bước. Bắt đầu của quá trình 12 TIEU LUAN MOI download : skknchat@gmail.com là kho dữ liệu thô và kết thúc với tri thức được chiết xuất ra [4]. Về lý thuyết thì có vẻ rất đơn giản nhưng thực sự đây là một quá trình rất khó khăn gặp phải rất nhiều vướng mắc như: quản lý các tập dữ liệu, phải lặp đi lặp lại toàn bộ quá trình.
Tập hợp dữ liệu: Tập hợp dữ liệu là bước đầu tiên trong quá trình khai phá dữ liệu. Đây là bước được khai thác trong một cơ sở dữ liệu, một kho dữ liệu và thậm chí các dữ liệu từ các nguồn ứng dụng Web. Trích lọc dữ liệu: Ở giai đoạn này dữ liệu được lựa chọn hoặc phân chia theo một số tiêu chuẩn nào đó phục vụ mục đích khai thác, ví dụ chọn tất cả những mặt hàng được bán trong ngày 25/10/2013 tại kho số 2. Làm sạch, tiền xử lý và chuẩn bị trước dữ liệu: Giai đoạn thứ ba này là giai đoạn hay bị sao lãng, nhưng th ực tế nó là một bước rất quan trọng trong quá trình khai phá dữ liệu.
Một số lỗi thường mắc phải trong khi gom dữ liệu là tính không đủ chặt chẽ, logic. Vì vậy, dữ liệu thường chứa các giá trị vô nghĩa và không có khả năng kết nối dữ liệu. Ví dụ: tuổi = 233 hoặc năm sinh = 2048. Giai đoạn này sẽ tiến hành xử lý những dạng dữ liệu không chặt chẽ nói trên.
Những dữ liệu dạng này được xem như thông tin dư thừa, không có giá trị. Bởi vậy, đây là một quá trình rất quan trọng vì dữ liệu này nếu không được “làm sạch - tiền xử lý - chuẩn bị trước” thì sẽ gây nên những kết quả sai lệch nghiêm trọng. Chuyển đổi dữ liệu: Tiếp theo là giai đoạn chuyển đổi dữ liệu, dữ liệu đưa ra có thể sử dụng và điều khiển được bởi việc tổ chức lại nó, tức là dữ liệu sẽ được chuyển đổi về dạng phù hợp cho việc khai phá bằng cách thực hiện các thao tác nhóm hoặc tập hợp… Hình 1. Quá trình phát hiện tri thức 5.
Khai phá dữ liệu: Đây là bước mang tính tư duy trong khai phá dữ liệu. Ở 13 TIEU LUAN MOI download : skknchat@gmail.com giai đoạn này nhiều thuật toán khác nhau đã đư ợc sử dụng để trích ra các mẫu từ dữ liệu. Thuật toán thường dùng là nguyên tắc phân loại, nguyên tắc kết hợp. Đánh giá các luật và biểu diễn tri thức: Ở giai đoạn này, các mẫu dữ liệu được chiết xuất ra bởi phần mềm khai phá dữ liệu.
Không phải bất cứ mẫu dữ liệu nào cũng đ ều hữu ích, đôi khi nó còn b ị sai lệch. Vì vậy, cần phải ưu tiên những tiêu chuẩn đánh giá để chiết xuất ra các tri thức cần chiết xuất ra. Đánh giá sự hữu ích của các mẫu biểu diễn tri thức dựa trên một số phép đo. Sau đó sử dụng các kỹ thuật trình diễn và trực quan hoá dữ liệu để biểu diễn tri thức khai phá được cho người sử dụng.
Trên đây là 6 giai đoạn của quá trình phát hiện tri thức, trong đó giai đoạn "khai phá dữ liệu" là giai đoạn được quan tâm nhiều nhất. Các kiểu dữ liệu có thể được khai thác trong Khai phá dữ liệu Là một công nghệ nói chung, khai phá dữ liệu có thể được áp dụng cho bất kỳ loại dữ liệu miễn là các dữ liệu có ý nghĩa cho một ứng dụng mục tiêu. Các hình thức cơ bản nhất của dữ liệu cho các ứng dụng khai phá dữ liệu là cơ sở dữ liệu, dữ liệu kho dữ liệu, và dữ liệu giao dịch. Khai phá dữ liệu cũng có thể được áp dụng cho các hình thức khác của dữ liệu (ví dụ: luồng dữ liệu, dữ liệu yêu cầu hoặc dữ liệu trình tự, biểu đồ hoặc mạng dữ liệu, dữ liệu không gian, dữ liệu văn bản, dữ liệu đa phương tiện, và dữ liệu từ WWW).
Dữ liệu từ Cơ sở dữ liệu Một hệ thống cơ sở dữ liệu, cũng được gọi là một hệ thống quản lý cơ sở dữ liệu (DBMS), bao gồm một tập hợp các dữ liệu liên quan đến nhau, được biết đến như là một cơ sở dữ liệu, và một tập hợp các chương trình phần mềm để quản lý và truy cập dữ liệu. Các chương trình ph ần mềm cung cấp cơ chế để xác định cấu trúc cơ sở dữ liệu và lưu trữ dữ liệu; để xác định và quản lý đồng thời, chia sẻ, truy cập dữ liệu hoặc phân phối; và đảm bảo tính thống nhất và bảo mật của các thông tin được lưu trữ mặc dù sự cố hệ thống hoặc nỗ lực truy cập trái phép. Một cơ sở dữ liệu quan hệ là một tập hợp các bảng, mỗi trong số đó được gán một tên duy nhất. Mỗi bảng bao gồm một tập hợp các thuộc tính (cột hoặc các lĩnh 14 TIEU LUAN MOI download : skknchat@gmail.com vực) và thường lưu trữ một lượng lớn các bộ dữ liệu (hồ sơ hoặc các hàng).
Mỗi tuple trong một bảng quan hệ đại diện cho một đối tượng xác định bởi một khóa duy nhất và được mô tả bởi một tập hợp các giá trị thuộc tính.