CHƯƠNG 1. KHAI PHÁ DỮ LIỆU VÀ CÁC HỆ THỐNG RA QUYẾT ĐỊNH 1.Tổng quan về khai phá dữ liệu 1. Động cơ của việc khai phá dữ liệu Trong một vài thập kỉ trở lại đây, khả năng tạo sinh và lưu trữ dữ liệu của con người đã tăng lên cực kì nhanh chóng. Lượng dữ liệu khổng lồ được lưu trữ đã dẫn đến việc đòi hỏi cấp bách những kĩ thuật mới, những công cụ tự động thông minh trợ giúp cho con người trong việc chuyển đổi một lượng lớn dữ liệu thành những thông tin hữu ích và tri thức.
Khai phá dữ liệu (Nguồn: https://viblo.asia) Khai phá dữ liệu là công việc trích rút tri thức một cách tự động và hiệu quả từ một khối lượng dữ liệu rất lớn. Tri thức đó thường ở dạng các mẫu có tính chất không tầm thường, không tường minh, chưa được biết đến và có tiềm năng mang lại lợi ích. Có một số nhà nghiên cứu còn gọi khai phá dữ liệu là phát hiện tri thức trong cơ sở dữ liệu. Ở đây chúng ta sẽ xem khai phá dữ liệu là cốt lõi của quá trình phát hiện tri thức.
Quá trình phát hiện tri thức bao gồm các bước: 1. Làm sạch dữ liệu: ở bước này các nhiễu và dữ liệu không nhất quán sẽ được loại bỏ. Tích hợp dữ liệu: dữ liệu từ nhiều nguồn khác nhau có thể được tổ hợp lại. Lựa chọn dữ liệu: những dữ liệu thích hợp với nhiệm vụ phân tích sẽ được Luan van 7 trích rút ra từ CSDL.
Chuyển đổi dữ liệu: dữ liệu sau khi được chọn lọc sẽ được chuyển đổi hay hợp nhất về dạng thích hợp cho việc khai phá. Khai phá dữ liệu: đây là quá trình cốt lõi, tất yếu trong đó các phương pháp thông minh sẽ được áp dụng nhằm trích rút ra các mẫu dữ liệu. Đánh giá mẫu: các nhà phân tích dữ liệu sẽ dựa trên một số độ đo nào đó để xác định lợi ích thực sự, độ quan trọng của các mẫu biểu diễn tri thức. Biểu diễn tri thức: ở giai đoạn này các kĩ thuật biểu diễn và hiển thị tri thức sẽ được sử dụng để đưa tri thức đã lấy ra đến người dùng.
Kiến trúc khai phá dữ liệu (Nguồn: https://viblo.asia) Việc khai phá dữ liệu có thể được tiến hành trên một lượng lớn dữ liệu có trong các CSDL, các kho dữ liệu hoặc trong các loại lưu trữ thông tin khác. Kiến trúc của hệ thống khai phá dữ liệu Kiến trúc của một hệ thống khai phá dữ liệu điển hình như hình trên trong đó: 1. CSDL, kho dữ liệu hoặc các thông tin lưu trữ khác: đây là một hay một tập các CSDL, các kho dữ liệu, các trang tính hay các dạng khác của thông tin được lưu trữ. Các kĩ thuật làm sạch hoặc tích hợp dữ liệu có thể được thực hiện.
Máy chủ CSDL hay máy chủ kho dữ liệu: máy chủ này có nhiệm vụ lấy được những dữ liệu thích hợp dựa trên nhưng yêu cầu khai phá của người dùng. Cơ sở tri thức: đây là miền tri thức được dùng để tìm kiếm hay đánh giá độ quan Luan van 8 trọng của các mầu kết quả. Tri thức này có thể bao gồm một sự phân cấp khái niệm dùng để tổ chức các thuộc tính hay các giá trị thuộc tính ở các mức trừu tượng khác nhau. Máy khai phá dữ liệu: một hệ thống khai phá dữ liệu cần phải có một tập các module chức năng để có thể thực hiện được công việc, chẳng hạn như đặc trưng hóa, kết hợp, phân lớp, phân cụm, phân tích sự tiến hóa hoặc sự chệch hướng.
Module đánh giá mẫu: bộ phận này tương tác với các module khai phá dữ liệu để tập trung vào việc duyệt tìm các mẫu đáng tin cậy. Nó có thể dùng các ngưỡng về độ quan tâm để lọc các mẫu đã khám phá được. Giao diện người dùng: bộ phận này cho phép người dùng giao tiếp với hệ thống khai phá dữ liệu. Thông qua giao diện này người dùng tương tác với hệ thống bằng cách đặc tả một yêu cầu khai phá hay một nhiệm vụ, cung cấp thông tin giúp cho việc tìm kiếm và thực hiện khai phá đánh giá trên các kết quả khai phá trung gian.
Ngoài ra bộ phận này còn cho phép người dùng có thể xem được các lược đồ CSDL, lược đồ kho dữ liệu hay các cấu trúc dữ liệu, các đánh giá mẫu và hiển thị chúng trong các khuôn dạng mẫu khác nhau.3 Các chức năng của khai phá dữ liệu Nhìn chung các nhiệm vụ của một hệ khai phá dữ liệu có thể được phân chia thành hai loại: mô tả và dự đoán. Công việc khai phá dữ liệu loại mô tả nhằm biểu thị các đặc điểm chung của dữ liệu có trong CSDL. Công việc khai phá dữ liệu loại dự đoán nhằm thực hiện suy luận trên dữ liệu hiện tại để có thể đưa ra dự đoán. Các phương pháp khai phá dữ liệu Có nhiều phương pháp thực hiện việc khai phá dữ liệu theo [1] có các loại công cụ chính sau: 1.
Các phương pháp thống kê: Các phương pháp gồm (i) hồi qui tuyến tính và phi tuyến; (ii) đánh giá điểm; (iii) phân bố xác xuất, định lý Bayes (iv) tương quan; (v) phân tích cụm; 2. Cây quyết định: Các cây quyết định được dùng trong các phương pháp phân lớp và phân cụm. Cây quyết định tách bài toán thành những tập con cụ thể dần dần, nhờ đi từ tổng quát hóa đến đặc biệt hóa trên thông tin. Cây quyết định được xác định theo nút gốc và các nút trong.
Mỗi nút gắn với một câu hỏi. Các cung nối các nút bao trùm tất cả những khả năng hỏi dữ liệu. Mỗi câu trả lời biểu diễn một đầu ra có thể xảy ra; 3. Lập luận theo trường hợp: Sử dụng các trường hợp quá khứ, tiếp cận lập luận theo trường hợp cho phép ghi nhận các mẫu.
Chẳng hạn các khách hàng của công ty Cognitive Systems dùng tiếp cận này để trợ giúp các ứng dụng văn phòng. Một khách hàng có thư viện với 50.000 câu hỏi theo trường hợp. Các trường hợp mới có thể khớp nhanh với 50.000 mẫu trong thư viện, để trả lời câu hỏi với chính xác 90%; 4. Tính toán nơ ron: Các mạng nơ ron dùng nhiều nút nối nhau, tương tự như khớp nối trong hệ thống nơ ron của con người.
Tiếp cận này kiểm tra khối lượng lớn các dữ liệu lịch sử, để phát hiện các mẫu. Do vậy, người ta có thể duyệt cơ sở dữ liệu lớn, và phát hiện sự kiện mới, chẳng hạn các khách hàng tiềm năng đối với mặt hàng mới. Nhiều ứng dụng thuộc lĩnh vực tài chính và sản xuất; 5. Các tác nhân thông minh: Một trong những tiếp cận hứa hẹn nhất để tìm kiếm thống tin từ cơ sở dữ liệu, đặc biệt từ cơ sở dữ liệu ngoài, là dùng các tác nhân thông minh.
Trước khả năng lớn nhanh của thông tin trên Internet, việc phát hiện đúng thông tin trở nên khó hơn. Các ứng dụng khai phá dữ liệu trên Web là các tác nhân phần mềm thông minh điển hình; 6. Các thuật toán di truyền: Các thuật toán di truyền làm việc trên nguyên tắc Luan van 10 mở rộng đầu ra. Khi cho số cố định các đầu ra, thuật toán di truyền tìm để xác định các giải pháp tốt nhất.
Các thuật toán di truyền được dùng để phân cụm và phát hiện luật kết hợp; 7. Các công cụ khác: Người ta cũng dùng vài công cụ khai phá dữ liệu khác (i) suy diễn trên luật; (ii) hiển thị dữ liệu. Nhà cung cấp Web cũng cho phép phát triển các công cụ mới. Đặc trưng hóa và phân biệt Đặc trưng hóa là việc tổng kết các đặc điểm hay tính chất chung của một lớp dữ liệu đích.
Dữ liệu đó tương đương với một lớp do người dùng đặc tả bằng một truy vấn CSDL. Có một số phương pháp để tổng kết và biểu thị đặc trưng dữ liệu một cách hiệu quả. Chẳng hạn như thao tác ROLL-UP của hệ phân tích trực tuyến OLAP, dữ liệu dạng khối có thể được dùng để thực hiện tổng kết theo một chiều cụ thể dưới sự điều khiển của người dùng. Dữ liệu trả về của quá trình đặc trưng hóa có thể được biểu diễn ở những khuôn dạng khác nhau.
Ví dụ nó có thể là biểu đồ hình tròn, biểu đồ hình cột, khối dữ liệu đa chiều hay các bảng đa chiều bao gồm cả các bảng tham khảo chéo. Kết quả của quá trình khai phá mô tả cũng có thể được biểu diễn như các quan hệ tổng quát hay các luật. Phân tích sự kết hợp Phân tích sự kết hợp là việc khám phá ra các luật kết hợp trong một tập lớn dữ liệu. Các luật kết hợp thể hiện mối quan hệ giữa các giá trị thuộc tính mà ta nhận thấy được tự tần suất xuất hiện cùng với nhau.
Các luật kết hợp được khám phá từ một tập lớn các bản ghi và những tập luật có ý nghĩa có thể giúp cho các nhà doanh nghiệp ra quyết định. Phân lớp và dự đoán Phân lớp là quá trình tìm một tập các mô hình (hoặc các chức năng) mô tả và phân biệt các lớp dữ liệu. Các mô hình này sẽ được sử dụng cho mục đích dự đoán về lớp của một đối tượng. Việc xây dựng mô hình dựa trên sự phân tích một tập các Luan van 11 dữ liệu huấn luyện.
Một mô hình như vậy có thể được biểu diễn trong nhiều dạng, chẳng hạn các dạng luật phân lớp IF-THEN, cây quyết định, công thức toán hay mạng nơ-ron. Tuy sự phân lớp được sử dụng để dự đoán nhãn lớp cho các đối tượng dữ liệu, trong nhiều ứng dụng người dùng cũng có thể mong muốn dự đoán những giá trị dữ liệu khuyết thiếu nào đó. Thông thường đó là việc dự đoán các giá trị thuộc kiểu dữ liệu số. Sự dự đoán cũng bao gồm việc xác định khuynh hướng phân lọai dựa trên những dữ liệu hiện có.
Để phân lớp và dự đoán, có thể cần trước một sự phân tích thích hợp. Sự phân tích đó nhằm xác định các thuộc tính không tham gia vào quá trình phân lớp và dự đoán, chúng sẽ bị loại trừu sau bước này. Phân cụm Không giống như phân lớp và dự đoán, sự phân cụm sẽ phân tích các đối tượng dữ liệu khi chưa biết nhãn của lớp, nghĩa là nhãn của lớp không tồn tại trong quá trình huấn luyện dữ liệu. Phân cụm có thể được sử dụng để đưa ra những nhãn của lớp.
Sự phân cụm có mục đích nhóm các đối tượng lại theo nguyên tắc: 1. Các đối tượng trong cùng một nhóm giống nhau ở mức cao nhất 2.