Mở đầu: Giới thiệu về đề tài luận văn, tính thiết thực của đề tài. Trình bày về khai phá dữ liệu, kho dữ liệu - Các khái niệm, kỹ thuật khai phá dữ liệu; ứng dụng khai phá dữ liệu - Kho dữ liệu, kiến trúc kho dữ liệu, các lược đồ kho dữ liệu - Phân tích dữ liệu trực tuyến Chương 2. Trình bày về các kỹ thuật dự báo công nợ, tổn thất LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 12 - Các khái niệm về chuỗi thời gian, dữ liệu chuỗi thời gian - Các kỹ thuật tìm kiếm trên dữ liệu chuỗi thời gian - Thuật toán dự đoán ART trên dữ liệu chuỗi thời gian Chương 3. Xây dựng hệ thống dự đoán công nợ, tổn thất ngành điện - Giới thiệu về hệ thống thông tin ngành điện, các mô hình tổ chức, mô hình dữ liệu ngành điện - Thiết kế dữ liệu cho hệ thống - Thiết kế mô hình khai phá dữ liệu công nợ, tổn thất - Cài đặt chương trình, giới thiệu các chức năng chính của hệ thống, mục đích của các chức năng Kết luận.
Tổng kết những kết quả đạt được qua quá trình hoàn thành đề tài luận văn; đề ra hướng phát triển, hoàn thiện cho hệ thống dự đoán công nợ, tổn thất ngành điện. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 13 CHƢƠNG 1. KHAI PHÁ DỮ LIỆU 1. Khái niệm về khai phá dữ liệu Trong thời đại ngày nay, với sự phát triển vượt bậc của công nghệ lưu trữ thông tin, các hệ thống thông tin có thể chứa một khối lượng lớn dữ liệu theo thời gian của nhiều dạng đối tượng khác nhau.
Từ những dữ liệu này, các kỹ thuật trong khai phá dữ liệu và máy học có thể dùng để trích xuất những thông tin hữu ích mà chúng ta chưa biết. Các tri thức vừa học được có thể vận dụng để cải thiện hiệu quả hoạt động của chính hệ thống thông tin ban đầu. Khai phá dữ liệu là một khái niệm ra đời vào những năm cuối của thập kỷ 1980. Nó là quá trình khám phá thông tin ẩn được tìm thấy trong các cơ sở dữ liệu và có thể xem như là một bước trong quá trình khám phá tri thức.
Trong tiến trình khai phá tri thức từ cơ sở dữ liệu, khai phá dữ liệu là giai đoạn quan trọng nhất, các tri thức này hỗ trợ trong việc ra quyết định trong khoa học và kinh doanh. Khai phá dữ liệu là việc sử dụng dữ liệu lịch sử để khám phá những qui tắc và cải thiện những quyết định trong tương lai. Khai phá dữ liệu, cũng được xem là việc khám phá tri thức trong các cơ sở dữ liệu, là một quá trình trích xuất những thông tin ẩn, trước đây chưa biết và có khả năng hữu ích, dưới dạng các qui luật, ràng buộc, qui tắc trong cơ sở dữ liệu. Nói tóm lại, khai phá dữ liệu là một quá trình học tri thức mới từ những dữ liệu đã thu thập được, là quá trình khám phá các tri thức mới và các tri thức có ích ở dạng tiềm năng trong nguồn dữ liệu đã có.
Các bước chính trong quá trình khai phá tri thức Hình 1.1 Các bước chính trong quá trình khai phá tri thức Bắt đầu của quá trình là kho dữ liệu thô và kết thúc với tri thức được chiết xuất ra. Về lý thuyết thì có vẻ rất đơn giản nhưng thực sự đây là một quá trình rất khó khăn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 14 gặp phải rất nhiều vướng mắc như: quản lý các tập dữ liệu, phải lặp đi lặp lại toàn bộ quá trình,. Bước 1 - Gom dữ liệu: Tập hợp dữ liệu là bước đầu tiên trong quá trình khai phá dữ liệu. Đây là bước được khai thác trong một cơ sở dữ liệu, một kho dữ liệu, file dữ liệu và thậm chí các dữ liệu từ các nguồn ứng dụng Web.
Bước 2 - Trích lọc dữ liệu: Ở giai đoạn này dữ liệu được lựa chọn hoặc phân chia theo một số tiêu chuẩn nào đó, ví dụ chọn tất cả những khách hàng sử dụng điện thuộc điện lực Hai Bà Trưng, có mục đích sử dụng điện là kinh doanh, điện tiêu thụ lớn hơn 5000KW/tháng. Bước 3 - Làm sạch, tiền xử lý và chuẩn bị trước dữ liệu: Giai đoạn thứ ba này là giai đoạn hay bị sao lãng, nhưng thực tế nó là một bước rất quan trọng trong quá trình khai phá dữ liệu. Một số lỗi thường mắc phải trong khi gom dữ liệu là tính không đủ chặt chẽ, logic. Vì vậy, dữ liệu thường chứa các giá trị vô nghĩa, gây nhiễu và không có khả năng kết nối dữ liệu.
Giai đoạn này sẽ tiến hành xử lý những dạng dữ liệu không chặt chẽ nói trên. Những dữ liệu dạng này được xem như thông tin dư thừa, không có giá trị. Bởi vậy, đây là một quá trình rất quan trọng vì dữ liệu này nếu không được “làm sạch - tiền xử lý - chuẩn bị trước” thì sẽ gây nên những kết quả sai lệch nghiêm trọng. Bước 4 - Chuyển đổi dữ liệu: Tiếp theo là giai đoạn chuyển đổi dữ liệu, dữ liệu đưa ra có thể sử dụng và điều khiển được bởi việc tổ chức lại nó.
Dữ liệu đã được chuyển đổi phù hợp với mục đích khai thác. Bước 5 - Phát hiện và trích mẫu dữ liệu (khai phá dữ liệu): Đây là bước mang tính tư duy trong khai phá dữ liệu. Ở giai đoạn này nhiều thuật toán khác nhau đã được sử dụng để trích ra các mẫu từ dữ liệu. Thuật toán thường dùng là nguyên tắc phân loại, nguyên tắc kết hợp hoặc các mô hình dữ liệu tuần tự,.
Bước 6 - Đánh giá các luật và biểu diễn tri thức: Đây là giai đoạn cuối trong quá trình khai phá dữ liệu. Ở giai đoạn này, các mẫu dữ liệu được chiết xuất ra bởi phần mềm khai phá dữ liệu. Không phải bất cứ mẫu dữ liệu nào cũng đều hữu ích, đôi khi nó còn bị sai lệch. Vì vậy, cần phải ưu tiên những tiêu chuẩn đánh giá để chiết xuất ra các tri thức cần chiết xuất ra.
Trên đây là 6 giai đoạn trong quá trình khai phá tri thức, trong đó giai đoạn 5 là giai đoạn được quan tâm nhiều nhất hay còn gọi đó là khai phá dữ liệu (Data Mining). Kiến trúc của hệ thống khai phá dữ liệu Hệ thống khai phá dữ liệu có kiến trúc như sau: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 15 Giao diện người sử dụng Đánh giá mẫu Máy khai phá dữ liệu Cơ sở tri thức CSDL hoặc kho dữ liệu Làm sạch, tích hợp, chọn Hình 1.2 Kiến trúc hệ thống khai phá dữ liệu. Giải thích hình vẽ: CSDL, kho dữ liệu, các kho thông tin khác là những dữ liệu nguồn cho ứng dụng khai phá dữ liệu. Dữ liệu nguồn có thể bao gồm thông tin về nhiều lĩnh vực khác nhau, được lưu trữ trong hệ quản trị CSDL hoặc đơn giản là ở các dạng file như excel, html.
Để có thể sử dụng được những nguồn dữ liệu này cần có bước làm sạch với mục đích loại bỏ các dữ liệu dư thừa, thông tin gây nhiễu. Các dữ liệu sau khi được làm sạch được lựa chọn và tích hợp thành bộ dữ liệu chuẩn. CSDL hoặc kho dữ liệu: lưu thông tin đã được chuẩn hoá phục vụ cho máy khai phá dữ liệu. Cơ sở tri thức: Được sử dụng để chỉ dẫn tìm kiếm hoặc đánh giá sự hấp dẫn của các mẫu kết quả.
Tri thức có thể bao hàm khái niệm phân cấp, sử dụng để tổ chức các thuộc tính hoặc giá trị các thuộc tính trong các mức trừu tượng khác nhau. Cơ sở tri thức cũng có thể được hiểu là các siêu dữ liệu trong hệ thống khai phá dữ liệu. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 16 Máy khai phá dữ liệu: Bao gồm các mô đun được cài đặt nhằm phân tích độ tương quan, đánh giá, phân loại, gom nhóm,… các dữ liệu. Kết hợp với cơ sở dữ liệu tri thức để tìm ra các quy luật mới của dữ liệu.
Mô đun đánh giá mẫu: thành phần tiêu biểu này sử dụng các độ đo quan tâm và tương tác với các mô đun khai phá dữ liệu để tìm kiếm các mẫu quan tâm. Nó có thể sử dụng các ngưỡng để lọc các mẫu đã khám phá. Mô đun đánh giá mẫu có thể được tích hợp với mô đun khai phá phụ thuộc vào việc thực hiện phương thức khai phá dữ liệu đã sử dụng. Giao diện người sử dụng: Đây là mô đun giao tiếp giữa người sử dụng và hệ thống khai phá dữ liệu.
Nó cho phép người sử dụng tương tác với hệ thống bằng việc chỉ rõ truy vấn hoặc nhiệm vụ khai phá dữ liệu. Nó cung cấp thông tin để trợ giúp tìm kiếm có trọng tâm và thực hiện khai phá dữ liệu thăm dò dựa trên các kết quả khai phá dữ liệu trung gian. Thành phần này cho phép người sử dụng duyệt qua CSDL và các lược đồ kho dữ liệu hoặc cấu trúc dữ liệu, đánh giá các mẫu đã khai phá và hình dung các mẫu trong các khuôn mẫu khác. Hướng tiếp cận và kỹ thuật chính trong khai phá dữ liệu Một số hướng tiếp cận chính của khai phá dữ liệu là: 1.
Phân lớp và dự đoán: xếp đối tượng vào một trong các lớp đã biết trước. Ví dụ: phân lớp các khách hàng sử dụng điện theo vùng, miền địa lý: thành phố, quận, phường, tổ; đồng bằng, miền núi; miền bắc, miền trung, miền Nam. Phân lớp điện năng sử dụng theo các giờ sử dụng điện: cao điểm sáng, cao điểm trưa, cao điểm tối.v… Hướng tiếp cận phân lớp còn được gọi là học có giám sát thường sử dụng một số kỹ thuật của học máy như cây quyết định, mạng nơron nhân tạo. Luật kết hợp: là dạng luật biểu diễn tri thức ở dạng tương đối đơn giản.
Ví dụ: khách hàng sử dụng điện với mục đích sản xuất, kinh doanh sử dụng điện nhiều. Luật kết hợp có khả năng ứng dụng trong nhiều lĩnh vực khác nhau: điện, viễn thông,. Khai thác mẫu tuần tự: Tương tự như khai thác luật kết hợp nhưng có thêm tính thứ tự và tính thời gian. Một luật mô tả mẫu tuần tự có dạng tiêu biểu XY, phản ánh sự xuất hiện của biến cố X sẽ dẫn đến việc xuất hiện biến cố Y.
Hướng tiếp cận này có tính dự báo cao. Ví dụ: sản lượng điện tiêu thụ của khách hàng đạt đỉnh vào tháng 7 hằng năm, số tiền điện khách hàng nợ đạt đỉnh vào tháng 2 hằng năm. Phân cụm: Sắp xếp các đối tượng theo từng cụm (số lượng và tên của cụm chưa được biết trước).