phần Mở đầu, Mục lục, Danh mục hình, Danh mục bảng, Kết luận, tài liệu tham khảo, luận văn được chia làm 3 phần: z -12- Phần I. Tổng quan về phát hiện tri thức và khai phá dữ liệu Phần này giới thiệu một cách tổng quát về quá trình phát hiện tri thức nói chung và khai phá dữ liệu nói riêng. Đặc biệt nhấn mạnh về kỹ thuật chính được nghiên cứu trong luận văn đó là Kỹ thuật phân cụm. Kỹ thuật phân cụm Kỹ thuật phân cụm cũng được chia làm nhiều kiểu: phân cụm phân chia, phân cụm phân cấp, phân cụm dựa trên mật độ và phân cụm dựa trên lưới.
Kết quả phân cụm học tập của sinh viên. Phần này trình bày một số kết quả đã đạt được khi tiến hành áp dụng các giải thuật khai phá dữ liệu để khai thác thông tin từ điểm học sinh của trường Cao đẳng nghề Văn Lang Hà Nội. Sự ảnh hưởng của vùng miền, của hoàn cảnh gia đình, dân tộc, đạo đức… đến kết quả học tập của học sinh, phân loại kết quả học tập để đánh giá một cách nhanh chóng nhận thức của người học. Từ đó có những điều chỉnh giảng dạy của giáo viên phù hợp với năng lực người học.
Công tác trong ngành giáo dục, nơi công nghệ thông tin được áp dụng vào công tác quản lý từ những năm rất sớm. CSDL thông tin liên quan đến lĩnh vực quản lý học sinh là một CSDL lớn chứa nhiều thông tin quý báu. Với mong muốn bước đầu áp dụng kỹ thuật khai phá dữ liệu trên CSDL của học sinh trường cao đẳng nghề Văn Lang Hà Nội, luận văn đã tập trung nghiên cứu về các kỹ thuật phân cụm dữ liệu trên CSDL học sinh. Khai phá dữ liệu là sự tìm kiếm thông tin mới, có giá trị và không tầm thường trong khối lượng dữ liệu lớn.
Nó là sự phối hợp nỗ lực của con người và máy tính, các kết quả tốt nhất nhận được bằng việc cân bằng giữa tri thức của các chuyên gia con người trong việc mô tả các vấn đề và mục đích với khả năng tìm kiếm của máy tính. TỔNG QUAN VỀ PHÁT HIỆN TRI THỨC VÀ KHAI PHÁ DỮ LIỆU Những năm 60 của thế kỷ trước, người ta đã sử dụng các công cụ tin học để tổ chức và khai thác CSDL. Cùng với sự phát triển vượt bậc của các công nghệ điện tử và truyền thông, khả năng thu nhập lưu trữ và xử lý dữ liệu cho các hệ thống tin học không ngừng được nâng cao, theo đó lượng thông tin được lưu trữ trong các bộ nhớ không ngừng được tăng lên. Theo thống kê cho thấy lượng thông tin trong các hệ thống tin học cứ sau 20 tháng lại tăng lên gấp đôi.
Cuối những năm 80 của thế kỳ 20, sự phát triển rộng khắp của các CSDL ở mọi quy mô đã tạo ra sự bùng nổ thông tin trong toàn cầu. Vào thời gian này, người ta bắt đầu đề cập đến khái niệm khủng hoảng phân tích dữ liệu tác nghiệp để cung cấp thông tin với yêu cầu chất lượng ngày càng cao cho người làm quyết định trong các tổ chức thương mại, tài chính, khoa học, giáo dục… Hiện nay lượng dữ liệu khổng lồ này thực sự là một nguồn tài nguyên có nhiều giá trị bởi thông tin là yếu tố then chốt trong mọi hoạt động quản lý kinh doanh, phát triển sản xuất và dịch vụ… Nó giúp những người điều hành và người quản lý có hiểu biết về môi trường và tiến trình hoạt động của tổ chức mình trước khi ra quyết định để tác động đến quá trình hoạt động nhằm đạt đến mục tiêu hiệu quả và bền vững. Khai phá dữ liệu là một lĩnh vực mới xuất hiện, nhằm tự động khai thác những thông tin, những trí thức có tính tiềm ẩn hữu ích từ các CSDL cho các đơn vị tổ chức doanh nghiệp…Từ đó làm thúc đẩy khả năng sản xuất, kinh doanh, cạnh tranh cho các đơn vị, tổ chức này. Các kết quả của khoa học cùng những ứng dụng thành công trong khai phá tri thức cho thấy khai phá dữ liệu là một lĩnh vực phát triển bền vững mang lại lợi ích và có nhiều triển vọng, đồng thời có ưu thế hơn hẳn so với các công cụ phân tích dữ liệu truyền thống.
Hiện nay khai phá dữ liệu đã ứng dụng ngày càng rộng rãi trong các lĩnh vực như: Thương mại, tài chính, điều trị y học, viễn thông, tin-sinh học, giáo dục… 1. Về khai phá dữ liệu Khai phá dữ liệu là một hướng nghiên cứu mới ra đời hơn một thập niên trở lại đây, các kỹ thuật chính được áp dụng trong kỹ thuật này phần lớn được thừa kế từ CSDL, học máy, trí tuệ nhân tạo, lý thuyết thông tin, lý thuyết thống kê và z -14- tính toán hiệu năng cao. Do sự phát triển nhanh của khai phá dữ liệu về phạm vi ứng dụng và phương pháp tìm kiếm tri thức đã có nhiều quan điểm khác nhau về khai phá dữ liệu. Ông Tom Mitchell [18] đã đưa ra định nghĩa khai phá dữ liệu như sau: "Khai phá dữ liệu là việc sử dụng dữ liệu lịch sử để khám phá những quy tắc và cải thiện những quyết định trong tương lai".
Với một cách tiếp cận ứng dụng hơn, ông Fayyad [15] đã phát biểu: "Khai phá dữ liệu, thường được xem là việc khám phá tri thức trong các cơ sở dữ liệu, là một quá trình trích xuất những thông tin ẩn, trước đây chưa biết và có khả năng hữu ích, dưới dạng các quy luật, ràng buộc, quy tắc trong cơ sở dữ liệu". Tuy nhiên ở mức độ trừu tượng nhất định, chúng ta định nghĩa khai phá dữ liệu : Khai phá dữ liệu là một quá trình tìm kiếm, phát hiện những tri thức mới, tiềm ẩn hữu dụng từ những dữ liệu đã thu thập được. Khai phá tri thức trong CSDL là mục tiêu chính của khai phá dữ liệu, do vậy hai khái niệm khai phá dữ liệu và phát hiện tri thức được các nhà khoa học trên hai lĩnh vực xem là tương đương nhau. Thế nhưng nếu phân chia một cách chi tiết thì khai phá dữ liệu là một bước chính trong quá trình phát hiện tri thức trong dữ liệu.
Quá trình khai phá tri thức trong cơ sở dữ liệu Quá trình khai phá tri thức được tiến hành theo các bước. Bắt đầu của quá trình là kho dữ liệu thô và kết thúc với tri thức được chiết xuất ra [2]. Về lý thuyết thì có vẻ rất đơn giản nhưng thực sự đây là một quá trình rất khó khăn gặp phải rất nhiều vướng mắc như: quản lý các tập dữ liệu, phải lặp đi lặp lại toàn bộ quá trình. Gom dữ liệu: Tập hợp dữ liệu là bước đầu tiên trong quá trình khai phá dữ liệu.
Đây là bước được khai thác trong một cơ sở dữ liệu, một kho dữ liệu và thậm chí các dữ liệu từ các nguồn ứng dụng Web. Trích lọc dữ liệu: Ở giai đoạn này dữ liệu được lựa chọn hoặc phân chia theo một số tiêu chuẩn nào đó phục vụ mục đích khai thác, ví dụ chọn tất cả những người có tuổi đời từ 25-35 và có trình độ đại học. Làm sạch, tiền xử lý và chuẩn bị trước dữ liệu: Giai đoạn thứ ba này là giai đoạn hay bị sao lãng, nhưng thực tế nó là một bước rất quan trọng trong quá trình khai phá dữ liệu. Một số lỗi thường mắc phải trong khi gom dữ liệu là tính không đủ chặt chẽ, logic.
Vì vậy, dữ liệu thường chứa các giá trị vô z -15- nghĩa và không có khả năng kết nối dữ liệu. Giai đoạn này sẽ tiến hành xử lý những dạng dữ liệu không chặt chẽ nói trên. Những dữ liệu dạng này được xem như thông tin dư thừa, không có giá trị. Bởi vậy, đây là một quá trình rất quan trọng vì dữ liệu này nếu không được “làm sạch-tiền xử lý-chuẩn bị trước” thì sẽ gây nên những kết quả sai lệch nghiêm trọng.
Chuyển đổi dữ liệu: Tiếp theo là giai đoạn chuyển đổi dữ liệu, dữ liệu đưa ra có thể sử dụng và điều khiển được bởi việc tổ chức lại nó, tức là dữ liệu sẽ được chuyển đổi về dạng phù hợp cho việc khai phá bằng cách thực hiện các thao tác nhóm hoặc tập hợp… Hình 1. Quá trình phát hiện tri thức 5. Khai phá dữ liệu: Đây là bước mang tính tư duy trong khai phá dữ liệu. Ở giai đoạn này nhiều thuật toán khác nhau đã được sử dụng để trích ra các mẫu từ dữ liệu.
Thuật toán thường dùng là nguyên tắc phân loại, nguyên tắc kết hợp. Đánh giá các luật và biểu diễn tri thức: Ở giai đoạn này, các mẫu dữ liệu được chiết xuất ra bởi phần mềm khai phá dữ liệu. Không phải bất cứ mẫu dữ liệu nào cũng đều hữu ích, đôi khi nó còn bị sai lệch. Vì vậy, cần phải ưu tiên những tiêu chuẩn đánh giá để chiết xuất ra các tri thức cần chiết xuất ra.
Đánh giá sự hữu ích của các mẫu biểu diễn tri thức dựa trên một số phép đo. Sau đó sử dụng các kỹ thuật trình diễn và trực quan hoá dữ liệu để biểu diễn tri thức khai phá được cho người sử dụng. z -16- Trên đây là 6 giai đoạn của quá trình phát hiện tri thức, trong đó giai đoạn " khai phá dữ liệu" là giai đoạn được quan tâm nhiều nhất. Các kỹ thuật khai phá dữ liệu Hình 1.
2 biểu diễn một tập dữ liệu giả hai chiều bao gồm 23 trường hợp. Mỗi một điểm trên hình đại diện cho một người vay tiền ngân hàng tại một số thời điểm trong quá khứ. Dữ liệu được phân loại vào hai lớp: những người không có khả năng trả nợ và những người tình trạng vay nợ đang ở trạng thái tốt (tức là tại thời điểm đó có khả năng trả nợ ngân hàng). Hai mục đích chính của khai phá dữ liệu trong thực tế là dự đoán và mô tả.
Tập dữ liệu với 2 lớp : có và không có khả năng trả nợ 1. Khai phá dữ liệu dự đoán Nhiệm vụ của khai phá dữ liệu dự đoán là đưa ra các dự đoán dựa vào các suy diễn trên dữ liệu hiện thời. Nó sử dụng các biến hay các trường trong cơ sở dữ liệu để dự đoán các giá trị không biết hay các giá trị tương lai. Bao gồm các kĩ thuật: phân loại, hồi quy.
Phân loại Mục tiêu của phương pháp phân loại dữ liệu là dự đoán nhãn lớp cho các mẫu dữ liệu. Quá trình phân loại dữ liệu thường gồm 2 bước: Xây dựng mô hình và sử dụng mô hình để phân loại dữ liệu. Xây dựng mô hình dựa trên việc phân tích các mẫu dữ liệu cho trước.