Mở đầu: Tính cấp thiết của đề tài, nội dung và phương pháp nghiên cứu. Khai phá dữ liệu. - Dữ liệu và khai phá dữ liệu - Một số thuật toán khai phá dữ liệu - Phân tích tương quan - Phân tích dữ liệu trực tuyến Chương 2. Nhu cầu phân tích dữ liệu đào tạo tại trường CĐSP Hưng Yên.
Trình bày hiện trạng ứng dụng CNTT và nhu cầu phân tích dữ liệu tại trường CĐSP Hưng Yên. Phân tích dữ liệu đào tạo tại trường CĐSP Hưng Yên. - Dữ liệu đào tạo LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3 - Thể hiện dữ liệu đào tạo - Chuẩn hoá và rời rạc hoá dữ liệu - Cài đặt chương trình - Kết quả Phần kết luận. Tổng kết những kết quả đạt được trong nghiên cứu lí luận và thực tiễn của đề tài từ đó đưa ra một số đề xuất và đề ra hướng nghiên cứu tiếp theo.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4 Chƣơng 1. KHAI PHÁ DỮ LIỆU Giới thiệu khái niệm cơ bản về dữ liệu, khai phá dữ liệu; các thuật toán tìm các mẫu thường xuyên, sinh các luật kết hợp từ các mẫu thường xuyên; vai trò của thể hiện dữ liệu, một số mô hình phân tích dữ liệu trực tuyến. Dữ liệu và khai phá dữ liệu 1. Dữ liệu Dữ liệu là nhóm thông tin biểu diễn định tính hoặc số lượng thuộc tính của biến hoặc tập các biến.
Dữ liệu có đặc thù là các kết quả của hệ thống đo lường và có thể là các đồ thị cơ bản, các hình ảnh hoặc các quan sát của tập các biến. Dữ liệu thường được nhìn ở mức thấp của sự trừu tượng từ thông tin và tri thức nhận được. Dữ liệu thô là tập hợp của các số, ký tự, ảnh hoặc các đầu ra khác từ các thiết bị thu thập thông tin để chuyển đổi sang các ký hiệu vật lý, các ký hiệu này chưa được xử lý [18]. Dữ liệu thô là các số, ký tự, hình ảnh hay các kết quả khác của các thiết bị chuyển đổi các đại lượng vật lý thành các ký hiện.
Dữ liệu thường được xử lý tiếp bởi người hoặc đưa vào máy tính. Trong máy tính, dữ liệu được lưu trữ và xử lý tại đó hoặc được chuyển cho một người hoặc một máy tính khác. Dữ liệu thô là một thuật ngữ tương đối; việc xử lý dữ liệu thường được thực hiện theo từng bước, và "dữ liệu đã được xử lý" tại bước này có thể được coi là "dữ liệu thô" cho bước tiếp theo [17]. Có một số dạng dữ liệu đặc biệt.
Một chương trình máy tính là một tập hợp dữ liệu được hiểu là các lệnh. Hầu hết các ngôn ngữ máy tính phân biệt giữa các chương trình với các dữ liệu mà chương trình đó làm việc. Nhưng trong một số ngôn ngữ, chẳng hạn LISP (LISt Processing – xử lý danh sách) và các ngôn ngữ tương tự, các chương trình về bản chất là không thể phân biệt với các dữ liệu khác. Ngoài ra, còn có một dạng dữ liệu đặc biệt khác là dữ liệu mêta, nghĩa là một mô tả về dữ liệu khác.
Một ví dụ về dữ liệu mêta là danh mục tài liệu tại thư viện, đây là một mô tả về nội dung của các cuốn sách [17]. Tóm lại, dữ liệu là tất cả những gì có thể được xử lý hoặc được biến đổi trong quá trình tính toán.2 Khai phá dữ liệu 1.1 Khái niệm Khai phá dữ liệu là việc sử dụng dữ liệu đã có để khám phá những qui tắc và cải thiện những quyết định trong tương lai [12]. Khai phá dữ liệu, thường được xem là việc khám phá tri thức trong các cơ sở dữ liệu, là một quá trình trích xuất những thông tin ẩn, trước đây chưa biết và có khả năng hữu ích, dưới dạng các qui luật, ràng buộc, qui tắc trong cơ sở dữ liệu [2, 12]. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 5 Khai phá dữ liệu như là một cách gọi khác của thuật ngữ khai phá tri thức trong CSDL.
Vì mục đích của quá trình khai phá tri thức là thông tin và tri thức có ích, nhưng đối tượng cần phải xử lý rất nhiều trong suốt quá trình khai phá tri thức lại chính là dữ liệu. Một số nhà khoa học xem khai phá dữ liệu như là một bước chính trong quá trình khai phá tri thức [13]. Tóm lại, khai phá dữ liệu là một quá trình học tri thức mới từ những dữ liệu đã thu thập được. Khai phá dữ liệu là quá trình khám phá các tri thức mới và các tri thức có ích ở dạng tiềm năng trong nguồn dữ liệu đã có [9, 11].
Các bƣớc chính của quá trình khai phá tri thức Khai phá dữ liệu như một bước trong khai phá tri thức [10]: Hình 1.1 Khai phá dữ liệu như một bước trong khai phá tri thức Bản chất của quá trình khai tri thức gồm chuỗi bƣớc lặp sau: Bước 1. Làm sạch dữ liệu: loại bỏ dữ liệu nhiễu và không nhất quán. Tích hợp dữ liệu: phối hợp các nguồn dữ liệu LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Chọn dữ liệu: dữ liệu liên quan đến việc phân tích được lấy từ CSDL.
Biến đổi dữ liệu: dữ liệu được biến đổi hoặc được thống nhất trong các dạng phù hợp cho khai phá. Khai phá dữ liệu: quy trình gồm các phương pháp thông minh được áp dụng theo một trình tự để trích các mẫu dữ liệu. Đánh giá mẫu: để xác định các mẫu thực sự quan tâm bằng việc biểu diễn tri thức dựa trên một số đơn vị đo. Biểu diễn tri thức: sử dụng các kỹ thuật biểu diễn trực quan và tri thức.
Kiến trúc của hệ thống khai phá dữ liệu Hệ thống khai phá dữ liệu thường có kiến trúc sau [10]: Hình 1.2 Kiến trúc của một hệ thống khai phá dữ liệu tiêu biểu. CSDL, KPL, các trang web, các kho thông tin: là một hoặc một tập các CSDL, KPL, các bảng tính hoặc các loại chứa thông tin khác. Làm sạch dữ liệu và các kỹ thuật tích hợp dữ liệu có thể được thực hiện trên dữ liệu. Máy chủ CSDL hoặc KPL: Chịu trách nhiệm tìm nạp dữ liệu có liên quan dựa trên yêu cầu khai phá dữ liệu của người sử dụng.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 7 Cơ sở tri thức: Tri thức được sử dụng để chỉ dẫn tìm kiếm hoặc đánh giá sự hấp dẫn của các mẫu kết quả. Tri thức có thể bao hàm khái niệm phân cấp, sử dụng để tổ chức các thuộc tính hoặc giá trị các thuộc tính trong các mức trừu tượng khác nhau. Máy KPDL: là yếu tố cần thiết cho hệ thống khai phá dữ liệu, bao gồm một tập các mô đun để thực hiện các chức năng như mô tả, kết hợp và phân tích tương quan, phân lớp, dự đoán, phân tích theo nhóm, phân tích dàn ý và phân tích tiến triển. Mô đun đánh giá mẫu: thành phần tiêu biểu này sử dụng các độ đo quan tâm và tương tác với các mô đun khai phá dữ liệu để tìm kiếm các mẫu quan tâm.
Nó có thể sử dụng các ngưỡng để lọc các mẫu đã khám phá. Mô đun đánh giá mẫu có thể được tích hợp với mô đun khai phá phụ thuộc vào việc thực hiện phương thức khai phá dữ liệu đã sử dụng. Giao diện người sử dụng: Đây là mô đun giao tiếp giữa người sử dụng và hệ thống khai phá dữ liệu. Nó cho phép người sử dụng tương tác với hệ thống bằng việc chỉ rõ truy vấn hoặc nhiệm vụ khai phá dữ liệu.
Nó cung cấp thông tin để trợ giúp tìm kiếm có trọng tâm và thực hiện khai phá dữ liệu thăm dò dựa trên các kết quả khai phá dữ liệu trung gian. Thành phần này cho phép người sử dụng duyệt qua CSDL và các lược đồ KDL hoặc cấu trúc dữ liệu, đánh giá các mẫu đã khai phá và hình dung các mẫu trong các khuôn mẫu khác. Hƣớng tiếp cận và kỹ thuật chính trong khai phá dữ liệu Một số hướng tiếp cận chính của khai phá dữ liệu được chia theo chức năng hay lớp các bài toán khác nhau [14]. Phân lớp và dự đoán: xếp đối tượng vào một trong các lớp đã biết trước.
Ví dụ: phân lớp thí sinh dự thi thành các khu vục: thành phố, thị xã, nông thôn, miền núi; HSSV vào các loại: yếu, trung bình, khá, giỏi. Phân lớp là một lĩnh vực quan trọng trong khai phá dữ liệu, phân lớp còn được gọi là học có giám sát, hướng tiếp cận này thường sử dụng một số kỹ thuật của học máy như cây quyết định, mạng nơ ron nhân tạo. Luật kết hợp: là dạng luật biểu diễn tri thức ở dạng đơn giản. Ví dụ: “Điểm thi đầu vào cao điểm → Điểm trung bình toàn khóa cao”.
Luật kết hợp có khả năng ứng dụng trong nhiều lĩnh vực khác nhau trong đó có giáo dục. Khai phá mẫu tuần tự: tương tự như khai phá luật kết hợp nhưng có thêm tính thứ tự và tính thời gian. Một luật mô tả mẫu tuần tự có dạng tiêu biểu X → Y phản ánh sự xuất hiện của biến cố X sẽ dẫn đến việc xuất hiện của biến cố tiếp theo Y. Hướng tiếp cận này có tính dự báo cao.
Phân cụm: sắp xếp các đối tượng theo từng cụm (số lượng và tên của cụm chưa biết trước). Các đối tượng được gom cụm sao cho mức độ tương tự giữa các đối tượng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 8 trong cùng một cụm là lớn nhất và mức độ tương tự giữa các đối tượng nằm trong các cụm khác nhau là nhỏ nhất. Phân cụm còn được học là học không có giám sát. Phân loại các hệ thống khai phá dữ liệu Phân loại khai phá dữ liệu dựa trên các tiêu chí khác nhau: Phân loại dựa trên kiểu dữ liệu được khai phá: CSDL quan hệ, KPL, CSDL giao tác, CSDL hướng đối tượng, CSDL không gian, CSDL đa phương tiện, CSDL văn bản … Phân loại dựa trên dạng tri thức được khai phá: tóm tắt và mô tả, luật kết hợp, phân lớp, phân cụm, khai phá chuỗi … Phân loại dựa trên lĩnh vực được áp dụng: thương mại, viễn thông, tài chính, y học, giáo dục, web mining … Phân loại dựa trên kỹ thuật được áp dụng: quy trình phân tích trực tuyến, học máy (cây quyết định, mạng nơ ron nhân tạo, K-Means, giải thuật di truyền, tập mờ, tập thô …).
Thông thường sử dụng tập mờ là thích hợp cho việc tìm hiểu sự liên quan của các mô hình dữ liệu chưa đầy đủ, tạp nhiễu, thông tin hỗn tạp và tác động của con người, từ đó có thể cung cấp giải pháp xấp xỉ nhanh hơn.