Chương 1 - Giới thiệu Chương này trình bày về nhu cầu xây dựng kho dữ liệu về điểm của sinh viên, một số hướng nghiên cứu của kho dữ liệu, mô tả ngắn gọn hướng nghiên cứu của luận văn. Chương 2 - Kho dữ liệu và các vấn đề liên quan Chương này trình bày cơ sở lý thuyết về kho dữ liệu, khai phá dữ liệu, giới thiệu bộ công cụ sử dụng để làm thực nghiệm. Chương 3 - Xây dựng kho dữ liệu về điểm của sinh viên Chương này trình bày về việc xây dựng kho dữ liệu về điểm của trường Đại học SPKT Hưng yên, thiết kế báo cáo đa chiều phục vụ cho việc ra quyết định. Chương 4 - Khai thác dữ liệu từ kho dữ liệu Chương này trình bày ứng dụng của một số thuật toán khai phá dữ liệu trong kho dữ liệu điểm của bộ công cụ BI.
Kết luận chƣơng 1 Chương này trình bày: Nhu cầu xây dựng kho dữ liệu điểm của Trường Đại học SPKT Hưng Yên. Một số hướng nghiên cứu kho dữ liệu ở Việt Nam và trên thế giới. Hướng tiếp cận của luận văn và dự kiến kết quả đạt được. Cấu trúc luận văn.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -14- Chƣơng 2 - KHO DỮ LIỆU VÀ CÁC VẤN ĐỀ LIÊN QUAN 2. Một số khái niệm về kho dữ liệu Khái niệm kho dữ liệu Theo William Inmon [1], kho dữ liệu là một bộ dữ liệu có các đặc tính: hướng chủ đề, có tính tích hợp, ổn định, dữ liệu gắn với thời gian thường được sử dụng trong các hệ thống hỗ trợ quyết định. Kho dữ liệu thường bao gồm: Một hoặc nhiều công cụ để chiết xuất dữ liệu từ các dạng cấu trúc dữ liệu khác nhau. Cơ sở dữ liệu tích hợp hướng chủ đề, ổn định được tổng hợp thông qua việc lập các bảng dữ liệu.
Một kho dữ liệu có thể được coi là một hệ thống thông tin với những thuộc tính sau: Là một cơ sở dữ liệu được thiết kế dành cho nhiệm vụ phân tích, sử dụng các dữ liệu từ các ứng dụng khác nhau. Hỗ trợ cho một số người dùng có liên quan, có sử dụng tới các thông tin liên quan. Nội dung được cập nhật thường xuyên, chủ yếu theo hình thức bổ sung thông tin. Chứa các dữ liệu trong lịch sử và hiện tại nhằm cung cấp các xu hướng thông tin.
Chứa các bảng dữ liệu có kích thước lớn. Một câu hỏi thường trả về một tập kết quả liên quan đến toàn bộ bảng và các liên kết nhiều bảng. Các đặc tính của kho dữ liệu Hƣớng chủ đề: Kho dữ liệu có thể chứa lượng dữ liệu lên tới hàng trăm Gigabyte, được tổ chức theo những chủ đề chính. Kho dữ liệu không chú trọng vào giao tác và việc xử lý giao tác.
Thay vào đó, kho dữ liệu tập trung vào việc mô hình hóa, phân tích dữ liệu nhằm hỗ trợ cho nhà quản lý ra quyết định. Do đó, các kho dữ liệu thường cung cấp một khung nhìn tương đối đơn giản bằng cách loại bớt những dữ liệu không cần thiết trong quá trình ra quyết định. Tính tích hợp: Kho dữ liệu thường được xây dựng bằng cách tổng hợp dữ liệu từ nhiều nguồn khác nhau, ví dụ các cơ sở dữ liệu, những bản ghi giao tác trực tuyến hoặc thậm chí là từ những file dữ liệu độc lập. Những dữ liệu này tiếp tục được làm sạch, chuẩn hóa để đảm bảo sự nhất quán, sau đó đưa vào kho dữ liệu.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -15- Ổn định: Dữ liệu trong kho dữ liệu thường được lưu trữ lâu dài, ít bị sửa đổi, chủ yếu dùng cho việc truy xuất thông tin nên có độ ổn định cao. Hai thao tác chủ yếu tác động tới kho dữ liệu là: nhập dữ liệu vào và truy xuất. Dữ liệu gắn với thời gian: Do có tính ổn định, kho dữ liệu thường lưu trữ dữ liệu của hệ thống trong khoảng thời gian dài, cung cấp đủ số liệu cho các mô hình nghiệp vụ, dự báo, khảo sát những chỉ tiêu cần quan tâm. Dòng dữ liệu trong kho dữ liệu [3] Do kho dữ liệu chứa lượng dữ liệu lớn, đồng thời hạn chế thao tác sửa đổi nên rất thích hợp cho việc phân tích dài hạn và báo cáo.
Các thao tác với dữ liệu của kho dữ liệu chủ yếu dựa trên cơ sở là Mô hình dữ liệu đa chiều, thường áp dụng cho các khối dữ liệu. Khối dữ liệu là trung tâm của vấn đề cần phân tích, bao gồm một hay nhiều tập sự kiện và các sự kiện được tạo ra từ nhiều chiều dữ liệu khác nhau.1 - Dòng dữ liệu trong kho dữ liệu. Đầu tiên dữ liệu được lấy trong các hệ cơ sở dữ liệu tác nghiệp, có thể ở nhiều dạng khác nhau, dữ liệu được làm sạch, chuẩn hóa rồi đưa vào kho dữ liệu, cuối cùng dữ liệu được lấy từ kho dữ liệu phục vụ cho các phân tích khác nhau. Ứng dụng của kho dữ liệu [1] Kho dữ liệu được đưa vào ba mảng ứng dụng chính.
Theo như cách khai thác truyền thống đối với cơ sở dữ liệu, kho dữ liệu được sử dụng để khai thác thông tin bằng các công cụ thực hiện truy vấn và báo cáo. Nhờ việc dữ liệu thô đã được chuyển sang thành các dữ liệu ổn định, có chất lượng nên kho dữ liệu đã giúp nâng cao kỹ thuật biểu diễn thông tin truyền thống. Với cách thứ hai, các kho dữ liệu được sử dụng để hỗ trợ cho phân tích trực tuyến (OLAP). Trong khi ngôn ngữ SQL và các công cụ xây dựng báo cáo truyền thống chỉ có thể mô tả những gì có LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -16- trong cơ sở dữ liệu thì phân tích trực tuyến có khả năng phân tích dữ liệu, xác định xem giả thuyết đúng hay sai.
Tuy nhiên, phân tích trực tuyến lại không có khả năng đưa ra được các giả thuyết. Ngoài ra, sử dụng OLAP còn giúp phân tích tổng hợp dữ liệu, đưa ra kết quả bằng các báo cáo hoặc bảng biểu trực quan. Cách thứ ba để khai thác kho dữ liệu là dựa trên các kỹ thuật khai phá dữ liệu. Đây là một phương pháp mới, đáp ứng được cả những yêu cầu trong nghiên cứu khoa học cũng như yêu cầu trong thực tiễn.
Các kết quả thu được mang nhiều tính dự báo, dự đoán, dùng trong việc xây dựng kế hoạch, chiến lược. Các lĩnh vực hiện tại áp dụng kho dữ liệu: Thương mại điện tử. Kế hoạch hoá nguồn lực doanh nghiệp. Quản lý quan hệ khách hàng.
Chăm sóc sức khỏe. Mô hình dữ liệu sử dụng trong kho Mô hình kho dữ liệu được phát sinh từ một mô hình dữ liệu tổng thể. Một mô hình dữ liệu này là một bức tranh tổng thể mà các mô hình khác có thể hoạt động trên đó. Nó được tổ chức thành các vùng theo chủ điểm, dịch vụ phân tích là phần chính của sự chia nhỏ các công việc cần được quan tâm đáp ứng nhu cầu người sử dụng.
Nếu một tổ chức không có sẵn mô hình dữ liệu tổng thể thích hợp, mô hình dữ liệu tổng thể cũ được phép dùng tiếp và bổ sung các dịch vụ phân tích mới. Một số công ty bắt đầu với một mô hình được chuẩn hóa đầy đủ cho kho dữ liệu của họ sau đó ứng dụng kĩ thuật mô hình kho dữ liệu. Một vấn đề nổi cộm trong việc thiết lập mô hình dữ liệu là không có câu trả lời đúng cho mọi tình huống. Mô hình dữ liệu kho dữ liệu có tính chủ đề, phụ thuộc vào công việc nghiệp vụ và các vấn đề nảy sinh.
Mô hình dữ liệu của kho dữ liệu có thể thiết lập theo: Sơ đồ hình sao. Lƣợc đồ dữ liệu hình sao: Sơ đồ hình sao được đưa ra lần đầu tiên bởi Dr. Ralph Kimball [1] như là một lựa chọn thiết kế cơ sở dữ liệu cho kho dữ liệu. Nó được gọi là sơ đồ hình sao bởi vì các sự kiện nằm ở trung tâm của mô hình và được bao quanh bởi các phạm vi liên quan, rất giống với các điểm của một ngôi sao.
Sơ đồ hình sao cho phép một hệ thống đối tượng có thể kết nối với nhiều đối tượng khác. Mô hình này thể hiện cách nhìn của người sử dụng về nhiều vấn đề trong tác nghiệp. Trong sơ đồ hình sao, dữ liệu được xác định và phân loại theo 2 kiểu: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -17- Các sự kiện được tổ chức thành bảng sự kiện Phạm vi, hay các chiều của dữ liệu, được tổ chức thành các bảng chiều. - Bảng sự kiện chứa các thông tin cơ sở ở mức giao tác ở trong nghiệp vụ mà các ứng dụng cần thiết.
Ví dụ, khi phân tích dữ liệu về học lực của sinh viên thì cần những dữ liệu về điểm các kỳ của sinh viên như về Điểm môn, v. Những dữ liệu này đều được lưu ở bảng sự kiện của kho dữ liệu. Tuy nhiên, trước khi các dữ liệu này được đưa vào kho dữ liệu thì cần phải chọn một trường dữ liệu nào đó thường sử dụng trong các chiều phân tích để tham chiếu và sau đó đưa vào bảng các chiều. Các sự kiện là các đại lượng số của công việc.
Các bảng sự kiện thường rất lớn, chứa hàng triệu dòng mà phần lớn là số. - Bảng chiều, ngược lại, thường là tương đối nhỏ so với các bảng sự kiện, chứa các thông tin mô tả. Đó là các bộ lọc hoặc các ràng buộc của những sự kiện ở bảng sự kiện. Bảng chiều chứa các dữ liệu cần thiết cho việc thực hiện các giao tác nghiệp vụ theo một chiều, hay phạm vi nào đó.
Ví dụ, trong ứng dụng phân tích kết quả học tập của sinh viên, bảng chiều bao gồm: thời gian, sinh viên, môn học, v.2 mô tả về một ví dụ sơ đồ hình sao. Trong sơ đồ hình sao này có ba quan hệ một-nhiều liên kết giữa các dòng trong bảng chiều với các dòng trong bảng sự kiện.2 – Sơ đồ hình sao Ƣu điểm của sơ đồ hình sao - Hỗ trợ rất đa dạng các câu truy vấn và xử lý khá hiệu quả những câu truy vấn đó. Ví dụ, khi phân tích dữ liệu ở hình 2.2, chiều thời gian có thể thực hiện khá hiệu quả mà không cần sắp xếp lại dữ liệu trong bảng các sự kiện. - Phù hợp với cách mà người sử dụng nhận và sử dụng dữ liệu và qua đó làm cho dữ liệu được hiểu trực quan hơn.