Chương 1 Giới thiệu tổng quan Giới thiệu bài toán xây d ng và khai thác kho dữ liệu điểm tại trường Cao đẳng Sư phạm Yên Bái, trình bày một số hướng nghiên cứu về kho dữ liệu và khai phá dữ liệu hiện nay và hướng tiếp cận của luận v n Chương 2 Các kiến thức cơ sở liên quan Trình bày một số khái niệm và các kiến thức liên quan về kho dữ liệu, khai phá dữ liệu, kỹ thuật OLAP và giới thiệu công cụ sử dụng trong luận v n Chương 3 Phương pháp giải quyết bài toán Chương này trình bày về quá trình thiết kế và ứng dụng kỹ thuật OLAP để xây d ng mô hình kho dữ liệu điểm và mô hình khai phá dữ liệu. Chương 4 Phân tích kết quả khai thác kho dữ liệu Tác giả tập trung phân tích kết quả khai thác các thông tin từ kho dữ liệu điểm, nhằm trả lời cho những câu hỏi đặt ra trong công tác quản lý của nhà trường, bằng việc 11 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com đưa ra các báo cáo và áp dụng một số thuật toán khai phá dữ liệu để xây d ng mô hình d báo kết quả học tập của sinh viên. Kết luận Chương này giới thiệu về bài toán, những yêu cầu đặt ra cần giải quyết đối với bài toán xây d ng và khai thác kho dữ liệu điểm của trường Cao đẳng Sư phạm Yên Bái, đồng thời trình bày một số hướng nghiên cứu về kho dữ liệu và khai phá dữ liệu hiện nay, hướng tiếp cận và cấu trúc của luận v n 12 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chƣơng 2. Các kiến thức cơ sở liên quan 2.
Kho dữ liệu 2. Khái niệm kho dữ liệu Thuật ngữ về kho dữ liệu xuất hiện từ cuối những n m 80 của thế kỷ XX. Kho dữ liệu ra đời nảy sinh từ hai vấn đề: − Do nhu cầu nghiệp vụ cần có cách nhìn thông tin trên quy mô toàn xí nghiệp. − S cần thiết có hệ thống thông tin để quản lý hiệu quả dữ liệu của tổ chức.
Trong những n m gần đây, công nghệ kho dữ liệu phát triển mạnh và được triển khai thành công trong nhiều lĩnh v c như: kinh tế, tài chính, y tế, giáo dục… Kho dữ liệu có rất nhiều định nghĩa khác nhau Theo Usama M.Fayyad, Gregory Piatesky-Shaporo, Padhraic Smyth and Ramasamy Uthurusamy 1996 [11] đưa ra: “Kho dữ liệu lưu trữ một lượng lớn dữ liệu, nó ngày càng trở nên quan trọng để phát triển sức mạnh của công nghệ kho dữ liệu và các công cụ khai phá dữ liệu, giúp cho việc phân tích trên một tập lớn dữ liệu và phát hiện ra các tri thức thú vị.” Sau đó, William H Inmon [6] – Một kỹ sư hàng đầu trong việc xây d ng hệ thống kho dữ liệu, đã đưa ra khái niệm tường minh hơn về kho dữ liệu: “Kho dữ liệu là một tập hợp dữ liệu có tính tích hợp, hướng chủ đề, tương đối ổn định, dữ liệu gắn với thời gian và được xây dựng để hỗ trợ cho quá trình ra quyết định.” Như vậy, ta có thể hiểu kho dữ liệu là kho chứa các dữ liệu nhất quán về ngữ nghĩa, là dạng th c thi của mô hình dữ liệu hỗ trợ quyết định. Kho dữ liệu chứa các thông tin cần thiết để hỗ trợ doanh nghiệp đưa ra các quyết định chiến lược. Kho dữ liệu được xem như là một kiến trúc và được xây d ng bằng cách tích hợp dữ liệu từ nhiều nguồn không đồng nhất để hỗ trợ cho các truy vấn, báo cáo phân tích và đưa ra quyết định. Các đặc trƣng của kho dữ liệu Để phân biệt giữa kho dữ liệu với các hệ thống lưu trữ dữ liệu khác, ví dụ như hệ thống cơ sở dữ liệu quan hệ, hệ thống xử lý giao dịch, hệ thống file, kho dữ liệu dữ liệu có một số đặc trưng cơ bản sau [6]: a.
Hướng chủ đề: Kho dữ liệu được tập trung xung quanh các chủ đề chính như khách hàng, nhà cung cấp, sản phẩm, bán hàng…Kho dữ liệu tập trung vào việc mô hình hóa và phân tích dữ liệu trợ giúp cho việc ra quyết định thay vì tập trung vào các xử lý thông thường. Do đó, kho dữ liệu thường cung cấp một khung nhìn đơn giản xung quanh vấn đề cụ thể bằng cách loại bỏ những dữ liệu không hữu ích cho quá trình hỗ trợ ra quyết định. 13 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Tính tích hợp: Dữ liệu tập hợp trong kho dữ liệu có thể được thu thập từ nhiều nguồn khác nhau.
Vì vậy, trước khi đưa dữ liệu vào kho, dữ liệu phải được làm sạch, chuẩn hóa để đảm bảo tính nhất quán trong quy ước đặt tên, mã hóa theo một cấu trúc nhất định. Tính ổn định: Dữ liệu trong kho dữ liệu được lưu trữ lâu dài, ít biến động, chủ yếu dùng cho việc truy xuất thông tin nên có độ ổn định cao, mặc dù có thêm dữ liệu mới nhập vào nhưng dữ liệu cũ trong kho dữ liệu vẫn không bị xóa hay thay đổi Hai thao tác cơ bản được th c hiện trong việc xử lý dữ liệu trong kho là nhập dữ liệu vào và truy xuất tới các vùng trong kho dữ liệu. Dữ liệu gắn với thời gian: Kho dữ liệu thường lưu trữ dữ liệu của hệ thống trong một khoảng thời gian dài. Nếu như dữ liệu tác nghiệp chỉ có giá trị hiện thời thì kho dữ liệu cung cấp thông tin lịch sử lâu dài.
Trong kho dữ liệu, yếu tố thời gian được lưu trữ như một thành phần của khóa chính, cung cấp đặc trưng về thời gian cho dữ liệu. Bản chất của dữ liệu biến đổi theo thời gian trong một kho dữ liệu, cho phép phân tích dữ liệu trong quá khứ, thông tin liên quan đến hiện tại và có thể d báo trước được tương lai Với các đặc trưng trên, kho dữ liệu đảm bảo một số yêu cầu [10]: Kho dữ liệu giúp cho việc truy cập dữ liệu được dễ dàng, dữ liệu phải tr c quan và rõ ràng không chỉ với người phát triển hệ thống mà còn đối với người sử dụng. Hệ thống kho dữ liệu được xây d ng một cách đơn giản và có có khả n ng hỗ trợ việc trả về kết quả cho các câu truy vấn một cách nhanh chóng. Kho dữ liệu thể hiện thông tin một cách nhất quán, dữ liệu trong kho dữ liệu phải là các dữ liệu th c, đáng tin cậy.
Dữ liệu phải được tích hợp một cách cẩn thận từ nhiều nguồn dữ liệu khác nhau, phải được làm sạch trước khi đưa dữ liệu vào kho. Kho dữ liệu có khả n ng thích ứng với những thay đổi của nhu cầu sử dụng, điều kiện kinh doanh, dữ liệu và công nghệ. Hệ thống kho dữ liệu phải được thiết kế để xử lý những thay đổi này mà không làm thay đổi những ứng dụng và các dữ liệu đã tồn tại. Nếu như dữ liệu trong hệ thống kho dữ liệu phải sửa đổi thì phải làm cho s thay đổi đó trong suốt với người dùng Đồng thời kho dữ liệu phải có khả n ng thể hiện thông tin một cách nhanh chóng và kịp thời.
14 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Kiến trúc của kho dữ liệu Kiến trúc của kho dữ liệu được mô tả trong hình 2.1 Kiến trúc 3 tầng của kho dữ liệu [6] Kiến trúc này gồm ba tầng: Tầng đáy: Là nơi cung cấp các dịch vụ lấy dữ liệu từ nhiều nguồn khác nhau, sau đó chuẩn hóa, làm sạch và lưu trữ dữ liệu tập trung. Tầng giữa: Cung cấp các dịch vụ để th c hiện các thao tác với kho dữ liệu gọi là máy chủ OLAP. Có thể cài đặt bằng ROLAP, MOLAP hay kết hợp cả hai mô hình trên gọi là HOLAP.
Ngoài ra, hệ thống còn có thể có thêm một số kho dữ liệu chủ đề (Data mart) đây là một tập con được chuyên biệt hóa của kho dữ liệu diện rộng, có giá trị đối với một nhóm người dùng đặc trưng, phạm vi được giới hạn bởi các chủ đề đặc biệt nào đó Dữ liệu trong kho dữ liệu và trong kho dữ liệu chủ đề được lưu trữ và quản lý bởi một hoặc nhiều máy chủ. Tầng trên cùng: tầng này cho phép th c hiện các truy vấn, tạo các báo cáo, phân tích dữ liệu. 15 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Lƣợc đồ kho dữ liệu Đối với xử lý giao dịch tr c tuyến sử dụng mô hình th c thể kết hợp, trong lược đồ cơ sở dữ liệu quan hệ bao gồm một tập các th c thể và các quan hệ giữa các th c thể đó Tuy nhiên, lược đồ quan hệ lại không phù hợp cho việc xây d ng kho dữ liệu do không thỏa mãn những đặc điểm của kho dữ liệu như tính hướng chủ đề và có thể trợ giúp cho quá trình phân tích dữ liệu được nhanh chóng và dễ dàng.
Mô hình dữ liệu phổ biến cho kho dữ liệu là mô hình đa chiều. Mô hình đa chiều có thể tồn tại dưới dạng lược đồ hình sao (star schema), lược đồ bông tuyết (snowflake schema), hay lược đồ chòm sao (fact constellation schema). Lƣợc đồ dữ liệu hình sao [6]: Lược đồ hình sao được đưa ra lần đầu tiên bởi Dr Ralph Kimball Lược đồ hình sao được hình thành từ quan điểm đa chiều về dữ liệu được thể hiện bằng cách sử dụng cơ sở quan hệ ngữ nghĩa Trung tâm của lược đồ là các s kiện và được bao quanh bởi các đối tượng liên quan. Như vậy, lược đồ hình sao bao gồm bảng s kiện và các bảng chiều.
Bảng s kiện biểu diễn các s kiện và các thông tin chi tiết về các s kiện đó Bảng s kiện được xây d ng d a trên yêu cầu cần phân tích và được kết hợp với nhiều chiều nên dữ liệu trong bảng s kiện rất lớn có thể chứa rất nhiều cột và hàng triệu hoặc hàng tỷ hàng và t ng trưởng một cách nhanh chóng. Bảng s kiện gồm các khóa ngoại đó là các khóa chính của cả bảng chiều. Bảng chiều thường nhỏ hơn bảng s kiện, mỗi chiều chỉ được biểu diễn bởi một bảng chiều, và mỗi bảng chứa một tập các thuộc tính. Một sơ đồ hình sao phức tạp có thể bao gồm hàng tr m bảng s kiện và bảng chiều.
Ví dụ: Lược đồ hình sao về tình hình bán hàng công ty AdventureWorks, đây là ví dụ được xây d ng từ cơ sở dữ liệu mẫu AdventureWorks Lược đồ gồm ba bảng chiều là DimDate, DimCustomer, DimProduct và bảng s kiện FactSales. Bảng s kiện này chứa khóa của các bảng chiều, cùng với hai độ đo là TotalProductCost và SaleAmount.