Luận văn: Khai Phá Dữ Liệu Điểm Dự Đoán Kết Quả Học Tập SV CĐSP Hà Nội

Dự đoán kết quả học tập bằng khai phá dữ liệu điểm số. Tìm hiểu cách phân tích và dự đoán thành tích học tập, hỗ trợ cải thiện hiệu quả giáo dục.

• Tác giả: Phạm Thị Như Trang
• Người hướng dẫn: GS. Vũ Đức Thi
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Khai Phá Dữ Liệu Điểm Để Dự Đoán Kết Quả Học Tập Của Sinh Viên Trường Cao Đẳng Sư Phạm Hà Nội
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2013
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• LỜI MỞ ĐẦU
• DANH SÁCH CÁC HÌNH VẼ
• DANH SÁCH CÁC BẢNG
• BẢNG CÁC KÝ HIỆU VIẾT TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Quản lý đào tạo tại trƣờng Cao đẳng Sƣ phạm Hà Nội
• 1.2. Thực tiễn quản lý đào tạo tại trường Cao đẳng Sư phạm Hà Nội
• 1.3. Nhu cầu khai thác dữ liệu điểm
• 1.4. Một số hướng nghiên cứu về khai thác kho dữ liệu điểm để dự đoán kết quả học tập của Sinh viên
• 1.5. Đối tƣợng và phạm vi nghiên cứu của luận văn
• 1.5.1. Phạm vi nghiên cứu
• 1.6. Phƣơng pháp nghiên cứu và dự kiến kết quả đạt đƣợc
• 1.6.1. Phương pháp nghiên cứu
• 1.6.2. Dự kiến kết quả đạt được
• 1.7. Kết luận chƣơng 1
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Kho dữ liệu
• 2.1.1. Khái niệm về kho dữ liệu. Các đặc tính của kho dữ liệu
• 2.1.2. Cấu trúc hệ thống của kho dữ liệu
• 2.1.3. Dòng dữ liệu của kho dữ liệu. Ứng dụng của kho dữ liệu
• 2.1.4. Mô hình dữ liệu sử dụng trong kho dữ liệu
• 2.1.5. Các bước xây dựng kho dữ liệu
• 2.2. Phân tích trực tuyến (OLAP)
• 2.2.1. Mô hình dữ liệu đa chiều
• 2.2.2. Mô phỏng các chiều trong kinh doanh
• 2.3. Giới thiệu dịch vụ OLAP (OLAP Services) của Microsoft SQL Server:
• 2.4. Khai phá dữ liệu
• 2.4.1. Khái niệm về khai phá dữ liệu
• 2.4.2. Ứng dụng của khai phá dữ liệu
• 2.4.3. Nhiệm vụ chính trong khai phá dữ liệu. Các phương pháp trong khai phá dữ liệu
• 2.5. Giới thiệu công cụ BI trong hệ quản trị cơ sở dữ liệu SQL 2008
• 2.5.1. Các thành phần chính của hệ thống BI
• 2.5.2. Dịch vụ phân tích
• 2.5.3. Giới thiệu một số thuật toán sử dụng trong BIDS
• 2.5.4. Quy trình xây dựng mô hình khai phá dữ liệu với BIDS như sau:
• 2.6. Kết luận chƣơng 2
• 3. CHƯƠNG 3: ỨNG DỤNG
• 3.1. Phân tích và phát biểu bài toán
• 3.2. Xây dựng cơ sở dữ liệu
• 3.2.1. Nguồn dữ liệu:
• 3.2.2. Xây dựng cơ sở dữ liệu trong SQL Server 2008
• 3.3. Xây dựng kho dữ liệu từ cơ sở dữ liệu đã có
• 3.4. Khai phá từ kho dữ liệu. Phân tích OLAP
• 3.5. Xây dựng mô hình khai phá
• 3.6. Phân tích kết quả đạt được:
• 3.7. Kết luận chƣơng 3
• 4. CHƯƠNG 4: KẾT LUẬN VÀ ĐỊNH HƢỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Dự Đoán Học Tập Tổng Quan Tầm Quan Trọng 52 ký tự

Ngày nay, các trường đại học và cao đẳng đang dần chuyển sang đào tạo theo học chế tín chỉ, đặt ra yêu cầu cấp thiết về việc tư vấn học tập để tối ưu hóa kết quả cho sinh viên. Theo lời mở đầu của luận văn thạc sĩ của Phạm Thị Như Trang, “Bằng cảm tính hoặc suy luận thủ công từ khối dữ liệu khổng lồ, việc đưa ra những tư vấn tốt cho mỗi sinh viên trong quá trình học không phải là khả thi”. Việc khai phá dữ liệu trong lĩnh vực giáo dục đào tạo tại Việt Nam còn chưa được quan tâm đúng mức. Phần lớn các trường sử dụng Excel hoặc các phần mềm quản lý đào tạo để quản lý sinh viên và kết quả học tập. Các nhà quản lý gặp khó khăn trong việc có được cái nhìn toàn cảnh để thống kê kết quả, từ đó đưa ra phương hướng, đường lối, chính sách phù hợp cho chương trình đào tạo và phương pháp giảng dạy. Quá trình sinh báo cáo thường rất thủ công, chủ yếu thực hiện trên Excel. Trường Cao đẳng Sư phạm Hà Nội, với bề dày lịch sử, cũng đối mặt với những thách thức tương tự. Hàng năm, phòng đào tạo tư vấn và thay đổi chương trình, nhưng những thay đổi này thường mang tính chủ quan, cảm tính. Dữ liệu đào tạo được lưu trữ và sử dụng chủ yếu cho mục đích tra cứu và tạo các báo cáo đơn giản. Các phần mềm quản lý nhà trường chưa thể trả lời được mối quan hệ giữa kết quả tuyển sinh đầu vào, kết quả từng môn học, giới tính và kết quả học tập. Các phần mềm cũng chưa tạo ra được các báo cáo đa chiều giúp nhà quản lý đưa ra các chiến lược hàng năm. Luận văn "Khai phá dữ liệu điểm để dự đoán kết quả học tập của Sinh viên trường Cao đẳng Sư phạm Hà Nội" đi sâu vào khai thác dữ liệu điểm để đưa ra các báo cáo đa chiều và dự đoán kết quả học tập dựa trên điểm môn học của các học kỳ trước. Đề tài nghiên cứu xây dựng lại hệ thống dữ liệu điểm mới dựa trên dữ liệu điểm đã có, nghiên cứu các kỹ thuật phân lớp trong khai phá dữ liệu, ứng dụng các kỹ thuật đó để xây dựng các mô hình dự đoán kết quả học tập. Cuối cùng, đánh giá và lựa chọn mô hình cũng như kỹ thuật cho kết quả dự đoán tốt nhất để ứng dụng dự báo kết quả học tập cho mỗi sinh viên.

1.1. Thực Trạng Quản Lý Dữ Liệu Học Tập Hiện Nay

Hiện nay, nhiều trường cao đẳng và đại học vẫn sử dụng các phương pháp quản lý dữ liệu truyền thống như Excel hoặc các phần mềm quản lý đào tạo cơ bản. Mặc dù các phần mềm này có thể cung cấp các báo cáo thống kê đơn giản, nhưng chúng thường không đủ khả năng để phân tích dữ liệu đa chiều và dự đoán kết quả học tập của sinh viên. Việc đưa ra quyết định dựa trên cảm tính hoặc kinh nghiệm cá nhân có thể dẫn đến những sai sót và không tối ưu hóa được tiềm năng của sinh viên. Điều này đặc biệt quan trọng trong bối cảnh học chế tín chỉ, nơi sinh viên có quyền lựa chọn môn học và lịch trình học tập của mình. Để giúp sinh viên đưa ra những lựa chọn phù hợp và đạt được kết quả tốt nhất, cần có một hệ thống phân tích dữ liệu mạnh mẽ và chính xác.

1.2. Bài Toán Đặt Ra Dự Đoán Kết Quả Học Tập

Việc dự đoán kết quả học tập của sinh viên dựa trên dữ liệu điểm số và thông tin cá nhân là một bài toán phức tạp nhưng vô cùng quan trọng. Theo luận văn, dữ liệu đào tạo thường được lưu trữ và sử dụng với mục đích tra cứu và các báo cáo đơn giản. Các phần mềm quản lý nhà trường đang sử dụng chưa trả lời được mối quan hệ giữa kết quả tuyển sinh đầu vào, kết quả của từng môn học, giới tính v.v… với kết quả học tập của Sinh viên. Các phần mềm cũng chưa sinh ra được các báo cáo đa chiều để giúp các nhà quản lý đưa ra được các chiến lược hàng năm. Giải quyết bài toán này đòi hỏi phải xây dựng một hệ thống dữ liệu điểm mới, áp dụng các kỹ thuật phân lớp trong khai phá dữ liệu, và xây dựng các mô hình dự đoán kết quả học tập. Hệ thống này không chỉ giúp sinh viên đưa ra những lựa chọn môn học phù hợp, mà còn giúp các nhà quản lý điều chỉnh chương trình đào tạo để đáp ứng tốt hơn nhu cầu của thị trường lao động.

II. Thách Thức Khai Phá Dữ Liệu Điểm Độ Chính Xác 56 ký tự

Mặc dù việc khai phá dữ liệu điểm mang lại nhiều tiềm năng, nhưng cũng đi kèm với không ít thách thức. Một trong những thách thức lớn nhất là đảm bảo tính chính xác và tin cậy của dữ liệu. Dữ liệu điểm thường được thu thập từ nhiều nguồn khác nhau, có thể chứa lỗi hoặc thiếu sót. Việc làm sạch và chuẩn hóa dữ liệu là một quá trình tốn nhiều thời gian và công sức. Hơn nữa, việc lựa chọn các thuật toán khai phá dữ liệu phù hợp và xây dựng các mô hình dự đoán chính xác cũng đòi hỏi kiến thức chuyên môn sâu rộng. Các mô hình dự đoán cần được kiểm tra và đánh giá kỹ lưỡng để đảm bảo rằng chúng có thể đưa ra những dự đoán chính xác và đáng tin cậy. Theo luận văn nghiên cứu của Phạm Thị Như Trang, Việc dự đoán học tập của Sinh viên sẽ được thực hiện theo các bước: Thu thập dữ liệu, đánh giá và xử lý dữ liệu để thiết kế 1 cơ sở dữ liệu điểm của Sinh viên. Bước này sử dụng công cụ SQL Server Management Studio.Chuyển cơ sở dữ liệu xây dựng ở bước 1 thành kho dữ liệu. Bước này sử dụng công cụ SQL Server Business Intelligent Development Studio. Tiến hành khai thác kho dữ liệu vừa xây dựng. Yêu cầu phải trả lời được một số câu hỏi về báo cáo, phân tích mang tính chiến lược như so sánh điểm đầu vào giữa các khóa học, xu hướng học lực của Sinh viên năm tới v.v…

2.1. Vấn Đề Chất Lượng Dữ Liệu Làm Sạch Dữ Liệu

Chất lượng dữ liệu là yếu tố then chốt quyết định đến độ chính xác của các mô hình dự đoán. Dữ liệu điểm thường chứa nhiều lỗi, chẳng hạn như sai sót trong quá trình nhập liệu, thiếu thông tin, hoặc dữ liệu không nhất quán giữa các nguồn khác nhau. Việc làm sạch dữ liệu là một quá trình phức tạp, đòi hỏi phải xác định và sửa chữa các lỗi, loại bỏ dữ liệu trùng lặp, và chuẩn hóa dữ liệu về một định dạng thống nhất. Các công cụ làm sạch dữ liệu tự động có thể giúp ích, nhưng vẫn cần có sự can thiệp của con người để đảm bảo rằng dữ liệu đã được làm sạch một cách chính xác và đầy đủ. Hơn nữa, việc bảo trì và cập nhật dữ liệu thường xuyên cũng rất quan trọng để đảm bảo rằng dữ liệu luôn phản ánh đúng tình hình hiện tại.

2.2. Chọn Thuật Toán Phân Lớp Xây Dựng Mô Hình

Việc lựa chọn thuật toán phân lớp phù hợp là một thách thức quan trọng trong quá trình khai phá dữ liệu điểm. Có rất nhiều thuật toán khác nhau, mỗi thuật toán có những ưu điểm và nhược điểm riêng. Các thuật toán phổ biến bao gồm cây quyết định, mạng nơ-ron, và máy học hỗ trợ vector (SVM). Việc lựa chọn thuật toán phù hợp phụ thuộc vào đặc điểm của dữ liệu và mục tiêu dự đoán. Ví dụ, cây quyết định có thể dễ dàng diễn giải và trực quan hóa, trong khi mạng nơ-ron có thể đạt được độ chính xác cao hơn nhưng lại khó diễn giải hơn. Việc xây dựng mô hình dự đoán cũng đòi hỏi phải có kiến thức chuyên môn về khai phá dữ liệu và kỹ năng lập trình. Các mô hình cần được kiểm tra và đánh giá kỹ lưỡng để đảm bảo rằng chúng có thể đưa ra những dự đoán chính xác và đáng tin cậy.

III. Phương Pháp Khai Phá Dữ Liệu SQL Server 53 ký tự

Để giải quyết các thách thức trên, có thể áp dụng phương pháp khai phá dữ liệu kết hợp với công cụ SQL Server Business Intelligence Development Studio (BIDS). SQL Server BIDS cung cấp một bộ công cụ mạnh mẽ để xây dựng kho dữ liệu, phân tích dữ liệu đa chiều, và xây dựng các mô hình dự đoán. Theo luận văn, đề tài sẽ tiến hành xây dựng hệ thống cơ sở dữ liệu dựa trên những dữ liệu thu thập được từ phần mềm quản lý đào tạo Edusoft. Do dữ liệu đang xét liên quan đến điểm của Sinh viên nên trong cơ sở dữ liệu dưới dạng thực thể kết hợp, sẽ có dạng kiểu thực thể sau: Khóa học, Ngành học, Môn học, Lớp học, Sinh viên. Giải pháp BI trong SQL Server 2008 giúp tổ chức và quản lý kho dữ liệu (xử lý phân tích trực tuyến) cũng như xây dựng các mô hình khai phá dữ liệu rất dễ sử dụng và hiệu quả. BIDS cho phép triển khai các mô hình khai phá dữ liệu: Micorosft Decision Tree, Microsoft Clustering, Micorosoft Naive Bayes, Micorosoft Time Series, Micorosoft Association, Micorosoft Sequence Clustering, Microsoft Neural Network, Micorsoft Linear Regression, Micorosoft Logistics Regression.

3.1. Xây Dựng Kho Dữ Liệu Với SQL Server

Việc xây dựng kho dữ liệu là bước đầu tiên trong quá trình khai phá dữ liệu điểm. Kho dữ liệu là một hệ thống lưu trữ dữ liệu tập trung, được thiết kế để hỗ trợ các hoạt động phân tích và báo cáo. SQL Server cung cấp các công cụ mạnh mẽ để xây dựng kho dữ liệu, bao gồm SQL Server Integration Services (SSIS) và SQL Server Analysis Services (SSAS). SSIS được sử dụng để trích xuất, chuyển đổi và tải dữ liệu từ các nguồn khác nhau vào kho dữ liệu. SSAS được sử dụng để xây dựng các khối dữ liệu đa chiều, cho phép phân tích dữ liệu theo nhiều chiều khác nhau. Việc xây dựng kho dữ liệu giúp đảm bảo rằng dữ liệu được lưu trữ một cách có tổ chức và dễ dàng truy cập để phân tích.

3.2. Ứng Dụng Các Thuật Toán Trong SQL Server BIDS

SQL Server BIDS cung cấp một loạt các thuật toán khai phá dữ liệu, cho phép xây dựng các mô hình dự đoán khác nhau. Các thuật toán phổ biến bao gồm cây quyết định, mạng nơ-ron, và máy học hỗ trợ vector (SVM). Việc lựa chọn thuật toán phù hợp phụ thuộc vào đặc điểm của dữ liệu và mục tiêu dự đoán. Ví dụ, cây quyết định có thể được sử dụng để xác định các yếu tố ảnh hưởng đến kết quả học tập của sinh viên, trong khi mạng nơ-ron có thể được sử dụng để dự đoán điểm số của sinh viên trong tương lai. SQL Server BIDS cũng cung cấp các công cụ để đánh giá và so sánh hiệu quả của các mô hình khác nhau, giúp lựa chọn mô hình tốt nhất cho mục tiêu dự đoán.

IV. Ứng Dụng Dự Đoán Báo Cáo Tư Vấn Học Tập 59 ký tự

Các mô hình dự đoán được xây dựng có thể được sử dụng để dự đoán kết quả học tập của sinh viên, tạo báo cáo phân tích về hiệu quả học tập, và cung cấp tư vấn học tập cho sinh viên. Các báo cáo phân tích có thể giúp các nhà quản lý đánh giá hiệu quả của chương trình đào tạo, xác định các yếu tố ảnh hưởng đến kết quả học tập, và đưa ra các quyết định điều chỉnh chương trình. Tư vấn học tập có thể giúp sinh viên lựa chọn môn học phù hợp, xây dựng kế hoạch học tập hiệu quả, và cải thiện kết quả học tập. Theo luận văn nghiên cứu, từ các bảng dữ liệu Sinh viên, Điểm tổng kết theo kỳ và toàn khóa, đề tài sử dụng các công cụ trong excel để tổng hợp dữ liệu cho bảng chiều SinhVien. Sau đó, đề tài sẽ chia nhỏ dữ liệu điểm HK1, HK2 thành các khoảng: Khoảng Nhãn Điểm Tổng kết [4.5 Sử dụng hàm trong excel để xử lý việc chia nhỏ điểm tổng kết HK1 và HK2: =IF(AND(L2>=4,L2<5),5.5)))))Tương tự với điểm tuyển sinh, đề tài cũng tiến hành chia nhỏ điểm tuyển sinh thành các khoảng. Việc này có thể giúp chúng ta tạo lập các quyết định thông minh về các vấn đề khó khăn của doanh nghiệp. Sử dụng các công cụ khai phá dữ liệu trong dịch vụ phân tích giúp chúng ta nhận ra các mẫu trong dữ liệu, do đó xác định được tại sao lại xảy ra vấn đề đó, cho phép tạo ra các luật và kiến nghị, để có thể dự báo điều gì sẽ xảy ra trong tương lai.

4.1. Dự Đoán Kết Quả Học Tập Cá Nhân Hóa

Các mô hình dự đoán có thể được sử dụng để dự đoán kết quả học tập của từng sinh viên dựa trên thông tin cá nhân, điểm số, và các yếu tố khác. Thông tin dự đoán có thể giúp sinh viên nhận biết sớm những khó khăn có thể gặp phải trong quá trình học tập và có kế hoạch cải thiện kịp thời. Ví dụ, nếu mô hình dự đoán cho thấy một sinh viên có nguy cơ trượt một môn học nào đó, sinh viên có thể tìm kiếm sự hỗ trợ từ giáo viên, tham gia các lớp học phụ đạo, hoặc thay đổi phương pháp học tập.

4.2. Báo Cáo Phân Tích Hiệu Quả Chương Trình Đào Tạo

Các báo cáo phân tích có thể giúp các nhà quản lý đánh giá hiệu quả của chương trình đào tạo, xác định các yếu tố ảnh hưởng đến kết quả học tập, và đưa ra các quyết định điều chỉnh chương trình. Ví dụ, nếu báo cáo cho thấy sinh viên thường gặp khó khăn trong một môn học cụ thể, nhà trường có thể xem xét điều chỉnh nội dung môn học, phương pháp giảng dạy, hoặc tăng cường hỗ trợ cho sinh viên. Báo cáo cũng có thể được sử dụng để so sánh hiệu quả của các chương trình đào tạo khác nhau, giúp nhà trường lựa chọn chương trình tốt nhất cho sinh viên.

V. Kết Luận Tiềm Năng Hướng Phát Triển Tương Lai 58 ký tự

Việc khai phá dữ liệu điểm để dự đoán kết quả học tập mang lại nhiều tiềm năng to lớn cho việc cải thiện chất lượng giáo dục. Tuy nhiên, để khai thác tối đa tiềm năng này, cần phải giải quyết các thách thức liên quan đến chất lượng dữ liệu, lựa chọn thuật toán, và xây dựng mô hình. Trong tương lai, có thể mở rộng phạm vi của khai phá dữ liệu bằng cách kết hợp dữ liệu điểm với các nguồn dữ liệu khác, chẳng hạn như dữ liệu về hoạt động ngoại khóa, dữ liệu về sự tham gia của sinh viên vào các hoạt động học tập, và dữ liệu về phản hồi của sinh viên về chất lượng giảng dạy. Việc sử dụng các kỹ thuật khai phá dữ liệu tiên tiến hơn, chẳng hạn như học sâu (deep learning), cũng có thể giúp cải thiện độ chính xác của các mô hình dự đoán.

5.1. Mở Rộng Phạm Vi Khai Phá Dữ Liệu

Trong tương lai, có thể mở rộng phạm vi của khai phá dữ liệu bằng cách kết hợp dữ liệu điểm với các nguồn dữ liệu khác, chẳng hạn như dữ liệu về hoạt động ngoại khóa, dữ liệu về sự tham gia của sinh viên vào các hoạt động học tập, và dữ liệu về phản hồi của sinh viên về chất lượng giảng dạy. Việc kết hợp các nguồn dữ liệu khác nhau có thể cung cấp một cái nhìn toàn diện hơn về quá trình học tập của sinh viên và giúp xây dựng các mô hình dự đoán chính xác hơn. Ví dụ, dữ liệu về hoạt động ngoại khóa có thể giúp xác định các sinh viên có tiềm năng lãnh đạo, trong khi dữ liệu về sự tham gia của sinh viên vào các hoạt động học tập có thể giúp đánh giá mức độ quan tâm của sinh viên đối với môn học.

5.2. Ứng Dụng Các Kỹ Thuật Khai Phá Dữ Liệu Tiên Tiến

Việc sử dụng các kỹ thuật khai phá dữ liệu tiên tiến hơn, chẳng hạn như học sâu (deep learning), cũng có thể giúp cải thiện độ chính xác của các mô hình dự đoán. Học sâu là một lĩnh vực của trí tuệ nhân tạo, sử dụng các mạng nơ-ron sâu để học các đặc trưng phức tạp từ dữ liệu. Học sâu đã đạt được những thành công đáng kể trong nhiều lĩnh vực, chẳng hạn như nhận dạng hình ảnh, xử lý ngôn ngữ tự nhiên, và dự đoán thời tiết. Trong lĩnh vực giáo dục, học sâu có thể được sử dụng để dự đoán kết quả học tập, xác định các sinh viên có nguy cơ bỏ học, và cá nhân hóa phương pháp học tập cho từng sinh viên.

Trích đoạn nội dung tài liệu

Chương 1 trình bày về: - Quản lý đào tạo của trường Cao đẳng sư phạm Hà nội: Thực tế, nhu cầu và một số hướng giải quyết. - Đối tượng và phạm vi nghiên cứu của luận văn - Phương pháp nghiên cứu và dự kiến kết quả đạt được 12 TIEU LUAN MOI download : [e-mail] Chƣơng 2: CƠ SỞ LÝ THUYẾT 2.Kho dữ liệu 2.Khái niệm về kho dữ liệu Theo William Inmon [12], kho dữ liệu là một bộ dữ liệu có các đặc tính: hướng chủ đề, có tính tích hợp, ổn định, dữ liệu gắn với thời gian, thường được sử dụng trong các hệ thống hỗ trợ quyết định. Kho dữ liệu thường bao gồm: -Một hoặc nhiều công cụ để chiết xuất dữ liệu từ các dạng cấu trúc dữ liệu khác nhau. -Cơ sở dữ liệu tích hợp hướng chủ đề, ổn định được tổng hợp thông qua việc lập các bảng dữ liệu.

Một kho dữ liệu có thể được coi là một hệ thống thông tin với những thuộc tính sau: -Là một cơ sở dữ liệu được thiết kế dành cho nhiệm vụ phân tích, sử dụng các dữ liệu từ các ứng dụng khác nhau. -Hỗ trợ một số người dùng có liên quan, có sử dụng tới các thông tin liên quan. -Nội dung được cập nhật thường xuyên, chủ yếu theo hình thức bổ sung thông tin. -Chứa các dữ liệu trong lịch sử và hiện tại nhằm cung cấp các xu hướng thông tin.

-Chứa các bảng dữ liệu có kích thước lớn. -Một câu hỏi thường trả về một tập kết quả liên quan đến toàn bộ bảng và các liên kết nhiều bảng.Các đặc tính của kho dữ liệu Hƣớng chủ đề: Kho dữ liệu có thể chứa lượng dữ liệu lên tới hàng trăm Gigabyte, được tổ chức theo những chủ đề chính. Kho dữ liệu không chú trọng vào giao tác và việc xử lý giao tác. Thay vào đó, kho dữ liệu tập trung vào việc mô hình hóa, phân tích dữ liệu nhằm hỗ trợ cho nhà quản lý ra quyết định.

Do đó, các kho dữ liệu thường cung cấp một khung nhìn tương đối đơn giản bằng cách loại bớt những dữ liệu không cần thiết trong quá trình ra quyết định. Tính tích hợp: Kho dữ liệu thường được xây dựng bằng cách tổng hợp dữ liệu từ nhiều nguồn khác nhau, ví dụ các cơ sở dữ liệu, những bản ghi thao tác trực tuyến hoặc thậm chí là những file dữ liệu độc lập. Những dữ liệu này tiếp tục được làm sạch, chuẩn hóa để đảm bảo sự nhất quán, sau đó đưa vào kho dữ liệu. 13 TIEU LUAN MOI download : [e-mail] Ổn định: Dữ liệu trong kho dữ liệu thường được lưu trữ lâu dài, ít bị sửa đổi, chủ yếu dùng cho việc truy xuất thông tin nên có độ ổn định cao.

Hai thao tác chủ yếu tác động tới kho dữ liệu là: nhập dữ liệu vào và truy xuất. Dữ liệu gắn với thời gian: Do có tính ổn định, kho dữ liệu thường lưu trữ dữ liệu của hệ thống trong khoảng thời gian dài, cung cấp đủ 2.Cấu trúc hệ thống của kho dữ liệu Hệ thống kho dữ liệu thường bao gồm 3 tầng: Hình 2.1: Cấu trúc hệ thống kho dữ liệu Tầng đáy: Là nơi lấy dữ liệu từ nhiều nguồn khác nhau sau đó làm sạch, chuẩn hóa, lưu trữ tập trung. Tầng giữa: Thực hiện các thao tác với kho dữ liệu thông qua dịch vụ OLAP (OLAP Server). Có thể cài đặt bằng Relational OLAP, Multidimensional OLAP hay kết hợp cả 2 mô hình trên thành mô hình Hybrid OLAP.

Tầng trên: thực hiện việc truy vấn, khai phá thông tin. 14 TIEU LUAN MOI download : skknchat@gmail.Dòng dữ liệu của kho dữ liệu Do kho dữ liệu chứa lượng dữ liệu lớn, đồng thời hạn chế thao tác sửa đổi nên rất thích hợp cho việc phân tích dài hạn và báo cáo. Các thao tác với dữ liệu của kho dữ liệu chủ yếu dựa trên cơ sở là Mô hình dữ liệu đa chiều (MultiDimensional data model), thường áp dụng cho các khối dữ liệu (Data cube). Khối dữ liệu là trung tâm của vấn đề cần phân tích, bao gồm một hay nhiều tập dữ kiện (fact) và các dữ kiện được tạo ra từ nhiều chiều (dimension) dữ kiện khác nhau.2: Dòng dữ liệu trong kho dữ liệu Đầu tiên, dữ liệu được lấy trong các hệ cơ sở dữ liệu tác nghiệp, có thể ở nhiều dạng khác nhau, dữ liệu được làm sạch, chuẩn hóa rồi đưa vào kho dữ liệu, cuối cùng dữ liệu được lấy từ kho dữ liệu phục vụ cho các phân tích khác nhau.Ứng dụng của kho dữ liệu Kho dữ liệu được đưa vào ba mảng ứng dụng chính.

Theo như cách khai thác truyền thống đối với cơ sở dữ liệu, kho dữ liệu được sử dụng để khai thác thông tin bằng các công cụ thực hiện truy vấn và báo cáo. Nhờ việc dữ liệu thô đã được chuyển sang thành các dữ liệu ổn đinh, có chất lượng nên kho dữ liệu đã giúp nâng cao kỹ thuật biểu diễn thông tin truyền thông. Dữ liệu đầu vào của các kỹ thuật này được đặt vào một nguồn duy nhất, giúp loại bỏ nhiều lỗi sinh ra do phải thu thập và biểu diễn thông tin từ nhiều nguồn khác nhau đồng thời giảm bớt sự chậm trễ do phải lấy 15 TIEU LUAN MOI download : [e-mail] dữ liệu từ những phân đoạn khác nhau, tránh cho người dùng phải viết những truy vấn SQL quá phức tạp. Với cách thứ hai, các kho dữ liệu được sử dụng để hỗ trợ cho phân tích trực tuyến (OLAP).

Trong khi ngôn ngữ SQL và các công cụ xây dựng báo cáo truyền thống chỉ có thể mô tả những gì có trong cơ sở dữ liệu thì phân tích trực tuyến có khả năng phân tích dữ liệu, xác định xem giả thuyết đúng hay sai. Tuy nhiên, phân tích trực tuyến lại không có khả năng đưa ra các giả thuyết. Ngoài ra, sử dụng OLAP còn giúp phân tích tổng hợp dữ liệu, đưa ra kết quả bằng các báo cáo hoặc bảng biểu trực quan. Cách thứ ba để khai thác kho dữ liệu là dựa trên các kỹ thuật khai phá.

Đây là một phương pháp mới, đáp ứng được cả những yêu cầu trong nghiên cứu khoa học cũng như yêu cầu trong thực tiễn. Các kết quả thu được mang nhiều tính dự báo, dự đoán, dùng trong việc xây dựng kế hoạch, chiến lược. Các lĩnh vực hiện tại áp dụng kho dữ liệu: -Thương mại điện tử. -Kế hoạch hóa nguồn lực doanh nghiệp (ERP – Enterprise Resource Planning).

-Quản lý quan hệ khách hàng (CRM – Customer Relationship Management). -Chăm sóc sức khỏe.Mô hình dữ liệu sử dụng trong kho dữ liệu Dữ liệu trong kho được thiết kế theo mô hình dữ liệu đa chiều (Dimensional Modeling). Mô hình dữ liệu đa chiều sử dụng ba khái niệm cơ bản: Khối (Cubes), Sự kiện (Facts), Chiều (Dimensions). Mô hình không phù hợp với hệ thống OLTP và dữ liệu được thao tác bởi các công cụ OLAP.

Cơ sở dữ liệu đa chiều thường quan tâm đến hai mức tổng hợp và chi tiết nên kích thước thường rất lớn. Đồng thời, chúng thường quan tâm đến yếu tố thời gian, dùng để theo dõi biến động thực tế theo thời gian. Do đó, chiều thời gian được dùng làm bản lề cho mọi phân tích. Bảng chiều: Chứa dữ liệu miêu tả về một công việc, đối tượng.

Kích thước tương đối nhỏ so với bảng Sự kiện. Đây là bộ lọc hoặc các ràng buộc của những sự kiện ở bảng sự kiện. Bảng sự kiện: Kích thước lớn, chứa dữ liệu định lượng hoặc sự kiện (có độ đo số học) Khối: Một khối có thể có nhiều chiều. Mô hình dữ liệu của kho dữ liệu có thể thiết lập theo: -Sơ đồ hình sao (star schema): Một bảng sự kiện ở trung tâm được kết nối với một tập các bảng chiều.

16 TIEU LUAN MOI download : [e-mail] -Sơ đồ bông tuyết (Snowflake schema): Một mở rộng của sơ đồ hình sao trong đó một vài cấu trúc chiều được chuẩn hóa thành một tập các bảng chiều nhỏ hơn, hình thức tương tự như bông tuyết.Các bước xây dựng kho dữ liệu Các bước xây dựng kho dữ liệu: -Lập kế hoạch tổng thể. -Xác định yêu cầu. -Mở rộng và duy trì.Phân tích trực tuyến (OLAP) 2. OLAP OLAP là một kỹ thuật sử dụng các thể hiện dữ liệu đa chiều gọi là các khối (cube) nhằm cung cấp khả năng truy xuất nhanh đến dữ liệu của kho dữ liệu.

Tạo khối (cube) cho dữ liệu trong các bảng chiều (dimension table) và bảng sự kiện (fact table) trong kho dữ liệu và cung cấp khả năng thực hiện các truy vấn tinh vi và phân tích cho các ứng dụng client. Trong khi kho dữ liệu và data mart lưu trữ dữ liệu cho phân tích, thì OLAP là kỹ thuật cho phép các ứng dụng client truy xuất hiệu quả dữ liệu này. OLAP cung cấp nhiều lợi ích cho người phân tích, cho ví dụ như: Cung cấp mô hình dữ liệu đa chiều trực quan cho phép dễ dàng lựa chọn, định hướng và khám phá dữ liệu. Cung cấp một ngôn ngữ truy vấn phân tích, cung cấp sức mạnh để khám phá các mối quan hệ trong dữ liệu kinh doanh phức tạp.

Dữ liệu được tính toán trước đối với các truy vấn thường xuyên nhằm làm cho thời gian trả lời rất nhanh đối với các truy vấn đặc biệt. Cung cấp các công cụ mạnh giúp người dùng tạo các khung nhìn mới của dữ liệu dựa trên một tập các hàm tính toán đặc biệt. OLAP được đặt ra để xử lý các truy vấn liên quan đến lượng dữ liệu rất lớn mà nếu cho thực thi các truy vấn này trong hệ thống OLTP sẽ không thể cho kết quả hoặc sẽ mất rất nhiều thời gian.Mô hình dữ liệu đa chiều Các nhà quản lý kinh doanh có khuynh hướng suy nghĩ theo “nhiều chiều” (multidimensionally). Suy nghĩ một cách trực giác, việc kinh doanh như một khối (cube) dữ liệu, với các nhãn trên mỗi cạnh của khối (xem hình bên dưới).

Các điểm bên trong khối là các giao điểm của các cạnh. Các cạnh của khối là Sản phẩm, Thị trường, và Thời 17 TIEU LUAN MOI download : skknchat@gmail. Hầu hết mọi người đều có thể nhanh chóng hiểu và tưởng tượng rằng các điểm bên trong khối là các độ đo hiệu quả kinh doanh mà được kết hợp giữa các giá trị Sản phẩm, Thị trường và Thời gian. Saûn phaåm Thôøi gian Thò tröôøng Hình 2.3: Mô hình đa chiều 2.

Mô phỏng các chiều trong kinh doanh Một khối dữ liệu (datacube) thì không nhất thiết phải có cấu trúc 3 chiều (3-D), nhưng về cơ bản là có thể có N chiều (N-D). Những cạnh của khối được gọi là các chiều (dimensions), mà đó là các mặt hoặc các thực thể ứng với những khía cạnh mà tổ chức muốn ghi nhận. Mỗi chiều có thể kết hợp với một bảng chiều (dimension table) nhằm mô tả cho chiều đó.