Luận văn thạc sĩ vnu uet khai phá dữ liệu điểm để dự đoán kết quả học tập của sinh viên trường cao đẳng sư phạm hà nội

Luận văn thạc sĩ giáo dục phân tích vnu uet khai phá dữ liệu điểm để dự đoán kết quả học tập của sinh viên trường cao đẳng sư phạm hà, đánh giá thực trạng, chỉ ra hạn chế, đề xuất

• Tác giả: Phạm Thị Như Trang
• Người hướng dẫn: GS. Vũ Đức Thi
• Trường học: Trường Đại học Công nghệ
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Khai Phá Dữ Liệu Điểm Để Dự Đoán Kết Quả Học Tập Của Sinh Viên Trường Cao Đẳng Sư Phạm Hà Nội
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2013
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Quản lý đào tạo tại trường Cao đẳng Sư phạm Hà Nội
• 1.2. Thực tiễn quản lý đào tạo tại trường Cao đẳng Sư phạm Hà Nội
• 1.3. Nhu cầu khai thác dữ liệu điểm
• 1.4. Một số hướng nghiên cứu về khai thác kho dữ liệu điểm để dự đoán kết quả học tập của Sinh viên
• 1.5. Đối tượng và phạm vi nghiên cứu của luận văn
• 1.6. Phương pháp nghiên cứu và dự kiến kết quả đạt được
• 1.7. Kết luận chương 1
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Kho dữ liệu
• 2.2. Khái niệm về kho dữ liệu
• 2.3. Các đặc tính của kho dữ liệu
• 2.4. Cấu trúc hệ thống của kho dữ liệu
• 2.5. Dòng dữ liệu của kho dữ liệu
• 2.6. Ứng dụng của kho dữ liệu
• 2.7. Khai phá dữ liệu
• 2.8. Khái niệm về khai phá dữ liệu
• 2.9. Ứng dụng của khai phá dữ liệu
• 2.10. Nhiệm vụ chính trong khai phá dữ liệu
• 2.11. Giới thiệu công cụ BI trong hệ quản trị cơ sở dữ liệu SQL 2008
• 2.12. Các thành phần chính của hệ thống BI
• 2.13. Dịch vụ phân tích
• 2.14. Giới thiệu một số thuật toán sử dụng trong BIDS
• 2.15. Quy trình xây dựng mô hình khai phá dữ liệu với BIDS như sau
• 2.16. Kết luận chương 2
• 3. CHƯƠNG 3: ỨNG DỤNG
• 3.1. Phân tích và phát biểu bài toán
• 3.2. Xây dựng cơ sở dữ liệu
• 3.3. Nguồn dữ liệu
• 3.4. Xây dựng cơ sở dữ liệu trong SQL Server 2008
• 3.5. Xây dựng kho dữ liệu từ cơ sở dữ liệu đã có
• 3.6. Khai phá từ kho dữ liệu
• 3.7. Phân tích OLAP
• 3.8. Xây dựng mô hình khai phá
• 3.9. Phân tích kết quả đạt được
• 3.10. Kết luận chương 3
• 4. CHƯƠNG 4: KẾT LUẬN VÀ ĐỊNH HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về dự đoán kết quả học tập sinh viên tại trường Cao đẳng Sư phạm Hà Nội

Dự đoán kết quả học tập của sinh viên là một vấn đề quan trọng trong quản lý giáo dục. Tại trường Cao đẳng Sư phạm Hà Nội, việc áp dụng khai phá dữ liệu để phân tích và dự đoán kết quả học tập đang trở thành xu hướng. Điều này không chỉ giúp nâng cao chất lượng đào tạo mà còn hỗ trợ sinh viên trong việc lựa chọn môn học phù hợp.

1.1. Khái niệm về khai phá dữ liệu trong giáo dục

Khai phá dữ liệu là quá trình tìm kiếm thông tin hữu ích từ các tập dữ liệu lớn. Trong giáo dục, nó giúp phân tích hành vi học tập của sinh viên và dự đoán kết quả học tập dựa trên các yếu tố như điểm số, giới tính và các môn học đã học.

1.2. Tầm quan trọng của việc dự đoán kết quả học tập

Dự đoán kết quả học tập giúp các nhà quản lý giáo dục đưa ra quyết định chính xác hơn trong việc điều chỉnh chương trình đào tạo. Nó cũng hỗ trợ sinh viên trong việc lập kế hoạch học tập hiệu quả hơn.

II. Vấn đề và thách thức trong việc dự đoán kết quả học tập

Mặc dù có nhiều lợi ích, việc dự đoán kết quả học tập cũng gặp phải nhiều thách thức. Các vấn đề như dữ liệu không đầy đủ, thiếu chính xác và khó khăn trong việc phân tích dữ liệu là những trở ngại lớn.

2.1. Dữ liệu không đầy đủ và thiếu chính xác

Nhiều trường hợp, dữ liệu điểm số của sinh viên không được cập nhật kịp thời hoặc không đầy đủ, dẫn đến việc phân tích không chính xác. Điều này ảnh hưởng trực tiếp đến kết quả dự đoán.

2.2. Khó khăn trong việc phân tích dữ liệu

Việc phân tích dữ liệu lớn đòi hỏi các công cụ và kỹ thuật chuyên sâu. Nhiều trường vẫn sử dụng các phương pháp thủ công, gây khó khăn trong việc đưa ra các báo cáo chính xác.

III. Phương pháp khai phá dữ liệu để dự đoán kết quả học tập

Để dự đoán kết quả học tập, trường Cao đẳng Sư phạm Hà Nội đã áp dụng nhiều phương pháp khai phá dữ liệu khác nhau. Các kỹ thuật như phân lớp và phân cụm được sử dụng để xây dựng mô hình dự đoán hiệu quả.

3.1. Kỹ thuật phân lớp trong khai phá dữ liệu

Kỹ thuật phân lớp giúp phân loại sinh viên dựa trên các đặc điểm như điểm số, giới tính và các môn học đã học. Các mô hình như cây quyết định và mạng nơ-ron được áp dụng để cải thiện độ chính xác của dự đoán.

3.2. Ứng dụng công cụ Business Intelligence

Công cụ Business Intelligence Development Studio của SQL Server được sử dụng để xây dựng và phân tích các mô hình dự đoán. Điều này giúp tạo ra các báo cáo đa chiều và hỗ trợ quyết định cho nhà quản lý.

IV. Ứng dụng thực tiễn và kết quả nghiên cứu

Việc áp dụng khai phá dữ liệu tại trường Cao đẳng Sư phạm Hà Nội đã mang lại nhiều kết quả tích cực. Các mô hình dự đoán đã giúp cải thiện chất lượng đào tạo và hỗ trợ sinh viên trong việc lựa chọn môn học.

4.1. Kết quả đạt được từ việc dự đoán

Các mô hình dự đoán đã cho thấy sự chính xác cao trong việc dự đoán kết quả học tập của sinh viên. Điều này giúp nhà trường điều chỉnh chương trình đào tạo phù hợp hơn với nhu cầu thực tế.

4.2. Ứng dụng trong tư vấn học tập

Dữ liệu từ các mô hình dự đoán được sử dụng để tư vấn cho sinh viên trong việc lựa chọn môn học, từ đó nâng cao kết quả học tập của họ.

V. Kết luận và định hướng tương lai cho dự đoán kết quả học tập

Dự đoán kết quả học tập sinh viên bằng khai phá dữ liệu là một xu hướng cần thiết trong giáo dục hiện đại. Trường Cao đẳng Sư phạm Hà Nội cần tiếp tục phát triển và hoàn thiện các mô hình dự đoán để nâng cao chất lượng đào tạo.

5.1. Định hướng nghiên cứu trong tương lai

Trường cần nghiên cứu thêm về các kỹ thuật khai phá dữ liệu mới và cải thiện hệ thống quản lý dữ liệu để nâng cao độ chính xác của các mô hình dự đoán.

5.2. Tăng cường hợp tác với các tổ chức giáo dục

Hợp tác với các tổ chức giáo dục và nghiên cứu sẽ giúp trường cập nhật các phương pháp mới và nâng cao chất lượng đào tạo.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh các trường đại học và cao đẳng tại Việt Nam chuyển đổi sang đào tạo theo học chế tín chỉ, việc tư vấn học tập nhằm nâng cao kết quả học tập của sinh viên trở thành một thách thức lớn đối với các cấp quản lý giáo dục. Trường Cao đẳng Sư phạm Hà Nội, với hơn 55 năm kinh nghiệm đào tạo giáo viên cho thủ đô, đã chứng kiến sự gia tăng số lượng sinh viên từ 569 năm học 2010-2011 lên hơn 1000 sinh viên năm học 2012-2013. Tuy nhiên, việc quản lý và khai thác dữ liệu điểm học tập hiện nay vẫn còn nhiều hạn chế, chủ yếu dựa trên các phần mềm quản lý như Edusoft và xử lý thủ công qua Excel, gây khó khăn trong việc phân tích đa chiều và dự đoán kết quả học tập.

Mục tiêu nghiên cứu của luận văn là xây dựng hệ thống khai phá dữ liệu điểm nhằm dự đoán kết quả học tập của sinh viên khoa Tự nhiên, Trường Cao đẳng Sư phạm Hà Nội, dựa trên dữ liệu điểm các học kỳ trước. Nghiên cứu tập trung vào việc xây dựng kho dữ liệu điểm, áp dụng các kỹ thuật phân lớp trong khai phá dữ liệu và sử dụng công cụ SQL Server Business Intelligence Development Studio (BIDS) để phát triển mô hình dự đoán. Phạm vi nghiên cứu bao gồm dữ liệu điểm của sinh viên từ các khóa học 2005 đến 2011, với gần 1.000 bản ghi được xử lý và phân tích.

Ý nghĩa của nghiên cứu thể hiện qua việc cung cấp các báo cáo đa chiều, hỗ trợ tư vấn học tập cá nhân hóa cho sinh viên, đồng thời giúp nhà quản lý có cơ sở khoa học để điều chỉnh chương trình đào tạo và chính sách giáo dục phù hợp với thực tế. Qua đó, nâng cao hiệu quả đào tạo và tăng tỷ lệ sinh viên tốt nghiệp có việc làm, hiện đạt khoảng 83,37% trong năm học 2011-2012.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên ba nền tảng lý thuyết chính:

1. Kho dữ liệu (Data Warehouse): Theo William Inmon, kho dữ liệu là bộ dữ liệu tích hợp, ổn định, hướng chủ đề và gắn với thời gian, phục vụ cho hệ thống hỗ trợ quyết định. Kho dữ liệu được thiết kế theo mô hình dữ liệu đa chiều, gồm các bảng sự kiện (fact tables) và bảng chiều (dimension tables), hỗ trợ phân tích dữ liệu đa chiều qua các thao tác như roll-up, drill-down, slice and dice.

2. Phân tích trực tuyến OLAP (On-Line Analytical Processing): OLAP cho phép truy xuất nhanh và phân tích dữ liệu đa chiều từ kho dữ liệu, cung cấp các công cụ trực quan để nhà quản lý dễ dàng khám phá các mối quan hệ phức tạp trong dữ liệu. OLAP hỗ trợ các thao tác phân tích như tổng hợp, so sánh và lọc dữ liệu theo nhiều chiều khác nhau.

3. Khai phá dữ liệu (Data Mining): Là quá trình phát hiện tri thức tiềm ẩn trong dữ liệu lớn, sử dụng các kỹ thuật như phân lớp (classification), hồi quy (regression), phân nhóm (clustering). Luận văn tập trung vào kỹ thuật phân lớp, đặc biệt thuật toán cây quyết định ID3, dựa trên chỉ số Entropy và Information Gain để xây dựng mô hình dự đoán kết quả học tập.

Các khái niệm chuyên ngành được sử dụng bao gồm: Entropy, Information Gain, mô hình dữ liệu đa chiều, OLAP cube, thuật toán ID3, và công cụ Business Intelligence Development Studio (BIDS) của SQL Server 2008.

Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ phần mềm quản lý đào tạo Edusoft của Trường Cao đẳng Sư phạm Hà Nội, bao gồm hồ sơ cá nhân sinh viên và điểm học tập các môn học từ năm 2005 đến 2011. Dữ liệu được xuất ra dưới dạng file Excel, sau đó được xử lý chuyển đổi font chữ, chuẩn hóa, loại bỏ dữ liệu trùng lặp và thiếu sót, đồng bộ mã môn học và chuyển đổi kiểu dữ liệu sang dạng số.

Cỡ mẫu nghiên cứu gồm gần 1.000 bản ghi điểm và thông tin cá nhân sinh viên khoa Tự nhiên. Phương pháp chọn mẫu là sử dụng toàn bộ dữ liệu có sẵn của các khóa học trong phạm vi nghiên cứu.

Quy trình nghiên cứu gồm các bước: xây dựng cơ sở dữ liệu quan hệ trong SQL Server 2008, chuyển đổi thành kho dữ liệu điểm, áp dụng phân tích OLAP để tạo báo cáo đa chiều, xây dựng và đánh giá các mô hình khai phá dữ liệu dựa trên thuật toán cây quyết định ID3 và mạng neural bằng công cụ BIDS.

Timeline nghiên cứu kéo dài từ thu thập, xử lý dữ liệu, xây dựng kho dữ liệu, phát triển mô hình đến đánh giá kết quả dự đoán, đảm bảo tính khả thi và hiệu quả ứng dụng trong thực tế quản lý đào tạo.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Xây dựng thành công kho dữ liệu điểm: Kho dữ liệu được thiết kế theo mô hình đa chiều với các bảng chiều như Thời gian, Khóa học, Sinh viên và bảng sự kiện chứa điểm tổng kết học phần. Kho dữ liệu tích hợp gần 1.000 bản ghi, hỗ trợ truy vấn và phân tích đa chiều nhanh chóng, đáp ứng nhu cầu báo cáo chiến lược của nhà trường.

2. Phân tích OLAP hiệu quả: Qua các ví dụ phân tích, hệ thống OLAP cho phép truy xuất điểm trung bình khóa học, điểm đầu vào cao nhất theo từng khóa, học kỳ và sinh viên cụ thể. Tính linh hoạt trong việc tạo lát cắt dữ liệu trên nhiều chiều giúp nhà quản lý dễ dàng theo dõi xu hướng học lực và so sánh điểm đầu vào giữa các khóa.

3. Mô hình dự đoán kết quả học tập: Thuật toán cây quyết định ID3 được áp dụng xây dựng mô hình dự đoán xếp loại học tập dựa trên các thuộc tính như giới tính, điểm học kỳ 1, học kỳ 2 và quê quán. Kết quả tính Entropy cho thấy điểm học kỳ 1 và học kỳ 2 có ảnh hưởng mạnh nhất đến kết quả dự đoán, trong khi các thuộc tính khác ít tác động hơn.

4. Đánh giá mô hình qua Lift Chart: So sánh hai mô hình Decision Tree và Neural Network cho thấy mô hình Decision Tree đạt giá trị xác suất dự đoán (predict probability) khoảng 75,61%, thể hiện độ chính xác cao trong việc dự báo xếp loại khá của sinh viên. Biểu đồ Lift Chart minh họa rõ sự vượt trội của mô hình so với dự đoán ngẫu nhiên, với khả năng dự đoán chính xác lên đến 60% dữ liệu thử nghiệm.

Thảo luận kết quả

Nguyên nhân thành công của mô hình dự đoán là do việc xây dựng kho dữ liệu điểm có chất lượng cao, dữ liệu được làm sạch và chuẩn hóa kỹ lưỡng, đồng thời lựa chọn các thuộc tính đầu vào phù hợp dựa trên phân tích Entropy. Kết quả phù hợp với các nghiên cứu trước đây về ứng dụng khai phá dữ liệu trong giáo dục, khẳng định tính hiệu quả của thuật toán cây quyết định trong dự báo kết quả học tập.

So sánh với các phương pháp truyền thống như xử lý thủ công trên Excel, hệ thống BI và khai phá dữ liệu giúp giảm thiểu sai sót, tăng tốc độ xử lý và cung cấp các báo cáo đa chiều phong phú hơn. Việc áp dụng công cụ SQL Server 2008 và BIDS cũng tạo điều kiện thuận lợi cho việc triển khai thực tế tại trường.

Dữ liệu có thể được trình bày qua các biểu đồ như biểu đồ Lift Chart, biểu đồ phân phối điểm theo khóa học, bảng tổng hợp điểm trung bình theo học kỳ và các cây quyết định minh họa luật phân lớp, giúp người dùng dễ dàng hiểu và ứng dụng kết quả.

Đề xuất và khuyến nghị

1. Triển khai hệ thống BI và khai phá dữ liệu trong quản lý đào tạo: Nhà trường cần đầu tư phát triển hệ thống kho dữ liệu điểm và công cụ khai phá dữ liệu để tự động hóa việc phân tích và dự đoán kết quả học tập, nâng cao hiệu quả quản lý. Thời gian thực hiện trong vòng 1 năm, do phòng Công nghệ Thông tin phối hợp với Phòng Đào tạo.

2. Đào tạo cán bộ quản lý và giảng viên về công nghệ khai phá dữ liệu: Tổ chức các khóa đào tạo chuyên sâu về BI, OLAP và Data Mining nhằm nâng cao năng lực sử dụng công nghệ mới trong tư vấn học tập và quản lý đào tạo. Mục tiêu đạt 80% cán bộ chủ chốt được đào tạo trong 6 tháng.

3. Phát triển phần mềm tư vấn học tập cá nhân hóa: Dựa trên mô hình dự đoán kết quả học tập, xây dựng phần mềm hỗ trợ cố vấn học tập đưa ra lịch trình học phù hợp cho từng sinh viên, giúp nâng cao kết quả học tập và giảm tỷ lệ nợ học phần. Thời gian phát triển dự kiến 12 tháng, do phòng Công nghệ Thông tin chủ trì.

4. Cập nhật và mở rộng dữ liệu liên tục: Thiết lập quy trình thu thập, làm sạch và cập nhật dữ liệu điểm học tập thường xuyên để đảm bảo mô hình dự đoán luôn chính xác và phản ánh đúng thực tế. Thực hiện hàng năm, do Phòng Đào tạo phối hợp với các khoa.

Đối tượng nên tham khảo luận văn

1. Nhà quản lý giáo dục: Giúp hiểu rõ về ứng dụng khai phá dữ liệu trong quản lý đào tạo, từ đó xây dựng các chính sách và chiến lược đào tạo hiệu quả hơn, đặc biệt trong bối cảnh chuyển đổi sang học chế tín chỉ.

2. Cán bộ phụ trách tư vấn học tập: Cung cấp công cụ và phương pháp dự đoán kết quả học tập, hỗ trợ tư vấn cá nhân hóa cho sinh viên, nâng cao chất lượng đào tạo và giảm tỷ lệ sinh viên nợ học phần.

3. Giảng viên và nhà nghiên cứu công nghệ thông tin: Tham khảo các kỹ thuật khai phá dữ liệu, mô hình phân lớp và ứng dụng công cụ SQL Server BI trong lĩnh vực giáo dục, từ đó phát triển các nghiên cứu và ứng dụng mới.

4. Sinh viên ngành Công nghệ Thông tin và Quản lý giáo dục: Học hỏi quy trình xây dựng kho dữ liệu, khai phá dữ liệu và phát triển mô hình dự đoán trong thực tế, nâng cao kiến thức chuyên môn và kỹ năng ứng dụng công nghệ.

Câu hỏi thường gặp

1. Khai phá dữ liệu là gì và tại sao quan trọng trong giáo dục?
   Khai phá dữ liệu là quá trình phát hiện tri thức tiềm ẩn trong dữ liệu lớn, giúp dự báo và ra quyết định chính xác hơn. Trong giáo dục, nó hỗ trợ dự đoán kết quả học tập, tư vấn học tập cá nhân và cải tiến chương trình đào tạo.

2. Tại sao chọn thuật toán cây quyết định ID3 cho mô hình dự đoán?
   Thuật toán ID3 đơn giản, dễ hiểu và hiệu quả trong phân lớp dữ liệu. Nó sử dụng Entropy và Information Gain để chọn thuộc tính phân nhánh tốt nhất, phù hợp với dữ liệu điểm học tập có nhiều thuộc tính rời rạc.

3. Làm thế nào để đảm bảo dữ liệu đầu vào cho mô hình là chính xác?
   Dữ liệu được xử lý kỹ lưỡng qua các bước làm sạch, chuẩn hóa, loại bỏ dữ liệu trùng lặp và thiếu sót. Việc chuyển đổi font chữ, đồng bộ mã môn học và chuyển đổi kiểu dữ liệu cũng giúp nâng cao chất lượng dữ liệu.

4. Mô hình dự đoán có thể áp dụng cho các trường khác không?
   Có thể áp dụng với điều kiện dữ liệu điểm và hồ sơ sinh viên được thu thập đầy đủ, chuẩn hóa và tương tự về cấu trúc. Tuy nhiên, cần điều chỉnh mô hình phù hợp với đặc thù từng trường.

5. Lợi ích thực tế của việc áp dụng mô hình dự đoán trong quản lý đào tạo là gì?
   Giúp nhà quản lý có cái nhìn toàn diện về kết quả học tập, dự báo xu hướng, hỗ trợ tư vấn học tập cá nhân, từ đó nâng cao chất lượng đào tạo và tăng tỷ lệ sinh viên tốt nghiệp có việc làm.

Kết luận

• Đã xây dựng thành công kho dữ liệu điểm sinh viên khoa Tự nhiên, Trường Cao đẳng Sư phạm Hà Nội với gần 1.000 bản ghi, hỗ trợ phân tích đa chiều và báo cáo chiến lược.
• Áp dụng hiệu quả thuật toán cây quyết định ID3 và mạng neural trong khai phá dữ liệu để dự đoán kết quả học tập, với độ chính xác dự đoán xếp loại khá đạt trên 75%.
• Kết quả nghiên cứu cung cấp cơ sở khoa học cho việc tư vấn học tập cá nhân hóa và điều chỉnh chương trình đào tạo phù hợp với thực tế.
• Đề xuất triển khai hệ thống BI, đào tạo cán bộ và phát triển phần mềm tư vấn học tập nhằm nâng cao hiệu quả quản lý đào tạo trong thời gian tới.
• Khuyến khích các nhà quản lý, giảng viên và nhà nghiên cứu ứng dụng khai phá dữ liệu trong giáo dục để nâng cao chất lượng đào tạo và đáp ứng yêu cầu phát triển bền vững.

Hành động tiếp theo là triển khai thử nghiệm hệ thống dự đoán trên quy mô rộng hơn, đồng thời mở rộng nghiên cứu ứng dụng các thuật toán khai phá dữ liệu khác nhằm nâng cao độ chính xác và tính ứng dụng thực tiễn. Các đơn vị quản lý đào tạo và khoa Công nghệ Thông tin nên phối hợp chặt chẽ để đưa giải pháp vào vận hành hiệu quả.

Trích đoạn nội dung tài liệu

Chương 1 trình bày về: - Quản lý đào tạo của trường Cao đẳng sư phạm Hà nội: Thực tế, nhu cầu và một số hướng giải quyết. - Đối tượng và phạm vi nghiên cứu của luận văn - Phương pháp nghiên cứu và dự kiến kết quả đạt được 12 LUAN VAN CHAT LUONG download : add [e-mail] Chƣơng 2: CƠ SỞ LÝ THUYẾT 2.Kho dữ liệu 2.Khái niệm về kho dữ liệu Theo William Inmon [12], kho dữ liệu là một bộ dữ liệu có các đặc tính: hướng chủ đề, có tính tích hợp, ổn định, dữ liệu gắn với thời gian, thường được sử dụng trong các hệ thống hỗ trợ quyết định. Kho dữ liệu thường bao gồm: -Một hoặc nhiều công cụ để chiết xuất dữ liệu từ các dạng cấu trúc dữ liệu khác nhau. -Cơ sở dữ liệu tích hợp hướng chủ đề, ổn định được tổng hợp thông qua việc lập các bảng dữ liệu.

Một kho dữ liệu có thể được coi là một hệ thống thông tin với những thuộc tính sau: -Là một cơ sở dữ liệu được thiết kế dành cho nhiệm vụ phân tích, sử dụng các dữ liệu từ các ứng dụng khác nhau. -Hỗ trợ một số người dùng có liên quan, có sử dụng tới các thông tin liên quan. -Nội dung được cập nhật thường xuyên, chủ yếu theo hình thức bổ sung thông tin. -Chứa các dữ liệu trong lịch sử và hiện tại nhằm cung cấp các xu hướng thông tin.

-Chứa các bảng dữ liệu có kích thước lớn. -Một câu hỏi thường trả về một tập kết quả liên quan đến toàn bộ bảng và các liên kết nhiều bảng.Các đặc tính của kho dữ liệu Hƣớng chủ đề: Kho dữ liệu có thể chứa lượng dữ liệu lên tới hàng trăm Gigabyte, được tổ chức theo những chủ đề chính. Kho dữ liệu không chú trọng vào giao tác và việc xử lý giao tác. Thay vào đó, kho dữ liệu tập trung vào việc mô hình hóa, phân tích dữ liệu nhằm hỗ trợ cho nhà quản lý ra quyết định.

Do đó, các kho dữ liệu thường cung cấp một khung nhìn tương đối đơn giản bằng cách loại bớt những dữ liệu không cần thiết trong quá trình ra quyết định. Tính tích hợp: Kho dữ liệu thường được xây dựng bằng cách tổng hợp dữ liệu từ nhiều nguồn khác nhau, ví dụ các cơ sở dữ liệu, những bản ghi thao tác trực tuyến hoặc thậm chí là những file dữ liệu độc lập. Những dữ liệu này tiếp tục được làm sạch, chuẩn hóa để đảm bảo sự nhất quán, sau đó đưa vào kho dữ liệu. 13 LUAN VAN CHAT LUONG download : add [e-mail] Ổn định: Dữ liệu trong kho dữ liệu thường được lưu trữ lâu dài, ít bị sửa đổi, chủ yếu dùng cho việc truy xuất thông tin nên có độ ổn định cao.

Hai thao tác chủ yếu tác động tới kho dữ liệu là: nhập dữ liệu vào và truy xuất. Dữ liệu gắn với thời gian: Do có tính ổn định, kho dữ liệu thường lưu trữ dữ liệu của hệ thống trong khoảng thời gian dài, cung cấp đủ 2.Cấu trúc hệ thống của kho dữ liệu Hệ thống kho dữ liệu thường bao gồm 3 tầng: Hình 2.1: Cấu trúc hệ thống kho dữ liệu Tầng đáy: Là nơi lấy dữ liệu từ nhiều nguồn khác nhau sau đó làm sạch, chuẩn hóa, lưu trữ tập trung. Tầng giữa: Thực hiện các thao tác với kho dữ liệu thông qua dịch vụ OLAP (OLAP Server). Có thể cài đặt bằng Relational OLAP, Multidimensional OLAP hay kết hợp cả 2 mô hình trên thành mô hình Hybrid OLAP.

Tầng trên: thực hiện việc truy vấn, khai phá thông tin. 14 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.Dòng dữ liệu của kho dữ liệu Do kho dữ liệu chứa lượng dữ liệu lớn, đồng thời hạn chế thao tác sửa đổi nên rất thích hợp cho việc phân tích dài hạn và báo cáo. Các thao tác với dữ liệu của kho dữ liệu chủ yếu dựa trên cơ sở là Mô hình dữ liệu đa chiều (MultiDimensional data model), thường áp dụng cho các khối dữ liệu (Data cube). Khối dữ liệu là trung tâm của vấn đề cần phân tích, bao gồm một hay nhiều tập dữ kiện (fact) và các dữ kiện được tạo ra từ nhiều chiều (dimension) dữ kiện khác nhau.2: Dòng dữ liệu trong kho dữ liệu Đầu tiên, dữ liệu được lấy trong các hệ cơ sở dữ liệu tác nghiệp, có thể ở nhiều dạng khác nhau, dữ liệu được làm sạch, chuẩn hóa rồi đưa vào kho dữ liệu, cuối cùng dữ liệu được lấy từ kho dữ liệu phục vụ cho các phân tích khác nhau.Ứng dụng của kho dữ liệu Kho dữ liệu được đưa vào ba mảng ứng dụng chính.

Theo như cách khai thác truyền thống đối với cơ sở dữ liệu, kho dữ liệu được sử dụng để khai thác thông tin bằng các công cụ thực hiện truy vấn và báo cáo. Nhờ việc dữ liệu thô đã được chuyển sang thành các dữ liệu ổn đinh, có chất lượng nên kho dữ liệu đã giúp nâng cao kỹ thuật biểu diễn thông tin truyền thông. Dữ liệu đầu vào của các kỹ thuật này được đặt vào một nguồn duy nhất, giúp loại bỏ nhiều lỗi sinh ra do phải thu thập và biểu diễn thông tin từ nhiều nguồn khác nhau đồng thời giảm bớt sự chậm trễ do phải lấy 15 LUAN VAN CHAT LUONG download : add [e-mail] dữ liệu từ những phân đoạn khác nhau, tránh cho người dùng phải viết những truy vấn SQL quá phức tạp. Với cách thứ hai, các kho dữ liệu được sử dụng để hỗ trợ cho phân tích trực tuyến (OLAP).

Trong khi ngôn ngữ SQL và các công cụ xây dựng báo cáo truyền thống chỉ có thể mô tả những gì có trong cơ sở dữ liệu thì phân tích trực tuyến có khả năng phân tích dữ liệu, xác định xem giả thuyết đúng hay sai. Tuy nhiên, phân tích trực tuyến lại không có khả năng đưa ra các giả thuyết. Ngoài ra, sử dụng OLAP còn giúp phân tích tổng hợp dữ liệu, đưa ra kết quả bằng các báo cáo hoặc bảng biểu trực quan. Cách thứ ba để khai thác kho dữ liệu là dựa trên các kỹ thuật khai phá.

Đây là một phương pháp mới, đáp ứng được cả những yêu cầu trong nghiên cứu khoa học cũng như yêu cầu trong thực tiễn. Các kết quả thu được mang nhiều tính dự báo, dự đoán, dùng trong việc xây dựng kế hoạch, chiến lược. Các lĩnh vực hiện tại áp dụng kho dữ liệu: -Thương mại điện tử. -Kế hoạch hóa nguồn lực doanh nghiệp (ERP – Enterprise Resource Planning).

-Quản lý quan hệ khách hàng (CRM – Customer Relationship Management). -Chăm sóc sức khỏe.Mô hình dữ liệu sử dụng trong kho dữ liệu Dữ liệu trong kho được thiết kế theo mô hình dữ liệu đa chiều (Dimensional Modeling). Mô hình dữ liệu đa chiều sử dụng ba khái niệm cơ bản: Khối (Cubes), Sự kiện (Facts), Chiều (Dimensions). Mô hình không phù hợp với hệ thống OLTP và dữ liệu được thao tác bởi các công cụ OLAP.

Cơ sở dữ liệu đa chiều thường quan tâm đến hai mức tổng hợp và chi tiết nên kích thước thường rất lớn. Đồng thời, chúng thường quan tâm đến yếu tố thời gian, dùng để theo dõi biến động thực tế theo thời gian. Do đó, chiều thời gian được dùng làm bản lề cho mọi phân tích. Bảng chiều: Chứa dữ liệu miêu tả về một công việc, đối tượng.

Kích thước tương đối nhỏ so với bảng Sự kiện. Đây là bộ lọc hoặc các ràng buộc của những sự kiện ở bảng sự kiện. Bảng sự kiện: Kích thước lớn, chứa dữ liệu định lượng hoặc sự kiện (có độ đo số học) Khối: Một khối có thể có nhiều chiều. Mô hình dữ liệu của kho dữ liệu có thể thiết lập theo: -Sơ đồ hình sao (star schema): Một bảng sự kiện ở trung tâm được kết nối với một tập các bảng chiều.

16 LUAN VAN CHAT LUONG download : add [e-mail] -Sơ đồ bông tuyết (Snowflake schema): Một mở rộng của sơ đồ hình sao trong đó một vài cấu trúc chiều được chuẩn hóa thành một tập các bảng chiều nhỏ hơn, hình thức tương tự như bông tuyết.Các bước xây dựng kho dữ liệu Các bước xây dựng kho dữ liệu: -Lập kế hoạch tổng thể. -Xác định yêu cầu. -Mở rộng và duy trì.Phân tích trực tuyến (OLAP) 2. OLAP OLAP là một kỹ thuật sử dụng các thể hiện dữ liệu đa chiều gọi là các khối (cube) nhằm cung cấp khả năng truy xuất nhanh đến dữ liệu của kho dữ liệu.

Tạo khối (cube) cho dữ liệu trong các bảng chiều (dimension table) và bảng sự kiện (fact table) trong kho dữ liệu và cung cấp khả năng thực hiện các truy vấn tinh vi và phân tích cho các ứng dụng client. Trong khi kho dữ liệu và data mart lưu trữ dữ liệu cho phân tích, thì OLAP là kỹ thuật cho phép các ứng dụng client truy xuất hiệu quả dữ liệu này. OLAP cung cấp nhiều lợi ích cho người phân tích, cho ví dụ như: Cung cấp mô hình dữ liệu đa chiều trực quan cho phép dễ dàng lựa chọn, định hướng và khám phá dữ liệu. Cung cấp một ngôn ngữ truy vấn phân tích, cung cấp sức mạnh để khám phá các mối quan hệ trong dữ liệu kinh doanh phức tạp.

Dữ liệu được tính toán trước đối với các truy vấn thường xuyên nhằm làm cho thời gian trả lời rất nhanh đối với các truy vấn đặc biệt. Cung cấp các công cụ mạnh giúp người dùng tạo các khung nhìn mới của dữ liệu dựa trên một tập các hàm tính toán đặc biệt. OLAP được đặt ra để xử lý các truy vấn liên quan đến lượng dữ liệu rất lớn mà nếu cho thực thi các truy vấn này trong hệ thống OLTP sẽ không thể cho kết quả hoặc sẽ mất rất nhiều thời gian.Mô hình dữ liệu đa chiều Các nhà quản lý kinh doanh có khuynh hướng suy nghĩ theo “nhiều chiều” (multidimensionally). Suy nghĩ một cách trực giác, việc kinh doanh như một khối (cube) dữ liệu, với các nhãn trên mỗi cạnh của khối (xem hình bên dưới).

Các điểm bên trong khối là các giao điểm của các cạnh. Các cạnh của khối là Sản phẩm, Thị trường, và Thời 17 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Hầu hết mọi người đều có thể nhanh chóng hiểu và tưởng tượng rằng các điểm bên trong khối là các độ đo hiệu quả kinh doanh mà được kết hợp giữa các giá trị Sản phẩm, Thị trường và Thời gian. Saûn phaåm Thôøi gian Thò tröôøng Hình 2.3: Mô hình đa chiều 2.

Mô phỏng các chiều trong kinh doanh Một khối dữ liệu (datacube) thì không nhất thiết phải có cấu trúc 3 chiều (3-D), nhưng về cơ bản là có thể có N chiều (N-D). Những cạnh của khối được gọi là các chiều (dimensions), mà đó là các mặt hoặc các thực thể ứng với những khía cạnh mà tổ chức muốn ghi nhận.