Đồ án Phân Tích và Cảnh Báo Xu Hướng Học Tập của Sinh Viên

Đồ án phân tích xu hướng học tập của sinh viên: Cảnh báo sớm các vấn đề, giúp cải thiện kết quả học tập. Tìm hiểu giải pháp tối ưu cho sinh viên.

• Tác giả: Đặng Khắc Lộc
• Người hướng dẫn: TS. Nguyễn Lưu Thùy Ngân
• Trường học: Trường Đại học Công nghệ Thông tin
• Chuyên ngành: Đồ án 1
• Đề tài: Phân Tích Và Cảnh Báo Xu Hướng Học Tập Của Sinh Viên
• Loại tài liệu: Báo cáo đồ án
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI NÓI ĐẦU
• 1. CHƯƠNG 1
• 1.1. Giới thiệu chung
• 1.2. Các nghiên cứu liên quan đến đề tài
• 1.3. Mục tiêu thực hiện đề tài
• 1.4. Phương pháp để hiện thực hóa mục tiêu đề tài
• 1.5. Dữ liệu sử dụng
• 2. CÁC NGUYÊN TẮC CHUẨN BỊ BỘ DỮ LIỆU
• 2.1. Giới thiệu chung
• 2.2. Làm sạch dữ liệu
• 2.3. Tích hợp dữ liệu
• 2.4. Biến đổi (mã hóa) dữ liệu
• 2.5. Rút gọn dữ liệu
• 3. CÁC MÔ HÌNH KHAI THÁC DỮ LIỆU
• 3.1. Giới thiệu chung
• 3.2. Các phân phối thường dùng trong NBC
• 3.3. Nhận xét thêm
• 3.4. Bagging With Random Forest
• 3.5. Nhận xét thêm
• 3.6. Multilayer neural network and backpropagation
• 3.7. Thí nghiệm Naïve Bayes
• 3.8. Thí nghiệm Bayesian Network
• 3.9. Thí nghiệm Decision tree(J48)
• 3.10. Thí nghiệm Bagging With Random Forest
• 3.11. Thí nghiệm Multilayer neural network
• 4. PHÂN TÍCH KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 4.1. Phân tích kết luận
• 4.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Xu Hướng Học Tập Sinh Viên Phân Tích Chi Tiết

Tình trạng sinh viên bỏ học là một vấn đề nhức nhối không chỉ ở các nước đang phát triển mà còn ở các nước phát triển. Theo Cơ quan Thống kê Giáo dục Đại học (HESA) ở Anh, tỷ lệ bỏ học của sinh viên đại học đã tăng lên trong ba năm qua. Năm 2015, 26.000 sinh viên ở Anh đã bỏ học sau năm đầu tiên (HESA). Điều này đặt ra thách thức lớn cho các trường đại học, đặc biệt là việc dự đoán hiệu suất học tập của sinh viên. Các trường đại học tại Việt Nam đang triển khai học chế tín chỉ, khiến sinh viên lúng túng trong việc lựa chọn môn học. Giáo viên cố vấn cần nhiều thời gian và công sức để hỗ trợ sinh viên một cách hiệu quả. Việc sử dụng dữ liệu giáo dục để phân tích xu hướng học tập sinh viên trở nên vô cùng quan trọng, giúp sinh viên và cố vấn học tập đưa ra quyết định tốt hơn. Đề tài phân tích xu hướng học tập này vô cùng cần thiết và thực tế.

1.1. Tầm quan trọng của việc phân tích xu hướng học tập sinh viên

Việc phân tích xu hướng học tập giúp xác định sớm những sinh viên có nguy cơ học tập yếu kém. Điều này cho phép nhà trường và giáo viên can thiệp kịp thời, cung cấp hỗ trợ phù hợp để cải thiện hiệu quả học tập. Phân tích dữ liệu cũng giúp sinh viên tự nhận thức được điểm mạnh và điểm yếu của bản thân, từ đó điều chỉnh phương pháp học tập phù hợp. Ngoài ra, các trường có thể dự đoán tỷ lệ bỏ học và tìm biện pháp đối phó.

1.2. Thách thức trong việc dự đoán kết quả học tập sinh viên

Việc dự đoán kết quả học tập là một nhiệm vụ phức tạp, vì nó bị ảnh hưởng bởi nhiều yếu tố: xã hội, môi trường, hành vi và thậm chí tâm lý của sinh viên. Tâm lý chủ quan hay quyết tâm hơn cũng có thể ảnh hưởng trực tiếp đến hiệu suất học tập. Do đó, việc ứng dụng các thuật toán học máy để khám phá mối quan hệ giữa các yếu tố này và kết quả học tập trở nên quan trọng.

II. Các Nghiên Cứu Liên Quan Phương Pháp Học Tập Hiệu Quả

Phân tích xu hướng học tập của sinh viên là một lĩnh vực nghiên cứu quan trọng, với nhiều công trình đã được thực hiện nhằm dự đoán hiệu suất học tập dựa trên các phương pháp khác nhau. Các thuật toán học máy ngày càng được sử dụng rộng rãi để khám phá mối quan hệ giữa các yếu tố ảnh hưởng đến kết quả học tập. Nhiều mô hình dự đoán giáo dục đã được phát triển để hỗ trợ sinh viên cải thiện hiệu quả học tập. Các nghiên cứu so sánh các phương pháp phân loại, ví dụ như phương pháp Bayes, để xác định các mẫu hữu ích từ dữ liệu cá nhân và tiền đại học của sinh viên, nhằm dự đoán hiệu suất của sinh viên tại trường đại học. Một số nghiên cứu tập trung vào việc xác định các thuộc tính có ảnh hưởng nhất đến sinh viên thất bại hoặc dự đoán các sinh viên học chậm để cải thiện hiệu suất của họ và giảm tỷ lệ thất bại.

2.1. Sử dụng phương pháp Bayes trong dự đoán kết quả học tập

Nhiều nghiên cứu đã sử dụng phương pháp Bayes để dự đoán hiệu suất của sinh viên. Bài viết “Predicting student performance by using data mining methods for classification.” so sánh cách tiếp cận Bayes với các cách tiếp cận phân loại khác để xác định các mẫu hữu ích có thể được trích xuất từ dữ liệu cá nhân và tiền đại học của sinh viên để dự đoán hiệu suất của sinh viên tại trường đại học (Tham khảo [2]).

2.2. Xác định các yếu tố ảnh hưởng đến thành tích học tập

Nhiều nghiên cứu tập trung vào việc xác định các thuộc tính quan trọng ảnh hưởng đến thành tích học tập của sinh viên. Ví dụ, nghiên cứu “Prediction of student performance using weka tool” sử dụng cách tiếp cận tương tự cho một nghiên cứu so sánh các thuật toán phân loại nhưng mục đích của họ là phân loại các sinh viên và xác định các thuộc tính có ảnh hưởng nhất đến sinh viên thất bại (Tham khảo [3]).

2.3. Dự đoán và hỗ trợ sinh viên học chậm

Một số nghiên cứu tập trung vào việc dự đoán và hỗ trợ sinh viên học chậm để cải thiện hiệu suất học tập. Bài viết “Classification and prediction based data mining algorithms to predict slow learners in education sector” đã thực hiện một nghiên cứu để phân tích dữ liệu nhân khẩu học, xã hội và đánh giá để dự đoán các sinh viên học chậm để cải thiện hiệu suất của họ và giảm tỷ lệ thất bại trước kỳ thi (Tham khảo [4]).

III. Phương Pháp Phân Tích Dữ Liệu Học Tập Sinh Viên Hiệu Quả Nhất

Để hiện thực hóa mục tiêu phân tích và dự đoán xu hướng học tập của sinh viên, cần thực hiện các bước sau: Khảo sát các nghiên cứu liên quan từ các hội nghị và trường đại học uy tín. Xây dựng dữ liệu cho bài toán dựa theo các quy tắc: làm sạch dữ liệu, tích hợp dữ liệu, biến đổi (mã hóa) dữ liệu, rút gọn dữ liệu. Phân tích dữ liệu bằng các kỹ thuật phù hợp: phân tích thống kê và các kỹ thuật như Naïve Bayes, Bayesian Network, Cây quyết định, Bagging Predictors, ANN. Cài đặt thí nghiệm và đánh giá kết quả. Rút ra các kết luận về ưu, nhược điểm và hướng cải tiến cho tương lai.

3.1. Quy trình chuẩn bị dữ liệu cho phân tích xu hướng

Quá trình chuẩn bị dữ liệu đóng vai trò then chốt trong việc đảm bảo tính chính xác và hiệu quả của phân tích. Các bước quan trọng bao gồm: làm sạch dữ liệu để loại bỏ sai sót và giá trị thiếu; tích hợp dữ liệu từ nhiều nguồn khác nhau; biến đổi và mã hóa dữ liệu để phù hợp với các thuật toán học máy; và rút gọn dữ liệu để giảm kích thước và tăng tốc độ xử lý.

3.2. Các kỹ thuật phân tích dữ liệu học tập sinh viên

Nhiều kỹ thuật có thể được sử dụng để phân tích dữ liệu học tập. Phân tích thống kê cung cấp cái nhìn tổng quan về dữ liệu. Các thuật toán học máy như Naïve Bayes, Bayesian Network, Cây quyết định, Bagging Predictors và Mạng nơ-ron nhân tạo (ANN) có thể được sử dụng để dự đoán xu hướng học tập và xác định các yếu tố quan trọng.

3.3. Đánh giá và cải tiến mô hình dự đoán

Sau khi xây dựng mô hình, cần đánh giá hiệu suất của nó bằng cách sử dụng các bộ dữ liệu kiểm tra. Các chỉ số như độ chính xác, độ tin cậy và độ bao phủ có thể được sử dụng để đánh giá mô hình. Dựa trên kết quả đánh giá, cần điều chỉnh các tham số của mô hình hoặc sử dụng các kỹ thuật khác để cải thiện hiệu suất.

IV. Naive Bayes Bí Quyết Dự Đoán Xu Hướng Học Tập Đơn Giản

Naive Bayes classifiers có tốc độ huấn luyện và kiểm thử rất nhanh. Việc này giúp nó mang lại hiệu quả cao trong các bài toán large-scale. Ở bước huấn luyện, các phân phối p(c) và p(xi|c), i = 1, . , d sẽ được xác định dựa vào dữ liệu huấn luyện. Việc xác định các giá trị này có thể có thể dựa vào MLE hoặc MAP. Ở bước kiểm thử, label của một điểm dữ liệu mới x được xác đinh bởi một công thức. Sự đơn giản của NBC mang lại hiệu quả đặc biệt trong các bài toán phân loại văn bản, ví dụ bài toán lọc tin nhắn hoặc email rác. Có ba loại phân bố xác suất thường được sử dụng phổ là Gaussian naive Bayes, multinomial naive Bayes, và Bernoulli Naive.

4.1. Ưu điểm của thuật toán Naive Bayes trong phân tích dữ liệu

Naive Bayes classifiers có thời gian huấn luyện và kiểm thử rất nhanh, phù hợp với các bài toán large-scale. Nếu giả sử về tính độc lập được thoả mãn, Naive Bayes classifiers được cho là cho kết quả tốt hơn so với support vector machine và logistic regression khi có ít dữ liệu huấn luyện. Nó có thể hoạt động với các vector đặc trưng mà một phần là liên tục, phần còn lại ở dạng rời rạc.

4.2. Các loại phân phối thường dùng trong Naive Bayes

Gaussian naive Bayes được sử dụng chủ yếu trong loại dữ liệu mà các thành phần là các biến liên tục. Multinomial naive Bayes chủ yếu được sử dụng trong phân loại văn bản. Bernoulli Naive Bayes được áp dụng cho các loại dữ liệu mà mỗi thành phần là một giá trị nhị phân– bằng 0 hoặc 1.

V. Cây Quyết Định Decision Tree Hướng Dẫn Sử Dụng Trong Giáo Dục

Decision tree là một mô hình supervised learning, có thể được áp dụng vào cả hai bài toán classification và regression. Một điểm đáng lưu ý của decision tree là nó có thể làm việc với các đặc trưng dạng categorical, thường là rời rạc và không có thứ tự. Ví dụ, mưa, nắng hay xanh, đỏ, v.v. Decision tree cũng làm việc với dữ liệu có vector đặc trưng bao gồm cả thuộc tính dạng categorical và liên tục (numeric). Một điểm đáng lưu ý nữa là decision tree ít yêu cầu việc chuẩn hoá dữ liệu. Với các bài toán có nhiều thuộc tính và mỗi thuộc tính có nhiều giá trị khác nhau, việc tìm được nghiệm tối ưu thường là không khả thi. Hàm entropy cũng được sử dụng trong việc đo độ vẩn đục của một phép phân chia của ID3. Vì lý do này, ID3 còn được gọi là entropy based decision tree.

5.1. Ưu điểm của cây quyết định trong phân tích dữ liệu

Decision tree có thể làm việc với các đặc trưng dạng categorical và liên tục, ít yêu cầu chuẩn hóa dữ liệu. Nó còn dễ dàng giải thích và trực quan hóa hơn so với các mô hình phức tạp khác, cho phép người dùng hiểu rõ các quy tắc và logic đằng sau quyết định của mô hình.

5.2. Sử dụng hàm Entropy để xây dựng cây quyết định

Entropy là một hàm số đo độ tinh khiết hoặc độ vẩn đục của một phép phân chia. Hàm entropy được sử dụng để chọn thuộc tính tốt nhất để phân chia dữ liệu tại mỗi node của cây quyết định. ID3 còn được gọi là entropy based decision tree.

VI. Dự Báo Kết Quả Học Tập Kết Luận và Tương Lai Phát Triển

Việc phân tích và dự đoán xu hướng học tập của sinh viên là một lĩnh vực đầy tiềm năng, với nhiều cơ hội để cải thiện hiệu quả và chất lượng giáo dục. Các kỹ thuật học máy, đặc biệt là Naive Bayes, Bayesian Network và Cây quyết định, có thể được sử dụng để xây dựng các mô hình dự đoán chính xác, từ đó giúp các trường đại học và giáo viên hỗ trợ sinh viên một cách hiệu quả hơn. Trong tương lai, cần tập trung vào việc thu thập và xử lý dữ liệu một cách toàn diện, phát triển các thuật toán học máy mạnh mẽ hơn và tích hợp các mô hình dự đoán vào các hệ thống hỗ trợ học tập cá nhân hóa.

6.1. Hướng phát triển trong phân tích dữ liệu giáo dục

Các hướng phát triển bao gồm: sử dụng các kỹ thuật học sâu (deep learning) để xây dựng các mô hình dự đoán phức tạp hơn; tích hợp dữ liệu từ nhiều nguồn khác nhau, bao gồm dữ liệu học tập trực tuyến, dữ liệu mạng xã hội và dữ liệu tâm lý; và phát triển các hệ thống hỗ trợ học tập cá nhân hóa dựa trên các mô hình dự đoán.

6.2. Ứng dụng kết quả phân tích vào thực tiễn giáo dục

Kết quả phân tích có thể được sử dụng để: xác định sớm những sinh viên có nguy cơ học tập yếu kém và cung cấp hỗ trợ kịp thời; phát triển các chương trình học tập phù hợp với nhu cầu và khả năng của từng sinh viên; cải thiện chất lượng giảng dạy và đánh giá; và dự đoán tỷ lệ bỏ học và tìm biện pháp đối phó.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN 1.1 Giới thiệu chung “Theo Cơ quan Thống kê Giáo dục Đại học (HESA) ở Anh, tỷ lệ bỏ học của các sinh viên đại học đã tăng lên trong ba năm qua. Số liệu thống kê được công bố bởi HESA tiết lộ rằng tổng cộng 26.000 sinh viên ở Anh năm 2015 đã bỏ học từ các chương trình học đã đăng ký sau năm đầu tiên. Ngoài ra, số liệu thống kê cho thấy trình độ giáo dục đại học (HE) mà người học đạt được cho tất cả các cấp, bao gồm cả bậc đại học và sau đại học, đã giảm từ 788. [1] Qua dẫn chứng trên chúng ta thấy được thực trạng sinh viên bỏ học không chỉ là vấn đề đáng quan tâm của các nước đang phát triển hay những nước chưa phát triển.

Mà ở những nước lớn thì đây vẫn là 1 vấn đề nhức nhối cần nghiên cứu và khắc phục. Ảnh minh họa trường đại học 1 Thách thức đối với các trường đại học tại Việt Nam: Chính vì từ tính chất quan trọng đã nêu trên việc dự đoán hiệu suất học tập của sinh viên nhằm phát hiện sớm các sinh viên yếu kém để giúp họ lập kế hoạch học tập phù hợp là một nhu cầu cần thiết ở các trường đại học, cụ thể là đối với cố vấn học tập và ban giám hiệu nhà trường. Bên cạnh đó, các trường đại học tại Việt Nam đã triển khai theo học chế tín chỉ nên các sinh viên thường bị lúng túng khi lựa chọn môn học do có nhiều môn được giảng dạy trong một học kỳ. Khi đó, bên cạnh khả năng tự tìm hiểu thì sinh viên sẽ cần đến sự trợ giúp của giáo viên cố vấn.

Tuy nhiên, bên cạnh kinh nghiệm của mình thì giáo viên cố vấn sẽ phải tra cứu kết quả học tập của từng sinh viên, tìm hiểu hoàn và tư chất của sinh viên để trợ giúp tuỳ theo năng lực của mỗi em, do đó khá tốn thời gian và công sức. Vấn đề đặt ra là làm sao để sử dụng nguồn dữ liệu giáo dục để khai phá và phân tích được xu hướng học tập của sinh viên trong tương lai nhằm giúp cho cả sinh viên và cố vấn học tập. Ảnh minh họa trường đại học 2 1.2 Các nghiên cứu liên quan đến đề tài Phân tích, dự đoán xu hướng học tập của sinh viên là một nhiệm vụ rất khó khăn vì nó bị ảnh hưởng bởi các yếu tố xã hội, môi trường và hành vi. Thậm chí tâm lý của sinh viên (chủ quan, hay quyết tâm hơn …) cũng trực tiếp ảnh hưởng đến hiệu suất học tập trong tương lai.

Do đó, thuật toán học máy ngày càng được sử dụng để khám phá mối quan hệ giữa các yếu tố này và kết quả học tập của sinh viên. Có nhiều mô hình dự đoán giáo dục khác nhau để hỗ trợ sinh viên nhằm giúp họ đạt được sự cải thiện trong học tập. Một số lượng đáng kể các nghiên cứu đã được thực hiện để dự đoán hiệu suất của các sinh viên dựa trên phương pháp Bayes. Ví dụ bài “Predicting student performance by using data mining methods for classification.” [2] đã so sánh cách tiếp cận Bayes với các cách tiếp cận phân loại khác để xác định các mẫu hữu ích có thể được trích xuất từ dữ liệu cá nhân và tiền đại học của sinh viên để dự đoán hiệu suất của sinh viên tại trường đại học.

Tương tự, các tác giả của bài “Prediction of student performance using weka tool.” [3] đã sử dụng cách tiếp cận tương tự cho một nghiên cứu so sánh các thuật toán phân loại nhưng mục đích của họ là phân loại các sinh viên và xác định các thuộc tính có ảnh hưởng nhất đến sinh viên thất bại. Hoặc bài “Classification and prediction based data mining algorithms to predict slow learners in education sector” [4] đã thực hiện một nghiên cứu để phân tích dữ liệu nhân khẩu học, xã hội và đánh giá để dự đoán các sinh viên học chậm để cải thiện hiệu suất của họ và giảm tỷ lệ thất bại trước kỳ thi.3 Mục tiêu thực hiện đề tài 1. Tìm hiểu các phương pháp khoa học dữ liệu khác nhau liên quan đến phân tích dữ liệu giáo dục, tập trung vào các phương pháp dự đoán xu hướng kết quả học tập của sinh viên. Thử nghiệm, đánh giá một số phương pháp dự đoán xu hướng kết quả học tập của sinh viên.4 Phương pháp để hiện thực hóa mục tiêu đề tài Khảo sát các nghiên cứu có liên quan tại các hội nghị, trường đại học có uy tín.

Xây dựng dữ liệu cho bài toán dựa theo các quy tắc sau: • Làm sạch dữ liệu • Tích hợp dữ liệu • Biến đổi (Mã hóa) dữ liệu • Rút gọn dữ liệu Tiến hành phân tích dữ liệu theo cách phù hợp: phân tích thống kê và các kỹ thuật: Naïve Bayes, Bayesian Network, Cây quyết định, Bagging Predictors, ANN để phục vụ mục tiêu dự đoán tình trạng học tập của đối tượng sinh viên. Cài đặt thí nghiệm và đánh giá kết quả. Rút ra các kết luận về ưu, nhược điểm và hướng cải tiến cho tương lai.5 Dữ liệu sử dụng Dữ liệu dùng để phân tích của tôi là dữ liệu ở bậc đại học dạng bảng gồm có các thuộc tính: Số thứ tự người học đó (chỉ số đã được mã hóa để không thể hiện tên cá nhân), ngành học của người học đó, số tín chỉ người đó đã học, điểm trung bình, phương thức trúng tuyển đầu vào đại học, điểm trúng tuyển năm đại học, mã tỉnh thường trú, mã trường thpt, ghi chú (tình trạng học tập của sinh viên, còn học, đã tốt nghiệp, đã thôi học,…). Dữ liệu có tất cả 4 khóa tuyển sinh.

4 CHƯƠNG 2 CÁC NGUYÊN TẮC CHUẨN BỊ BỘ DỮ LIỆU Mô phỏng tổng quan về quá trình chuẩn bị bộ dữ liệu 2.1 Giới thiệu chung Sơ đồ giới thiệu sơ lược 5 2.2 Làm sạch dữ liệu Dữ liệu có thể có nhiều phần sai biệt và bị thiếu. Để giải quyết vấn đề này tôi cần làm sạch dữ liệu. Đây là vấn đề quan trọng bậc nhất trước khi muốn thực hiện được 1 kết quả có ích. Bởi vì dữ liệu không chất lượng, không cho kết quả khai thác tốt.

Quyết định đúng đắn của hệ dự đoán phải dựa trên các dữ liệu chính xác. Quy trình thực hiện làm sạch dữ liệu: Điền các giá trị còn thiếu: Tôi tùy biến thực hiện các cách: • Thay thế bằng giá trị trung bình của thuộc tính. • Thay thế bằng giá trị phổ biến nhất trong cùng thuộc tính • Thay thế bằng giá trị trung bình của thuộc tính trong cùng lớp. • Thay thế bằng giá trị có nhiều khả năng nhất: suy ra từ cây quyết định, … ✓ Như đối với dữ liệu điểm, số tín chỉ, ngành học thường loại dữ liệu này sẽ ít bị thiếu, bị mâu thuẫn vì đây là loại dữ liệu bắt buộc và được ưu tiên lưu trữ, bảo quản hàng đầu.

✓ Còn các loại dữ liệu còn lại thì khả năng cao sẽ bị thiếu nhiều dẫn đến việc tôi phải áp dụng các kỹ thuật nêu trên để khắc phục được sự thiếu sót đó. ✓ Đối với Khóa 1 cách thức tuyển thẳng thì đôi khi sẽ không có lưu lại dữ liệu về mã tỉnh thành sinh sống, mã trường trung học phổ thông và điểm trúng tuyển. Đối với trường hợp này tôi thực hiện điền giá trị mã tỉnh trước bằng 6 cách sử dụng cây quyết định. Tôi sử dụng tất cả các instance có phương thức tuyển sinh đã có mã tỉnh để huấn luyện nhằm mục đích dự đoán mã tỉnh cho các instance dữ liệu còn thiếu mã tỉnh (thường là các instance có phương thức tuyển sinh là tuyển thẳng) _có nghĩa tất cả các thuộc tính kia sẽ là đầu vào còn thuộc tính nhãn sẽ là output cần phân lớp.

Sau khi có được kết quả mã tỉnh đầy đủ của khóa 1, tôi tiến hành điền khuyết mã trường thpt của các instance còn thiếu dựa vào mã trường thpt phổ biến nhất trong tỉnh thường trú (chính là căn cứ vào mã tỉnh) của instance đó. Đối với thuộc tính điểm trúng tuyển thì có 1 số instance có cùng cách thức tuyển thẳng đã có đầy đủ, tôi tiến hành lấy trung bình điểm trúng tuyển của các instance này và gán cho các instance còn thiếu điểm trung bình có cùng cách thức tuyển thẳng. ✓ Đối với khóa 3 trường hợp tương tự cũng xảy ra như khóa 1 cách thức tuyển thẳng thì đôi khi sẽ không có lưu lại dữ liệu về mã tỉnh thành sinh sống, mã trường trung học phổ thông và điểm trúng tuyển. Tại đây tôi thực hiện cách tương tự như trên nhưng với dữ liệu của chính khóa 3 này để giải quyết vấn đề.

✓ Đối với khóa 4 cũng gặp tình huống tương tự như 2 khóa trên, tuy nhiên có instance có thêm phương thức tuyển sinh là xét tuyển theo phương thức khác của đơn vị. Trường hợp này cũng không có đầy đủ mã tỉnh thành sinh sống, mã trường trung học phổ thông và điểm trúng tuyển nên tôi cũng áp dụng tương tự như 2 khóa trên. ✓ Đối với khóa 2 dữ liệu mã tỉnh bị thiếu hoàn toàn, vì vậy tôi quyết định sử dụng dữ liệu của cả 3 khóa trên (1,3,4) để huấn luyện cho cây quyết định và dự đoán ra mã tỉnh cho dữ liệu của khóa 2 này. Sau đó tôi tiến hành điền giá trị thiếu của mã trường thpt và điểm trúng tuyển vào tương tự như cách làm với khóa 1.

7 Xác định các sai biệt, khử tạp nhiễu và chỉnh sửa các dữ liệu mâu thuẫn: ✓ Sau khi tiến hành các bước trên tôi tiến hành ra soát lại và chỉnh sửa các dữ liệu sai biệt, tạp, nhiễu, mâu thuẫn. Điều đặc biệt là dữ liệu sai biệt mâu thuẫn rất ít khi xảy ra vì theo tôi nhờ các lý do như: các thuộc tính ngành đào tạo, số tín chỉ, điểm trung bình tích lũy, phương thức trúng tuyển tương đối đủ. Dựa vào đây tôi tiến hành điền thêm các giá trị còn thiếu vào các thuộc tính mã tỉnh, điểm trúng tuyển, mã trường thpt là hết sức hợp lý, khó gây ra mâu thuẫn. Vì thuộc tính phương thức trúng tuyển sẽ chi phối điểm trúng tuyển và mã tỉnh sẽ chi phối mã trường thpt.

Còn về dữ liệu tạp, nhiễu thì tôi không phát hiện trong quá trình rà soát lại.3 Tích hợp dữ liệu Tổng hợp và tích hợp dữ liệu từ nhiều CSDL và tập tin khác nhau khác nhau, điều này là cần thiết các dữ liệu như tôi nêu trên là tập hợp của đa dạng các loại dữ liệu khác nhau.