Luận văn thạc sĩ về dự báo trạng thái học tập của sinh viên thông qua phân lớp dữ liệu chồng lấp

Luận văn thạc sĩ khám phá phương pháp phân lớp dữ liệu chồng lấp nhằm dự báo sớm trạng thái học tập của sinh viên trong khoa học máy tính.

Trường đại học

Đại học Bách Khoa

Chuyên ngành

Khoa Học Máy Tính

Người đăng

Ẩn danh

Thể loại

luận văn thạc sĩ

2015

70
2
0

Phí lưu trữ

30 Point

Tóm tắt

I. Giới thiệu

Nghiên cứu về dự báo học tập của sinh viên đã trở thành một lĩnh vực quan trọng trong giáo dục hiện đại. Việc áp dụng công nghệ thông tin và các phương pháp khai phá dữ liệu đã giúp nâng cao khả năng phân tích và dự đoán trạng thái học tập của sinh viên một cách hiệu quả hơn. Đặc biệt, vấn đề dữ liệu chồng lấp trong giáo dục thường xuyên xảy ra và gây khó khăn cho các thuật toán phân lớp. Luận văn này nhằm mục đích nghiên cứu và đề xuất phương pháp phân lớp dữ liệu chồng lấp để cải thiện độ chính xác trong việc dự đoán tình trạng học tập của sinh viên. Việc phân tích và xử lý dữ liệu chồng lấp không chỉ giúp nâng cao hiệu suất của các mô hình mà còn góp phần vào việc cải thiện chất lượng giáo dục tổng thể.

1.1 Lý do chọn đề tài

Trong bối cảnh hiện nay, việc dự báo học tập của sinh viên là cần thiết để đảm bảo chất lượng giáo dục. Dữ liệu giáo dục thường xuyên gặp phải các vấn đề như dữ liệu không đầy đủ, không cân bằng và đặc biệt là dữ liệu bị chồng lấp. Những vấn đề này ảnh hưởng lớn đến khả năng phân lớp và dự đoán kết quả học tập của sinh viên. Chính vì vậy, việc nghiên cứu và tìm ra các phương pháp hiệu quả để xử lý dữ liệu chồng lấp là một thách thức lớn. Đề tài này không chỉ giải quyết vấn đề lý thuyết mà còn có ứng dụng thực tiễn trong việc nâng cao chất lượng giáo dục, giúp các giảng viên và quản lý có được thông tin chính xác hơn trong việc đánh giá và hỗ trợ sinh viên.

II. Cơ sở lý thuyết

Chương này sẽ trình bày tổng quan về các thuật toán phân lớp dữ liệu và lý thuyết liên quan đến dữ liệu chồng lấp. Các thuật toán như Cây quyết định, kNN, SVM, AdaBoost, Bagging và Random Forest sẽ được phân tích để hiểu rõ hơn về cách thức hoạt động và ứng dụng của chúng trong bối cảnh giáo dục. Phân tích dữ liệu là một phần không thể thiếu trong việc hiểu rõ cách mà các yếu tố khác nhau ảnh hưởng đến trạng thái học tập của sinh viên. Đặc biệt, việc phát hiện và xử lý dữ liệu chồng lấp sẽ được nhấn mạnh, bởi đây là một trong những thách thức lớn trong việc áp dụng các thuật toán phân lớp vào dữ liệu giáo dục. Nghiên cứu sẽ chỉ ra rằng, việc xử lý hiệu quả dữ liệu chồng lấp có thể cải thiện đáng kể độ chính xác của các mô hình phân lớp.

2.1 Tổng quan về bài toán phân lớp

Phân lớp dữ liệu là một kỹ thuật quan trọng trong khai phá dữ liệu, cho phép phân loại các đối tượng dựa trên các thuộc tính của chúng. Trong lĩnh vực giáo dục, việc phân lớp dữ liệu giúp xác định trạng thái học tập của sinh viên, từ đó đưa ra các can thiệp kịp thời để nâng cao hiệu suất học tập. Tuy nhiên, dữ liệu chồng lấp thường gây khó khăn cho quá trình phân lớp, bởi vì nó làm cho việc phân loại trở nên không chính xác. Các nghiên cứu trước đây đã chỉ ra rằng, việc không xử lý dữ liệu chồng lấp có thể dẫn đến việc giảm độ chính xác của các mô hình phân lớp. Do đó, việc tìm ra các phương pháp hiệu quả để xử lý vấn đề này là rất cần thiết.

III. Đề xuất giải pháp phân lớp dữ liệu chồng lấp

Luận văn đề xuất một phương pháp mới để xử lý dữ liệu chồng lấp bằng cách kết hợp các thuật toán phân lớp khác nhau. Phương pháp này bao gồm việc phân hoạch dữ liệu thành các vùng chồng lấp và không chồng lấp, sau đó áp dụng các thuật toán phân lớp phù hợp cho từng vùng. Việc này không chỉ giúp cải thiện độ chính xác mà còn tăng cường khả năng phân tích của các mô hình. Một trong những điểm nổi bật của phương pháp này là khả năng tự động điều chỉnh các tham số của mô hình dựa trên đặc điểm của dữ liệu. Điều này cho phép các mô hình linh hoạt hơn trong việc xử lý các tình huống phức tạp trong giáo dục.

3.1 Xây dựng mô hình

Mô hình được xây dựng dựa trên dữ liệu đã được xử lý, với các thuật toán phân lớp chính như Decision Tree, SVM và kNN. Các mô hình này sẽ được đánh giá dựa trên độ chính xác và khả năng phân loại đúng các đối tượng trong tập dữ liệu. Việc áp dụng các phương pháp như Bagging và Random Forest sẽ giúp cải thiện đáng kể hiệu suất của mô hình. Đặc biệt, việc phân lớp các vùng chồng lấp sẽ được thực hiện một cách tỉ mỉ để đảm bảo rằng mọi đặc điểm của dữ liệu đều được xem xét. Kết quả thực nghiệm sẽ được phân tích để đánh giá tính hiệu quả của phương pháp đề xuất, từ đó rút ra những bài học quý giá cho việc áp dụng trong thực tế.

IV. Kết quả thực nghiệm và đánh giá

Kết quả thực nghiệm cho thấy phương pháp đề xuất có khả năng cải thiện độ chính xác trong việc phân lớp dữ liệu chồng lấp. Các thử nghiệm được thực hiện trên tập dữ liệu giáo dục đã chứng minh rằng, việc xử lý dữ liệu chồng lấp có thể nâng cao hiệu suất phân lớp lên đến 2% so với các phương pháp truyền thống. Điều này cho thấy rằng, việc áp dụng các kỹ thuật mới trong xử lý dữ liệu không chỉ mang lại lợi ích về mặt lý thuyết mà còn có ứng dụng thực tiễn rõ rệt trong việc nâng cao chất lượng giáo dục. Các mô hình được xây dựng không chỉ giúp dự đoán chính xác hơn mà còn hỗ trợ các nhà quản lý trong việc đưa ra quyết định kịp thời để cải thiện tình trạng học tập của sinh viên.

4.1 Đánh giá mô hình

Đánh giá mô hình được thực hiện thông qua các chỉ số như độ chính xác, độ nhạy và độ đặc hiệu. Kết quả cho thấy rằng, mô hình phân lớp dựa trên phương pháp xử lý dữ liệu chồng lấp có hiệu suất vượt trội so với các mô hình không xử lý. Điều này chứng tỏ rằng, việc chú trọng vào việc xử lý dữ liệu chồng lấp là rất quan trọng trong việc nâng cao hiệu quả của các thuật toán phân lớp. Các kết quả này không chỉ có giá trị trong lĩnh vực giáo dục mà còn có thể được áp dụng trong nhiều lĩnh vực khác, nơi mà dữ liệu chồng lấp thường xuyên xảy ra.

07/01/2025

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP.HCM TRƢỜNG ĐẠI HỌC BÁCH KHOA ------------------------------------------------- HỒ HIẾU PHÂN LỚP DỮ LIỆU CHỒNG LẤP CHO BÀI TOÁN DỰ BÁO SỚM TRẠNG THÁI HỌC TẬP CỦA SINH VIÊN Ngành: Khoa Học Máy Tính Mã số: 604801 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 08 năm 2015 1 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hướng dẫn khoa học: TS. Võ Thị Ngọc Châu Cán bộ chấm nhận xét 1:TS. Bùi Hoài Thắng Cán bộ chấm nhận xét 2:PGS.TS Lê Hoài Bắc Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp.

HCM ngày 10 tháng 08 năm 2015 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. Nguyễn Hứa Phùng 2. Lê Thanh Vân 3. Bùi Hoài Thắng 4.TS Lê Hoài Bắc 5.

Dương Tuấn Anh. \ CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOAKH&KTMT 2 ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƢỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Hồ Hiếu MSHV: Ngày, tháng, năm sinh: 13/04/1989 Nơi sinh: DakLak Chuyên ngành: Khoa Học Máy Tính Mã số : 604801 I. TÊN ĐỀ TÀI: Phân lớp dữ liệu chồng lấp cho bài toán dự báo sớm trạng thái học tập của sinh viên. NHIỆM VỤ VÀ NỘI DUNG: a.

Tìm hiểu lý thuyết về bài toán phân lớp dữ liệu, bài toán phân lớp dữ liệu giáo dục, và bài toán phân lớp dữ liệu bị chồng lấp. Tìm hiểu lý thuyết về các giải thuật phân lớp phổ biến: Cây quyết định, kNN, SVM, AdaBoost, Bagging và Random Forest. Tìm hiểu về các phương pháp xử lý dữ liệu bị chồng lấp : phương pháp loại bỏ, phương pháp sát nhập và phương pháp phân rã. Tìm hiểu các công trình liên quan cho cơ sở lý thuyết của đề tài và cho cơ sở khoa học của việc đánh giá kết quả đạt được của luận văn.

Thực hiện tiền xử lý dữ liệu chồng lấp. Đề xuất giải pháp cho bài toán ―phân lớp dữ liệu chồng lấp cho bài toán dự báo sớm trạng thái học tập nghiệm của sinh viên‖. Tiến hành thực nghiệm cho bài toán phân lớp cho dữ liệu giáo dục trong học chế tín chỉ với các giải thuật phân lớp phổ biến. Đánh giá cách tiếp cận đề xuất dựa trên việc phân tích các kết quả thực nghiệm thu được theo tiêu chí độ chính xác phân lớp.

NGÀY GIAO NHIỆM VỤ : 19/01/2015 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 15/6/2015 V. CÁN BỘ HƯỚNG DẪN : TS. Võ Thị Ngọc Châu CÁN BỘ HƯỚNG DẪN Tp.

năm 2015 TRƯỞNG KHOA…. Võ Thị Ngọc Châu 3 LỜI CÁM ƠN Tôi xin bày tỏ lòng biết ơn chân thành nhất đến TS. Võ Thị Ngọc Châu và TS. Nguyễn Hứa Phùng, Thầy Cô đã khuyến khích, tận tâm chỉ dẫn, truyền đạt những kiến thức và kinh nghiệm quý báu cho tôi từ những ngày đầu cho đến những ngày cuối trong suốt quá trình thực hiện luận văn.

Tôi xin được gửi lời cám ơn đến các quí Thầy Cô giáo tham gia giảng dạy chương trình cao học ở khoa Khoa Học và Kỹ Thuật Máy Tính, trường Đại Học Bách Khoa TP. Hồ Chí Minh đã trang bị cho tôi những kiến thức nền tảng quan trọng trong suốt quá trình tôi theo học. Tôi cũng xin gửi lời cám ơn chân thành đến các cán bộ tham gia tổ chức chương trình sau đại học trường Đại Học Bách Khoa TP. Hồ Chí Minh đã tạo môi trường thuận lợi nhất cho tôi trong suốt quá trình học tập cũng như thực hiện luận văn này.

Và cuối cùng, tôi xin được gửi lời cám ơn đến gia đình và bạn bè, những người đã động viên tôi trong suốt thời gian vừa qua. 4 TÓM TẮT LUẬN VĂN Trong những năm gần đây, nghiên cứu về khai phá dữ liệu đang được phát triển mạnh mẽ. Bởi vì chúng ta đang có sẵn lượng dữ liệu rất lớn và mục tiêu cấp thiết trước mắt đó là chuyển đổi những dữ liệu đó trở thành những thông tin và kiến thức có ích.Việc khai phá dữ liệu trong giáo dục cũng đang được phát triển mạnh mẽ, và một trong các mục tiêu khi khai phá dữ liệu trong giáo dục đó là có thể dự báo sớm trạng thái học tập của sinh viênkhi kết thúc thời gian quy định của chương trình họctừ đó nâng cao chất lượng trong giáo dục. Chính vì khai phá dữ liệu được đẩy mạnh nên có nhiều phương pháp khai phá dữ liệu ra đời.

Và một trong những phương pháp hiệu quả khi khai phá dữ liệu đó là phương pháp phân lớp dữ liệu.Tuy nhiên việc phân lớp dữ liệu trong thực tế luôn gặp phải nhiều khó khăn, bởi vì nó bị ảnh hưởng bởi nhiều vấn đề làm ảnh hưởng lớn đến kết quả phân lớp. Và một trong những vấn đề khó khăn đó là vấn đề dữ liệu bị chồng lấp. Trong môi trường giáo dục thì vấn đề dữ liệu chồng lấp lại thường xuyên xảy ra.Vì thế để việc phân lớp dữ liệu giáo dục có thể đạt được hiệu suất phân lớp cao là một thách thức lớn. Luận văn này đưa ra phương pháp xử lý dữ liệu chồng lấp bằng cách kết hợp phương pháp phân rã (phân hoạch tập dữ liệu ban đầu ra thành từng vùng dữ liệu chồng lấp và không chồng lấp rồi xử lý riêng phần) sau đó cải thiện hiệu suất phân lớp trên vùng dữ liệu bị chồng lấp bằng cách chia nhỏ vùng dữ liệu chồng lấp ra thành các vùng chồng lấp con và tiến hành xây dựng mô hình trên từng vùng chồng lấp con đó.

Phương pháp mà đề tài đưa ra đã cải tiến được hiệu suất phân lớp trên vùng dữ liệu chồng lấp. Với độ đo được sử dụng là độ chính xác (accuracy) sau khi cải thiện hiệu suất phân lớp trên vùng dữ liệu chồng lấp thì trung bình hiệu suất phân lớp tăng lên xấp xỉ 2% so với khi chưa xử lý dữ liệu chồng lấp. 5 ABSTRACT Recently, data mining has been developed dramatically. Because we have a huge amount of available data and the most important goal is to convert such data to useful information and knowledge.

Educational data mining is also being developed dramatically and one of the targets of educational data mining is to predict academic status of students before the end of their permitted period of study time. Therefore we can improve the quality of education. One of the effective mining methods is classification. At present, one of many difficulties that a classification method faces is data overlapping.

In the educational environment, overlapping data frequently occurs. Hence, achieving a high performance for student classification in the educational data mining area is a major challenge. This thesis provides one method which can handle overlapping data for educational data classification. This method inherits discard method partitioning initial dataset into overlapping and non-overlapping data set and performing classification on each dataset, after that, improves the classification performance on overlapping data set by splitting this data set into smaller overlapping data sets and building models on individual data sets.

As a result of this thesis, accuracy measure used to evaluate the perfomance of classication is improved on the overlapping data set. 6 MỤC LỤC CHƢƠNG 1: GIỚI THIỆU .1 Lý do chọn đề tài .2 Mục tiêu đề tài .3 Ý nghĩa của đề tài .4 Đối tượng và phạm vi nghiên cứu .5 Phương pháp nghiên cứu .6 Cấu trúc luận văn. 16 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT .1 Tổng quan về bài toán phân lớp .2 Các thuật toán sử dụng trong đề tài .3 Phát hiện vùng chồng lấp.4 Dữ liệu chồng lấp. 20 CHƢƠNG 3: CÁC CÔNG TRÌNH LIÊN QUAN .1 Công trình liên quan đến giáo dục .2 Công trình xử lý chồng lấp .3 Đối chiếu các công trình liên quan đến luận văn.

27 CHƢƠNG 4: ĐỀ XUẤT GIẢI PHÁP PHÂN LỚP DỮ LIỆU CHỒNG CHẤT CHO BÀI TOÁN “DỰ BÁO SỚM TRẠNG THÁI HỌC TẬP CỦA SINH VIÊN” .1 Định nghĩa bài toán .2 Xây dựng mô hình .3 Đánh giá mô hình .4 Sử dụng mô hình. 32 CHƢƠNG 5: KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ.1 Môi trường và tập dữ liệu thực nghiệm .2 Phương pháp thực nghiệm .3 Kết quả thực nghiệm. 46 CHƢƠNG 6: TỔNG KẾT. 66 Những công việc đã thực hiện.

66 Đóng góp của đề tài. 66 Hướng phát triển tiếp theo. 66 DANH MỤC CÁC TÀI LIỆU THAM KHẢO. 68 8 LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ các kết quả tham khảo từ các công trình khác như đã ghi rõ trong luận văn, các công việc trình bày trong luận văn này là do chính tôi thực hiện và chưa có phần nội dung nào của luận văn này được nộp để lấy một bằng cấp ở trường này hoặc trường khác.

Ngày 13 tháng 6 năm 2015 9 DANH MỤC HÌNH Hình 1: Xác định không gian dữ liệu chồng lấp(công trình [5]). 20 Hình 2: Dữ liệu bị chồng lấp(công trình [20]). 21 Hình 3: Xây dựng mô hình phân lớp. 30 Hình 4: Đánh giá mô hình phân lớp.

32 Hình 5: Sử dụng mô hình phân lớp. 33 Hình 6: Phương pháp thực nghiệm. 36 Hình 7: Phương pháp thực nghiệm. 36 Hình 8: Sử dụng StratifiedRemoveFold để chia ra các Fold cho phương pháp k-fold cross validation.

37 Hình 9: Xây dựng mô hình ở bước 4. 43 Hình 10: Đánh giá mô hình ở bước 4. 44 Hình 11: Biểu đồ kết quả phân lớp của các thuật toán khi chưa xử lý dữ liệu chồng lấp 47 Hình 12: Biểu đồ kết quả phân lớp tập dữ liệu năm 2 trên các vùng dữ liệu chồng lấp và không chồng lấp khi sử dụng phương pháp phân rã. 49 Hình 13:Biểu đồ kết quả phân lớp tập dữ liệu năm 3 trên các vùng dữ liệu chồng lấp và không chồng lấp khi sử dụng phương pháp phân rã.

50 Hình 14: Biểu đồ kết quả phân tập dữ liệu năm 4 lớp trên các vùng dữ liệu chồng lấp và không chồng lấpkhi sử dụng phương pháp phân rã. 51 Hình 15: Biểu đồ kết quả phân lớp tập dữ liệu năm 2 trên các vùng dữ liệu chồng lấp và không chồng lấp khi sử dụng phương pháp phân rã kết hợp cải thiện kết quả phân lớp vùng chồng lấp. 53 Hình 16: Biểu đồ kết quả phân lớp tập dữ liệu năm 3 trên các vùng dữ liệu chồng lấp và không chồng lấp khi sử dụng phương pháp phân rã kết hợp cải thiện kết quả phân lớp vùng chồng lấp. 54 Hình 17: Biểu đồ kết quả phân lớp tập dữ liệu năm 4trên các vùng dữ liệu chồng lấp và không chồng lấp khi sử dụng phương pháp phân rã kết hợp cải thiện kết quả phân lớp vùng chồng lấp.

55 10 Hình 18: Biểu đồ so sánh kết quả phân lớp tập dữ liệu năm 2 trên vùng dữ liệu chồng lấp trước và sau khi cải thiện.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Bài viết "Luận văn thạc sĩ về dự báo trạng thái học tập của sinh viên thông qua phân lớp dữ liệu chồng lấp" của tác giả Hồ Hiếu, dưới sự hướng dẫn của TS. Võ Thị Ngọc Châu tại Đại học Bách Khoa, TP. Hồ Chí Minh, tập trung vào việc áp dụng các phương pháp phân lớp dữ liệu để dự đoán trạng thái học tập của sinh viên. Nghiên cứu này không chỉ cung cấp cái nhìn sâu sắc về cách thức phân tích dữ liệu học tập mà còn giúp cải thiện các quyết định giáo dục dựa trên dữ liệu thực tiễn. Điều này mang lại lợi ích lớn cho các nhà quản lý giáo dục và giảng viên trong việc phát triển các chương trình học tập phù hợp hơn.

Để mở rộng hiểu biết về các phương pháp quản lý và dự đoán trong giáo dục, bạn có thể tham khảo thêm bài viết Luận Văn Thạc Sĩ Về Phân Tích Dữ Liệu Sinh Viên Ngành CNTT Để Dự Báo Tiến Độ Học Tập, nơi áp dụng phân tích dữ liệu trong lĩnh vực công nghệ thông tin, hoặc Luận văn thạc sĩ về phương pháp dự đoán kết quả học tập sinh viên hỗ trợ hệ thống quản lý học vụ, bài viết này cũng liên quan đến dự đoán kết quả học tập. Cuối cùng, bạn có thể tìm hiểu thêm về Nghiên cứu phát triển kỹ thuật hỗ trợ phát hiện đạo văn trong văn bản tiếng Việt, một nghiên cứu quan trọng trong lĩnh vực quản lý và phân tích dữ liệu học thuật. Những tài liệu này sẽ giúp bạn có cái nhìn toàn diện hơn về các ứng dụng của công nghệ trong giáo dục.