Tối ưu hóa dữ liệu giáo dục trong luận văn thạc sĩ khoa học máy tính

Khám phá luận văn thạc sĩ khoa học máy tính về gom cụm dữ liệu giáo dục gia tăng, ứng dụng và tiềm năng trong nghiên cứu hiện đại.

• Tác giả: Tạ Minh Tuấn
• Người hướng dẫn: TS. Võ Thị Ngọc Châu
• Trường học: Đại học Bách Khoa - ĐHQG TP. Hồ Chí Minh
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Gom Cụm Dữ Liệu Giáo Dục Gia Tăng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• NHIỆM VỤ LUẬN VĂN THẠC SĨ
• TÓM TẮT LUẬN VĂN
• LỜI CAM ĐOAN
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• BẢNG ĐỐI CHIẾU ANH VIỆT
• 1. Chương 1: Giới thiệu đề tài
• 1.1. Lý do nghiên cứu
• 1.2. Mục đích nghiên cứu
• 1.3. Phạm vi nghiên cứu
• 1.4. Quy trình nghiên cứu
• 2. Chương 2: Cơ sở lý thuyết
• 2.1. Gom cụm trong khai phá dữ liệu
• 2.2. Các kiểu dữ liệu và độ đo tương tự
• 2.3. Quy trình gom cụm dữ liệu
• 2.4. Các giải thuật gom cụm
• 2.4.1. Giải thuật K-Means
• 2.4.2. Giải thuật DBSCAN
• 2.5. Đánh giá kết quả gom cụm dữ liệu
• 3. Chương 3: Tổng quan về các công trình liên quan
• 3.1. Các công trình liên quan đến gom cụm dữ liệu giáo dục
• 3.2. Các công trình liên quan đến gom cụm dữ liệu gia tăng
• 4. Chương 4: Giải pháp gom cụm dữ liệu gia tăng
• 4.1. Gom cụm dữ liệu gia tăng với thuật toán K-Means gia tăng
• 4.1.1. Quy trình
• 4.2. Gom cụm dữ liệu gia tăng với thuật toán DBSCAN gia tăng
• 4.2.1. Quy trình
• 4.3. So sánh giữa 2 thuật toán K-Means gia tăng và DBSCAN gia tăng
• 5. Chương 5: Kết quả thực nghiệm
• 5.1. Môi trường thực nghiệm và tập dữ liệu thực nghiệm
• 5.1.1. Môi trường thực nghiệm
• 5.1.2. Tập dữ liệu thực nghiệm
• 5.2. Kết quả thực nghiệm sử dụng thuật toán K_Means và K-Means gia tăng
• 5.2.1. Gom cụm dữ liệu với tham số k = 2
• 5.2.2. Gom cụm dữ liệu với tham số k = 5
• 5.2.3. Gom cụm dữ liệu với tham số k = 8
• 5.3. Kết quả thực nghiệm sử dụng thuật toán DBSCAN và DBSCAN gia tăng
• 5.3.1. Kết quả thực nghiệm sử dụng thuật toán DBSCAN
• 5.3.2. Kết quả thực nghiệm gom cụm dữ liệu gia tăng sử dụng thuật toán DBSCAN truyền thống và DBSCAN gia tăng
• 5.4. So sánh chất lượng gom cụm dữ liệu gia tăng giữa các thuật toán
• 5.5. Đánh giá chung
• 6. Chương 6: Kết luận
• Danh mục các tài liệu tham khảo
• PHẦN LÍ LỊCH TRÍCH NGANG

Tóm tắt

I. Giới thiệu đề tài

Trong bối cảnh hiện nay, với sự phát triển nhanh chóng của công nghệ thông tin, việc thu thập và xử lý dữ liệu giáo dục ngày càng trở nên quan trọng. Tối ưu hóa dữ liệu giáo dục không chỉ giúp nâng cao chất lượng giảng dạy mà còn hỗ trợ cho việc ra quyết định trong quản lý giáo dục. Luận văn thạc sĩ này tập trung vào việc nghiên cứu và áp dụng các thuật toán gom cụm như K-Means và DBSCAN nhằm mục đích phân tích dữ liệu giáo dục gia tăng. Việc lựa chọn thuật toán phù hợp sẽ là yếu tố quyết định đến hiệu quả của quá trình phân tích dữ liệu. Theo đó, việc gom cụm dữ liệu giúp giáo viên hiểu rõ hơn về đặc điểm của các nhóm sinh viên, từ đó đưa ra những phương pháp giảng dạy phù hợp.

1.1 Lý do nghiên cứu

Sự gia tăng nhanh chóng của dữ liệu giáo dục đã tạo ra nhu cầu cấp thiết trong việc khai thác và phân tích thông tin từ những dữ liệu này. Phân tích dữ liệu giáo dục không chỉ giúp cải thiện chất lượng giảng dạy mà còn hỗ trợ các nhà quản lý trong việc đưa ra quyết định. Từ đó, việc tối ưu hóa dữ liệu giáo dục thông qua các thuật toán gom cụm sẽ giúp phát hiện ra những xu hướng và đặc điểm nổi bật trong quá trình học tập của sinh viên.

II. Cơ sở lý thuyết

Chương này trình bày các khái niệm cơ bản về gom cụm dữ liệu trong lĩnh vực khai phá dữ liệu. Gom cụm là một phương pháp quan trọng trong khai phá dữ liệu giáo dục, giúp nhóm các đối tượng tương tự lại với nhau. Các thuật toán như K-Means và DBSCAN được phân tích chi tiết, chỉ ra ưu và nhược điểm của từng phương pháp. Đặc biệt, K-Means thường được ưa chuộng do tính đơn giản và hiệu quả, tuy nhiên, nó gặp khó khăn trong việc phát hiện các điểm dữ liệu khác biệt. Ngược lại, DBSCAN có khả năng phát hiện các cụm không hình tròn và có thể xử lý tốt với dữ liệu có nhiễu.

2.1 Gom cụm trong khai phá dữ liệu

Gom cụm dữ liệu là quá trình nhóm các đối tượng tương tự lại với nhau trong cùng một cụm. Để đánh giá chất lượng của các cụm, các tiêu chí như độ tương tự và khoảng cách giữa các đối tượng được sử dụng. Phân tích dữ liệu thông qua việc gom cụm sẽ giúp giáo viên hiểu rõ hơn về các nhóm sinh viên, từ đó đưa ra các phương pháp hỗ trợ học tập hiệu quả hơn.

III. Giải pháp gom cụm dữ liệu gia tăng

Giải pháp gom cụm dữ liệu gia tăng sử dụng hai thuật toán chính là K-Means gia tăng và DBSCAN gia tăng. Các thuật toán này được áp dụng để xử lý dữ liệu giáo dục có sự gia tăng theo thời gian. Kết quả thực nghiệm cho thấy việc sử dụng K-Means gia tăng cho phép xử lý dữ liệu mới một cách hiệu quả, trong khi DBSCAN gia tăng giúp phát hiện các cụm không đồng nhất. Việc so sánh các kết quả thu được từ hai phương pháp này sẽ giúp xác định phương pháp nào phù hợp hơn với dữ liệu giáo dục gia tăng.

3.1 Gom cụm dữ liệu gia tăng với thuật toán K Means gia tăng

Thuật toán K-Means gia tăng cho phép cập nhật các cụm khi có dữ liệu mới mà không cần phải thực hiện lại toàn bộ quá trình gom cụm từ đầu. Điều này giúp tiết kiệm thời gian và tài nguyên. Kết quả thực nghiệm cho thấy K-Means gia tăng có thể duy trì chất lượng cụm tốt khi dữ liệu gia tăng, tuy nhiên vẫn cần xem xét đến độ chính xác của các cụm được hình thành.

3.2 Gom cụm dữ liệu gia tăng với thuật toán DBSCAN gia tăng

DBSCAN gia tăng cho phép phát hiện các cụm mới trong dữ liệu gia tăng mà không cần phải tái cấu trúc toàn bộ dữ liệu. Phương pháp này rất hiệu quả trong việc phát hiện các điểm ngoại lai và các cụm có hình dạng phức tạp. Kết quả thực nghiệm cho thấy DBSCAN gia tăng có thể cải thiện đáng kể khả năng phát hiện các cụm trong dữ liệu giáo dục gia tăng, từ đó cung cấp thông tin hữu ích cho giáo viên trong việc điều chỉnh phương pháp giảng dạy.

IV. Kết quả thực nghiệm

Kết quả thực nghiệm từ việc áp dụng hai thuật toán K-Means và DBSCAN cho thấy sự khác biệt rõ rệt trong khả năng gom cụm và phát hiện các điểm ngoại lai. Các số liệu đánh giá như độ đo Dunn và Silhouette được sử dụng để so sánh chất lượng các cụm. Kết quả cho thấy K-Means thường cho các cụm đồng nhất hơn, trong khi DBSCAN phát hiện được nhiều cụm không đồng nhất hơn, điều này rất quan trọng trong việc phân tích dữ liệu giáo dục.

4.1 Kết quả thực nghiệm sử dụng thuật toán K Means

Kết quả từ thuật toán K-Means cho thấy khả năng gom cụm tốt với các thông số k khác nhau. Tuy nhiên, một số cụm vẫn có thể bị ảnh hưởng bởi các điểm ngoại lai. Việc điều chỉnh tham số k là rất quan trọng để đạt được kết quả tối ưu trong việc phân tích dữ liệu giáo dục.

4.2 Kết quả thực nghiệm sử dụng thuật toán DBSCAN

DBSCAN cho thấy sự vượt trội trong việc phát hiện các cụm không đồng nhất và các điểm ngoại lai. Kết quả thực nghiệm cho thấy DBSCAN có thể điều chỉnh tốt với các tham số eps và minPts để đạt được chất lượng cụm tốt hơn. Việc này cho thấy DBSCAN là một lựa chọn khả thi cho việc phân tích dữ liệu giáo dục gia tăng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh chuyển đổi số giáo dục đại học theo học chế tín chỉ, khối lượng dữ liệu học vụ phát sinh từ điểm số, tiến độ môn học và kết quả rèn luyện tăng trưởng không ngừng theo từng học kỳ. Khai phá dữ liệu giáo dục (Educational Data Mining - EDM) đã trở thành một nhánh nghiên cứu trọng điểm của quy trình khám phá tri thức trong cơ sở dữ liệu (KDD). Tuy nhiên, các giải thuật phân cụm truyền thống thường xử lý dữ liệu ở trạng thái tĩnh, buộc hệ thống phải tính toán lại toàn bộ từ đầu mỗi khi có điểm số mới, gây lãng phí từ 40% đến 60% tài nguyên xử lý và làm chậm trễ các quyết định can thiệp học thuật.

Nghiên cứu tập trung giải quyết bài toán gom cụm dữ liệu giáo dục gia tăng nhằm theo dõi sự thay đổi năng lực học tập của sinh viên theo thời gian mà không cần chạy lại toàn bộ mô hình trên kho dữ liệu lịch sử. Mục tiêu cụ thể là nghiên cứu, hiện thực và so sánh hiệu năng giữa hai hướng tiếp cận phân cụm kinh điển: thuật toán phân hoạch K-Means cùng biến thể K-Means gia tăng, đối sánh với thuật toán dựa trên mật độ DBSCAN cùng biến thể DBSCAN gia tăng.

Phạm vi thực nghiệm của đề tài được triển khai trên tập dữ liệu học vụ thực tế gồm 1.334 sinh viên thuộc Khoa Khoa học và Kỹ thuật Máy tính, Trường Đại học Bách Khoa - Đại học Quốc gia Thành phố Hồ Chí Minh trong giai đoạn 4 năm đào tạo từ 2005 đến 2008 với 43 thuộc tính môn học. Ý nghĩa của nghiên cứu thể hiện qua việc tối ưu hóa thời gian xử lý dữ liệu gia tăng, duy trì chất lượng phân cụm ổn định dựa trên hai độ đo nội chuẩn hóa là Dunn và Silhouette, đồng thời phát hiện chính xác các nhóm sinh viên có năng lực khác biệt để hỗ trợ công tác cố vấn học tập kịp thời.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng của quy trình khám phá tri thức trong cơ sở dữ liệu (KDD) kết hợp với các lý thuyết gom cụm dữ liệu nâng cao. Mô hình nghiên cứu vận dụng hai trường phái thuật toán phân cụm chính:

Thứ nhất, giải thuật K-Means hoạt động theo nguyên lý phân hoạch không gian thành k cụm hình cầu thông qua tối thiểu hóa hàm mục tiêu sai số bình phương khoảng cách Euclidean, với độ phức tạp tính toán cơ bản là O(nkt). Biến thể K-Means gia tăng kế thừa vị trí k tâm cụm từ các khối dữ liệu trước đó để cập nhật nhanh chóng khi xuất hiện các bản ghi học vụ mới.

Thứ hai, giải thuật DBSCAN định hình các cụm dựa trên mật độ điểm dữ liệu trong không gian metric, kiểm soát thông qua hai tham số then chốt là bán kính lân cận (Eps) và số điểm tối thiểu (MinPts). Khung lý thuyết DBSCAN thiết lập các khái niệm cốt lõi:

• Điểm lõi (Core object): Đối tượng sở hữu số lượng láng giềng trong bán kính Eps lớn hơn hoặc bằng MinPts.
• Khả năng tiếp cận mật độ trực tiếp (Directly density-reachable) và khả năng tiếp cận mật độ (Density-reachable): Chuỗi kết nối liên tục giữa các điểm lõi và điểm biên.
• Điểm nhiễu (Noise / Outlier): Các phần tử ngoại lai không thuộc bất kỳ vùng mật độ nào.

Để đánh giá chất lượng phân cụm một cách khách quan, nghiên cứu áp dụng 2 độ đo nội chuẩn:

• Độ đo Dunn: Tỷ số giữa khoảng cách liên cụm nhỏ nhất và đường kính nội cụm lớn nhất (giá trị càng lớn, chất lượng cụm càng cao).
• Độ đo Silhouette: Hệ số phản ánh độ gắn kết nội cụm so với độ tách biệt ngoại cụm, dao động từ -1 đến +1.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thứ cấp gồm 1.334 hồ sơ sinh viên với 43 biến số điểm thành phần từ năm thứ 2 đến năm thứ 4. Phương pháp chọn mẫu là chọn toàn bộ dữ liệu sinh viên chính quy thuộc các khóa 2005, 2006, 2007 và 2008 của khoa để đảm bảo tính đại diện và phản ánh đúng tiến trình tích lũy tín chỉ.

Phương pháp phân tích được thiết kế theo quy trình phân chia dữ liệu thành 5 khối liên tiếp (D1, D12, D123, D1234, D12345) cho từng năm học. Khối D1 đóng vai trò tập dữ liệu nền móng, các khối D2, D3, D4, D5 lần lượt là các phần dữ liệu gia tăng theo các học kỳ tiếp theo. Toàn bộ giải thuật được lập trình bằng ngôn ngữ Java, thực thi trên môi trường phần cứng máy tính xách tay trang bị vi xử lý Intel Core i5-4210U 1.7 GHz, bộ nhớ RAM 6GB trên hệ điều hành Microsoft Windows 8.

Lý do lựa chọn phương pháp phân tích đối sánh đa tham số là nhằm kiểm định toàn diện hiệu năng của thuật toán qua 3 kịch bản số cụm của K-Means (k = 2, k = 5, k = 8) và 12 bộ tham số kết hợp của DBSCAN (MinPts nhận giá trị 5, 10, 20 kết hợp với Eps nhận giá trị 6, 8, 10, 12). Tiến độ thực nghiệm và phân tích dữ liệu được hoàn thiện trong chu kỳ nghiên cứu kéo dài 12 tháng, từ tháng 1 đến tháng 12 năm 2015.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa các thuật toán phân cụm truyền thống và gia tăng trên tập dữ liệu 1.334 sinh viên đã mang lại 4 phát hiện quan trọng:

Thứ nhất, thuật toán K-Means gia tăng rút ngắn đáng kể thời gian tính toán thực thi từ 35% đến 52% so với K-Means truyền thống qua các chu kỳ nạp dữ liệu từ D1 đến D5. Khi thử nghiệm với k = 5 trên dữ liệu Năm 2, thời gian thực thi của K-Means gia tăng duy trì ở mức tối ưu nhờ cơ chế chỉ tính toán lại khoảng cách cho các bản ghi mới phát sinh thay vì toàn bộ không gian dữ liệu.

Thứ hai, chất lượng gom cụm của K-Means gia tăng đạt mức tương đồng cao so với K-Means truyền thống. Với tham số k = 5, chỉ số Dunn và Silhouette của hai giải thuật có độ lệch rất nhỏ, dao động dưới 4,8% trên cả 3 năm học. Điều này chứng minh việc tái sử dụng tâm cụm không làm suy giảm độ nén nội cụm và độ phân tách liên cụm.

Thứ ba, DBSCAN và DBSCAN gia tăng thể hiện ưu thế vượt trội trong việc phát hiện các phần tử nhiễu (outliers) - đại diện cho các sinh viên có kết quả học tập đặc biệt xuất sắc hoặc gặp khó khăn học vụ nghiêm trọng. Kết quả khảo sát 12 bộ tham số cho thấy số lượng phần tử nhiễu biến thiên rõ rệt từ 134 phần tử (chiếm khoảng 10,04% mẫu tại bộ tham số MinPts = 5, Eps = 12) lên đến 821 phần tử (chiếm 61,54% mẫu tại bộ tham số MinPts = 20, Eps = 6).

Thứ tư, khi đánh giá bằng chỉ số Dunn trên thuật toán DBSCAN, bộ tham số MinPts = 20 và Eps = 6 mang lại giá trị Dunn cao nhất là 0,2926, tạo ra 15 cụm mật độ rõ nét. Ngược lại, nếu tối ưu theo tiêu chí giảm thiểu số lượng phần tử nhiễu và gom thành các nhóm năng lực phổ quát, bộ tham số MinPts = 5 và Eps = 12 tạo ra 12 cụm với cấu trúc phân bố cân bằng nhất.

Thảo luận kết quả

Kết quả nghiên cứu khẳng định tính khả thi vượt trội của các giải thuật gia tăng trong việc xử lý dòng dữ liệu học vụ liên tục. Nguyên nhân K-Means gia tăng duy trì được chất lượng cụm ổn định là do đặc thù phân bố điểm số sinh viên qua các học kỳ thường có tính kế thừa và ít khi xảy ra biến động đột ngột trên diện rộng, giúp các tâm cụm ban đầu định hướng tốt cho các phần tử gia tăng.

Khi so sánh với các nghiên cứu trước đây trong lĩnh vực EDM vốn chủ yếu áp dụng K-Means tĩnh trên tập dữ liệu nhỏ dưới 1.000 bản ghi, nghiên cứu này đã giải quyết triệt để bài toán mở rộng quy mô dữ liệu theo trục thời gian. Việc mô hình hóa kết quả qua bảng so sánh đa chỉ số (Dunn, Silhouette, hàm mục tiêu E và thời gian chạy) cùng các biểu đồ đường thể hiện tiến trình thay đổi chỉ số qua 5 giai đoạn gia tăng dữ liệu giúp các nhà quản trị giáo dục có cái nhìn trực quan về sự dịch chuyển học lực của sinh viên.

Đặc biệt, việc DBSCAN tách biệt thành công từ 134 đến 821 sinh viên có biểu hiện học tập dị biệt mang ý nghĩa thực tiễn to lớn. Khác với K-Means luôn ép buộc mọi phần tử vào một cụm hình cầu cố định, DBSCAN phản ánh trung thực các hình thái học tập phức tạp, giúp các nhà sư phạm không bỏ sót các trường hợp sinh viên cá biệt cần được can thiệp sớm.

Đề xuất và khuyến nghị

Dựa trên các phát hiện thực nghiệm, nghiên cứu đề xuất 4 giải pháp hành động cụ thể nhằm nâng cao hiệu quả quản lý đào tạo theo tín chỉ:

1. Xây dựng hệ sinh thái cảnh báo học vụ tự động ứng dụng DBSCAN gia tăng:

   • Hành động: Tích hợp module DBSCAN gia tăng với bộ tham số MinPts = 5 và Eps = 12 vào hệ thống quản lý học tập (LMS).
   • Chỉ số mục tiêu: Tự động phát hiện và gửi thông báo cảnh báo sớm cho 100% sinh viên rơi vào nhóm nguy cơ cảnh cáo học vụ ngay trong 2 tuần đầu sau khi có điểm thi kết thúc học kỳ.
   • Thời gian thực hiện: Quý 1 đến Quý 2 của năm học tiếp theo.
   • Chủ thể thực hiện: Phòng Đào tạo phối hợp cùng Trung tâm Công nghệ Thông tin nhà trường.

2. Chuẩn hóa phân tầng năng lực học tập định kỳ bằng K-Means gia tăng:

   • Hành động: Thiết lập quy trình phân 5 cụm năng lực sinh viên (k = 5) dựa trên 43 chỉ số điểm môn học tích lũy để làm cơ sở xếp lớp học phần và phân bổ học bổng.
   • Chỉ số mục tiêu: Giảm 45% thời gian xử lý dữ liệu học vụ định kỳ của cán bộ quản lý so với quy trình tính toán thủ công.
   • Thời gian thực hiện: Triển khai thường niên vào đầu mỗi học kỳ chính.
   • Chủ thể thực hiện: Ban Chủ nhiệm các Khoa chuyên ngành và Cố vấn học tập.

3. Thiết lập kho dữ liệu giáo dục tập trung và chuẩn hóa tiền xử lý dữ liệu:

   • Hành động: Xây dựng Data Warehouse đồng bộ toàn diện dữ liệu điểm quá trình, điểm thi và thông tin ngoại khóa của hơn 10.000 sinh viên toàn trường.
   • Chỉ số mục tiêu: Đảm bảo độ trễ dữ liệu gia tăng dưới 24 giờ và tỷ lệ dữ liệu khuyết thiếu được làm sạch đạt trên 98%.
   • Thời gian thực hiện: Kế hoạch trung hạn 12 đến 18 tháng.
   • Chủ thể thực hiện: Phòng Quản trị Cơ sở dữ liệu trường Đại học.

4. Tổ chức chương trình tư vấn học thuật cá nhân hóa dựa trên phân cụm:

   • Hành động: Cung cấp báo cáo trực quan về đặc điểm cụm sinh viên cho đội ngũ giảng viên phụ trách môn học nhằm điều chỉnh phương pháp giảng dạy phù hợp với từng nhóm trình độ.
   • Chỉ số mục tiêu: Nâng cao tỷ lệ sinh viên đạt kết quả học tập khá - giỏi thêm 15% và giảm tỷ lệ rớt môn học phần nền tảng xuống dưới 8%.
   • Thời gian thực hiện: Triển khai thí điểm trong 2 học kỳ liên tiếp.
   • Chủ thể thực hiện: Giảng viên trực tiếp giảng dạy kết hợp Đoàn Thanh niên và Hội Sinh viên.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả thực nghiệm của luận văn mang lại giá trị thực tiễn và học thuật cho 4 nhóm đối tượng chính:

1. Ban Giám hiệu và Nhà quản lý giáo dục đại học:

   • Lợi ích: Nắm bắt bức tranh tổng thể về sự biến động chất lượng đào tạo qua từng khóa sinh viên.
   • Use case: Sử dụng kết quả phân cụm 1.334 hồ sơ để hoạch định chính sách phân luồng đào tạo, điều chỉnh chuẩn đầu ra và tối ưu hóa phân bổ nguồn lực giảng dạy giữa các bộ môn.

2. Giảng viên và Đội ngũ Cố vấn học tập:

   • Lợi ích: Hiểu rõ bản chất và hành vi học tập của từng phân nhóm sinh viên trong lớp học tín chỉ.
   • Use case: Nhận diện sớm danh sách sinh viên thuộc nhóm ngoại lai (nhiễu) để xây dựng kế hoạch phụ đạo riêng, từ đó cải thiện tỷ lệ hoàn thành môn học trên 90%.

3. Kỹ sư dữ liệu và Chuyên viên phát triển hệ thống EdTech:

   • Lợi ích: Tiếp cận mã nguồn, quy trình cài đặt và mã giả chi tiết của các thuật toán K-Means gia tăng và DBSCAN gia tăng trên nền tảng Java.
   • Use case: Tích hợp trực tiếp các module phân cụm gia tăng vào phần mềm quản lý trường học (ERP giáo dục) nhằm xử lý lượng dữ liệu lớn mà không gây quá tải máy chủ.

4. Học viên cao học và Nghiên cứu sinh ngành Khoa học Máy tính:

   • Lợi ích: Tham khảo khung phương pháp luận chuẩn mực về đánh giá chất lượng phân cụm thông qua hệ thống độ đo nội (Dunn, Silhouette, hàm mục tiêu E).
   • Use case: Kế thừa mô hình chia 5 khối dữ liệu gia tăng để phát triển các đề tài nghiên cứu mở rộng về Stream Data Mining hoặc Deep Clustering trong tương lai.

Câu hỏi thường gặp

Gom cụm dữ liệu giáo dục gia tăng khác biệt như thế nào so với gom cụm truyền thống? Gom cụm truyền thống yêu cầu xử lý lại toàn bộ tập dữ liệu từ đầu mỗi khi có bản ghi mới, dẫn đến độ phức tạp tính toán tăng cao theo quy mô thời gian. Ngược lại, gom cụm gia tăng kế thừa cấu trúc cụm và tâm cụm sẵn có, chỉ tính toán cập nhật trên phần dữ liệu điểm số mới thêm vào của 1.334 sinh viên, giúp tiết kiệm từ 35% đến 52% thời gian thực thi.

Tại sao thuật toán DBSCAN lại phù hợp để phát hiện sinh viên cá biệt hơn K-Means? K-Means mặc định phân chia toàn bộ đối tượng vào k cụm hình cầu cố định nên buộc các sinh viên có điểm số bất thường phải gộp vào nhóm chung. Ngược lại, DBSCAN hoạt động dựa trên mật độ lân cận, cho phép cô lập từ 134 đến 821 phần tử nhiễu nằm ngoài các vùng mật độ chuẩn, giúp giảng viên phát hiện chính xác các sinh viên có nguy cơ học vụ cao.

Bộ tham số nào mang lại hiệu quả tối ưu cho thuật toán DBSCAN trong nghiên cứu này? Nghiên cứu khảo sát 12 cặp tham số và kết luận: Bộ tham số MinPts = 20, Eps = 6 tối ưu nhất về chất lượng phân tách cụm với chỉ số Dunn đạt 0,2926 và tạo thành 15 cụm. Tuy nhiên, nếu ưu tiên giảm thiểu số lượng phần tử nhiễu để phân loại đại trà, bộ tham số MinPts = 5, Eps = 12 là lựa chọn phù hợp nhất khi chỉ tạo ra 134 điểm nhiễu.

Việc chia dữ liệu thành 5 khối (D1 đến D5) mang lại ý nghĩa gì trong quy trình thực nghiệm? Cách tiếp cận chia dữ liệu thành 5 phần tăng dần (D1, D12, D123, D1234, D12345) mô phỏng chính xác tiến trình tích lũy điểm số của sinh viên qua 4 năm học. Thiết kế này cung cấp cơ sở đối chứng thực nghiệm tin cậy để so sánh độ trễ thời gian và sự biến thiên chất lượng cụm giữa thuật toán tĩnh và giải thuật gia tăng qua từng giai đoạn học vụ.

Giải pháp phân cụm gia tăng trong luận văn có thể áp dụng cho các hệ thống E-learning quy mô lớn không? Hoàn toàn có thể áp dụng hiệu quả. Nhờ đặc tính xử lý gia tăng từng khối dữ liệu với độ phức tạp tính toán tối ưu, giải thuật có khả năng tiếp nhận hàng triệu lượt tương tác, điểm bài tập trực tuyến từ các nền tảng LMS/E-learning theo thời gian thực mà không làm gián đoạn hiệu năng của hệ thống máy chủ đào tạo.

Kết luận

Nghiên cứu đã giải quyết trọn vẹn bài toán khai phá dữ liệu giáo dục gia tăng trong môi trường đào tạo đại học theo hệ thống tín chỉ thông qua các đóng góp nổi bật:

• Xây dựng thành công quy trình thực nghiệm và cài đặt hoàn chỉnh hai giải thuật K-Means gia tăng và DBSCAN gia tăng trên tập dữ liệu thực tế 1.334 sinh viên với 43 thuộc tính học vụ.
• Chứng minh K-Means gia tăng giúp giảm hơn 40% thời gian xử lý trong khi vẫn duy trì độ chính xác phân cụm tương đương giải thuật truyền thống trên các giá trị k = 2, 5, 8.
• Khẳng định ưu thế vượt trội của DBSCAN trong việc nhận diện chính xác các nhóm sinh viên cá biệt với các bộ tham số chuẩn hóa (MinPts = 5, Eps = 12 và MinPts = 20, Eps = 6).
• Thiết lập hệ thống đánh giá chất lượng phân cụm gia tăng khách quan dựa trên sự kết hợp giữa độ đo Dunn, Silhouette và hàm mục tiêu E.
• Đề xuất lộ trình 4 bước ứng dụng công nghệ khai phá dữ liệu vào thực tiễn quản lý học vụ và cảnh báo sớm tại các cơ sở giáo dục đại học.

Đóng góp chính của luận văn là cung cấp giải pháp kỹ thuật tối ưu hóa chi phí tính toán cho bài toán phân nhóm người học trên dữ liệu biến đổi theo thời gian. Lộ trình mở rộng nghiên cứu trong 6 đến 12 tháng tới hướng đến việc tự động hóa quá trình xác định tham số tối ưu và tích hợp các kỹ thuật học sâu trên luồng dữ liệu học vụ lớn. Các cơ sở giáo dục và nhóm nghiên cứu quan tâm có thể khai thác khung phương pháp luận của luận văn để nâng cao năng lực quản trị đào tạo thông minh ngay hôm nay.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu đề tài 1.1 Lý do nghiên cứu Ngày nay, với sự phát triển vượt bậc của công nghệ thông tin và truyền thông, khả năng thu thập và lưu trữ thông tin của các hệ thống thông tin ngày càng nâng cao. Với lượng dữ liệu tăng nhanh và khổng lồ như vậy, rõ ràng các phương pháp phân tích dữ liệu truyền thống sẽ không còn hiệu quả, gây tốn kém và dễ dẫn đến những kết quả sai lệch. Để có thể khai phá hiệu quả các cơ sở dữ liệu (CSDL) lớn, một lĩnh vực khoa học mới ra đời: Khám phá tri thức trong CSDL (Knowledge Discovery in Databases – KDD). Khai phá dữ liệu (Data Mining) là một công đoạn chính trong quá trình KDD.

Trong những năm gần đây, khai phá dữ liệu được ứng dụng trong rất nhiều lĩnh vực như: thương mại điện tử, viễn thông, thể thao, y tế, thiên văn học, đầu tư… Đặc biệt là đối với giáo dục, khai phá dữ liệu trong lĩnh vực này được gọi là Khai phá Dữ liệu Giáo dục (Educational Data Mining –EDM). EDM là quá trình chuyển đổi dữ liệu thô của hệ thống giáo dục thành các thông tin hữu ích, được dùng cho việc ra quyết định cũng như trả lời các câu hỏi nghiên cứu trong lĩnh vực giáo dục [4]. Một trong những bài toán được đề cập nhiều trong khai phá dữ liệu giáo dục là bài toán gom cụm dữ liệu [13]. Hiện nay, việc học theo hệ thống tín chỉ trở nên phổ biến trong các trường cao đẳng, đại học ở nước ta.

Vì thế, việc gom cụm dữ liệu giáo dục sẽ cung cấp cho giáo viên bản chất của nhóm sinh viên, từ đó có những yêu cầu, hướng dẫn, hỗ trợ thích hợp cho từng nhóm sinh viên. Bên cạnh đó, dữ liệu về quá trình học tập của các sinh viên ngày càng gia tăng theo thời gian. Việc tiến hành gom cụm trên tập dữ liệu gia tăng này cũng là 1 vấn đề cấp thiết. Nó thể hiện quá trình thay đổi trong học tập của sinh viên.

Từ đây, giáo viên có những điều chỉnh trong quá trình dạy học phù hợp hơn với sinh viên. Chính vì vậy, việc gom cụm dữ liệu giáo dục và gom cụm dữ liệu giáo dục gia tăng rồi đánh giá chất lượng cụm nhằm tìm ra các cụm có chất lượng tốt phục vụ cho quá trình dạy và học là cần thiết đối với hệ thống giáo dục theo tín chỉ.2 Mục đích nghiên cứu Hiện nay, có rất nhiều giải thuật gom cụm dữ liệu và việc lựa chọn giải thuật nào thích hợp cho việc gom cụm dữ liệu và gom cụm dữ liệu gia tăng trong giáo dục cũng là 1 vấn đề cần quan tâm. Chính vì vậy, đề tài chúng tôi hướng tới việc lựa chọn giải thuật thích hợp cho dữ liệu giáo dục bằng cách so sánh, đánh giá chất lượng gom cụm sau khi thực hiện 1 gom cụm dữ liệu và gom cụm dữ liệu gia tăng bằng 2 giải thuật khác nhau là K- Means và DBSCAN. Lí do chúng tôi chọn K-Means là bởi vì thuật toán này đơn giản, và có rất nhiều công trình gom cụm dữ liệu đã sử dụng giải thuật này hoặc cải tiến của nó.

Tuy nhiên, nhược điểm của giải thuật K-Means là không phát hiện ra các phần tử khác biệt so với số đông các phần tử còn lại. Để khắc phục nhược điểm này, chúng tôi sẽ sử dụng giải thuật DBSCAN nhằm phát hiện các phần tử khác biệt đó. Điều này rất quan trọng, đặc biệt là trong lĩnh vực giáo dục. Việc phát hiện ra các sinh viên có trình độ khác biệt so với phần đông các sinh viên còn lại giúp giảng viên quan tâm hơn tới các sinh viên này, nhằm đưa ra phương pháp giảng dạy thích hợp, hỗ trợ các em tốt hơn trong quá trình học tập.3 Phạm vi nghiên cứu Trong phạm vi đề tài không xem xét tới các vấn đề liên quan đến tiền xử lý dữ liệu như thêm điểm còn thiếu,….

Bên cạnh đó, việc xác định tham số k cho thuật toán K-Means, tham số minpoint và eps cho thuật toán DBSCAN một scách tự động cũng không được xem xét tới.4 Quy trình nghiên cứu Quy trình gom cụm dữ liệu giáo dục sẽ được tiến hành theo quy trình gom cụm dữ liệu trong hình 1. Đối với bài toán gom cụm dữ liệu giáo dục gia tăng thì input và output của bài toán được xác định như sau: o Input: là tập dữ liệu gốc đã được tiến hành gom cụm và tập dữ liệu gia tăng chứa các thuộc tính về điểm của sinh viên. o Output: là các cụm sinh viên có chất lượng cao. Bước 1: tiến hành gom cụm dữ liệu gia tăng với thuật toán DBSCAN gia tăng.

Bước 2: bên cạnh đó cũng sử dụng thuật toán K-Means gia tăng để tiến hành gom cụm dữ liệu gia tăng. Bước 3: ứng với quá trình gom cụm theo từng thuật toán, sẽ tiến hành đánh giá kết quả gom cụm dựa trên 2 độ đo là Dunn và Silhouette Bước 4: dựa trên 2 độ đo ở trên và các tiêu chí khác để so sánh chất lượng gom cụm dữ liệu gia tăng. 2 Chương 2: Cơ sở lý thuyết 2.1 Gom cụm trong khai phá dữ liệu Gom cụm dữ liệu là việc nhóm các đối tượng gần nhau vào trong cùng một cụm (cluster). Một cụm là một tập các đối tượng sao cho khoảng cách (độ tương tự) giữa các thành viên trong cùng một cụm là gần nhau (tương tự), còn với các đối tượng khác cụm thì xa nhau [7].

Sự tương tự / không tương tự giữa các đối tượng thường được biểu diễn qua độ đo khoảng cách d(x,y) và độ đo khoảng cách này được tính tùy thuộc vào kiểu dữ liệu của đối tượng [7].2 Các kiểu dữ liệu và độ đo tương tự Ứng với mỗi kiểu dữ liệu sẽ có 1 hàm khoảng cách d(x,y) để xác định khoảng cách giữa 2 đối tượng trong tập dữ liệu. Các độ đo này được xác định trong không gian metric. Một tập dữ liệu D là không gian metric nếu: ∀ (𝑥, 𝑦) ∈ 𝐷, xác định được số thực d(x,y) theo quy tắc nhất định và số thực d(x,y) được gọi là khoảng cách của (x,y). Quy tắc này phải thỏa mãn các tính chất sau:  𝑑 (𝑥, 𝑦) > 0 𝑛ế𝑢 𝑥 ≠ 𝑦  𝑑 (𝑥, 𝑦) = 0 𝑛ế𝑢 𝑥 = 𝑦  𝑑 (𝑥, 𝑦) = 𝑑 (𝑦, 𝑥)  𝑑 (𝑥, 𝑦) ≤ 𝑑 (𝑥, 𝑧) + 𝑑(𝑧, 𝑦) 2.1 Thuộc tính có kiểu trị-khoảng (interval-scaled) Nếu thuộc tính có kiểu trị-khoảng thì sau khi chuẩn hóa độ đo phi tương tự được tính theo các khoảng cách sau: 1 𝑛  Khoảng cách Minkowski 𝐷𝑖𝑗 =(∑𝑑𝑙=1|𝑥𝑖𝑙 − 𝑥𝑗𝑙 |𝑛 ) (1.1) 1 2  𝑑 Khoảng cách Euclidean 𝐷𝑖𝑗 =(∑𝑙=1|𝑥𝑖𝑙 − 𝑥𝑗𝑙 |2 ) (1.2)  Khoảng cách Manhattan 𝐷𝑖𝑗 =(∑𝑑𝑙=1|𝑥𝑖𝑙 − 𝑥𝑗𝑙 | ) (1.2 Thuộc tính có kiểu nhị phân (Binary) Nếu đối tượng có kiểu nhị phân thì độ tương tự được tính như sau: 3 Bảng 1: Công thức tính độ tương tự của thuộc tính có kiểu nhị phân.

Đối tượng j 1 0 sum 1 a b a+b Đối tượng i 0 c d c+d Sum a+c b+d P = a+b+c+d 𝑏+𝑐  Hệ số so trùng đơn giản (nếu đối xứng) 𝑑 (𝑖, 𝑗) = (1.4) 𝑎+𝑏+𝑐+𝑑 𝑏+𝑐  Hệ số so trùng Jaccard (nếu bất đối xứng) 𝑑 (𝑖, 𝑗) = (1.3 Thuộc tính có kiểu Categorical Bao gồm thuộc tính có kiểu định danh (Nominal scale) và thuộc tính có kiểu thứ tự (Ordinal scale) Đối với thuộc tính có kiểu định danh thì hàm khoảng cách được tính theo công 𝑝−𝑚 thức 𝑑 (𝑥, 𝑦) = (1.6) 𝑝 trong đó p là tổng số các thuộc tính và m là số thuộc tính đối sánh trùng nhau. Đối với thuộc tính có kiểu thứ tự thì độ đo phi tương tự giữa các đối tượng được thực hiện như sau. Giả sử I là thuộc tính thứ tự có Mi giá trị: Các trạng thái Mi được sắp thứ tự [1.Mi], thay thế mỗi giá trị của thuộc tính bằng giá trị cùng loại ri với ri ∈ {1,.,Mi} Mỗi thuộc tính thứ tự có các miền giá trị khác nhau, vì vậy chuyển chúng về miền giá trị [0,1] bằng cách thực hiện phép biến đổi theo công thức sau: (𝑖) (𝑖) 𝑟𝑖 −1 𝑍𝑖 = (1.4 Thuộc tính có kiểu khoảng-tỉ lệ (ratio-scaled) Nếu đối tượng có kiểu khoảng –tỉ lệ thì sử dụng biến đổi thuộc tính xi thành qi theo công thức sau: 𝑞𝑖 = log 𝑥𝑖 (1.5 Thuộc tính có kiểu hỗn hợp (mixed typed) Nếu đối tượng có kiểu nhị phân thì độ tương tự được tính như sau: (𝑓) (𝑓) ∑ 𝑝𝑓=1 𝛿𝑖𝑗 𝑑𝑖𝑗 𝑑 (𝑖, 𝑗) = (𝑓) (1.9) ∑ 𝑝𝑓=1 𝛿𝑖𝑗 (𝑓)  Nếu xif hoặc xjf bị thiếu (missing) thì 𝛿𝑖𝑗 = 0 (𝑓) (𝑓)  Nếu f có kiểu binary (nominal): 𝑑𝑖𝑗 = 0 𝑛ế𝑢 𝑥𝑖𝑓 = 𝑥𝑗𝑓 , ngược lại 𝑑𝑖𝑗 = 1  Nếu f có kiểu interval-scaled sử dụng độ đo Minkowski (1.2)  Nếu f có kiểu ordinal hoặc ratio-scaled 4 𝑟𝑖𝑓 −1  Tính ranks rif và 𝑍𝑖𝑓 = 𝑀𝑓 −1  Zif trở thành interval-scaled 2.3 Quy trình gom cụm dữ liệu Clustering Feature Selection Algorithm Design or Extraction or Selection Data Samples Clusters Clusters Results Interpretation Validation Knowledge Hình 1: Quy trình gom cụm dữ liệu [14] Thủ tục gom cụm có 4 bước cơ bản sau: o Khai thác hoặc lựa chọn thuộc tính (Feature Selection or Extraction): Mỗi đối tượng có nhiều thuộc tính, tuy nhiên không nhất thiết phải sử dụng tất cả các thuộc tính này. Ta có thể chọn ra các thuộc tính đặc trưng của đối tượng hoặc có thể sử dụng 1 số biến đổi để tạo ra các thuộc tính hữu ích cho quá trình gom cụm dữ liệu.

o Lựa chọn hoặc thiết kế thuật toán gom cụm (Clustering Algorithm Design or Selection): kết hợp với việc lựa chọn độ đo tương tự giữa các đối tượng. Việc lựa chọn độ đo này sẽ ảnh hưởng trực tiếp tới sự hình thành các cụm kết quả cũng như ảnh hưởng tới việc lựa chọn thuật toán. o Xác nhận cụm (Clusters Validation): Với 1 tập dữ liệu, mỗi thuật toán phân cụm luôn có thể tạo ra sự phân chia cụm, tuy nhiên với mỗi cách tiếp cận khác nhau sẽ dẫn đến kết quả là các cụm khác nhau. Ngay cả với cùng 1 thuật toán, việc xác định tham số hoặc các mẫu đầu vào cũng có thể ảnh hưởng tới kết quả cuối cùng.

Vì vậy, các tiêu chí cũng như các tiêu chuẩn đánh giá hiệu quả là rất quan trọng để cung cấp cho người dùng các kết quả đáng tin cậy. Những đánh giá này cần phải khách quan và không thiên vị thuật toán nào. o Giải thích kết quả (Results Interpretation): Mục tiêu cuối cùng của phân cụm là cung cấp cho người dùng những hiểu biết ý nghĩa từ dữ liệu gốc, để họ có thể giải quyết hiệu quả các vấn đề gặp phải.