Chương 1 TỔNG QUAN 1. Lý do chọn đề tài Trong môi trường giáo dục đại học hiện nay, đặc biệt là giáo dục đại học đào tạo theo hệ thống tín chỉ. Sinh viên chưa biết và chưa hiểu hết được tầm quan trọng của việc đào tạo theo hệ thống tín chỉ, một lựa chọn đào tạo mang tính chất mềm dẻo giúp người học tự hoạch định chiến lược học tập, quyết định được tiến độ học tập và ra trường của bản thân. Hầu hết sinh viên khi tham gia học tại các cơ sở giáo dục đại học hiện nay chỉ biết đăng ký môn học để tích lũy tín chỉ theo cảm tính, theo lời của bạn bè, lơ là việc học để làm thêm, chán việc học vì không hiểu bài,… Sinh viên không biết lập kế hoạch học tập, kế hoạch bản thân, từ đó kết quả học tập của sinh viên ngày càng đi xuống, tinh thần học tập qua các năm giảm, dẫn đến tình trạng bỏ học tăng cao, tỉ lệ cảnh báo học vụ vì vi phạm quy chế phần lớn liên quan đến điểm tích lũy từng học kỳ và khóa học.
Chính vì lý do đó, việc ứng dụng công nghệ thông tin trong việc khai phá dữ liệu học tập của sinh viên, bằng kỹ thuật phân lớp dựa trên luật kết hợp dự báo được khả năng bỏ học của sinh viên cũng như đưa ra các giải pháp phù hợp giúp cải thiện và làm giảm tỉ lệ bỏ học, tỉ lệ sinh viên bị cảnh báo học vụ rất hữu ích và cấp thiết. Mục tiêu của đề tài Nghiên cứu bài toán phân lớp dựa trên luật kết hợp và ứng dụng vào dự báo khả năng bỏ học của sinh viên Trường Đại học Bình Dương. Nhiệm vụ của đề tài Tìm hiểu và trình bày về thuật giải CPAR-GR [1]. Sử dụng thuật giải CPAR-GR để xây dựng chương trình demo dự báo khả năng bỏ học của sinh viên.
Đánh giá bằng thực nghiệm với cơ sở dữ liệu sinh viên thực tế (sinh viên từ năm 1 đến năm 4). Đối tượng và phạm vi nghiên cứu 4. Đối tượng nghiên cứu Nghiên cứu các vấn đề cơ bản của khai phá dữ liệu; kỹ thuật phân lớp dựa trên luật kết hợp dự báo khả năng bỏ học của sinh viên tại Trường Đại học Bình Dương. Phạm vi nghiên cứu Nghiên cứu thuật giải phân lớp dựa trên luật kết hợp CPAR-GR và ứng dụng vào bài toán dự báo khả năng bỏ học của sinh viên Trường Đại học Bình Dương.
Cách tiếp cận và phương pháp nghiên cứu Kết hợp các phương pháp: nghiên cứu lý thuyết, thu thập phân tích dữ liệu và lập trình ứng dụng. Sử dụng bộ dữ liệu thực tế về quá trình học tập của sinh viên chính quy năm 1 đến năm 4 tại Trường Đại học Bình Dương để phân tích và thực nghiệm (dữ liệu được mã hóa thành mã định danh để mang tính bảo mật thông tin). Ý nghĩa thực tiễn của đề tài Nghiên cứu này nhằm góp phần nâng cao chất lượng đào tạo, giúp các đơn vị chuyên trách có cơ sở để hoạch định được các chiến lược, phương pháp hỗ trợ sinh viên kịp thời trong quá trình học tập, làm giảm tỉ lệ bỏ học, kết quả học tập kém của sinh viên. Các công trình nghiên cứu gần đây Đại dịch cúm là một mối quan tâm lớn trên toàn thế giới.
Lần đầu tiên, một thuật giải khai thác phân lớp dựa trên luật kết hợp (CBA) đã được sử dụng để khám phá các quy tắc củng cố sự thay đổi của các chuỗi không nhiễm bệnh để dự báo các đại dịch. Ebrahimie [2] giả định rằng các quy tắc 2 trích xuất có thể dẫn đến sự phát triển của một hệ thống chuyên gia hiệu quả để dự đoán đại dịch cúm. Nhóm tác giả đã sử dụng một bộ dữ liệu lớn chứa 5373 HA (hemagglutinin) trong các chuỗi dịch cúm và đại dịch cúm 2009. Phân tích được thực hiện trình tự nucleotide và protein.
Nhóm tác giả đã tìm thấy một số quy tắc mới có khả năng trình bày các vị trí kháng nguyên chưa được khám phá ở cấu trúc cúm. Ở cấp độ nucleotide, sự thay đổi của thymine (T) ở vị trí 260 là đặc điểm phân biệt chính trong việc phân biệt không gây đại dịch với hậu quả của đại dịch. Ở cấp độ protein, các quy tắc bao gồm I233K, M334L là các tính năng khác biệt. CBA phân loại hiệu quả các chuỗi đại dịch và không đại dịch với độ chính xác cao ở cả mức độ nucleotide và protein.
Tìm các điểm nóng trong các chuỗi cúm là một phát hiện quan trọng vì chúng đại diện cho các vùng có khả năng phản ứng kháng thể thấp. Nhóm tác giả lập luận rằng virus phá vỡ phản ứng miễn dịch của vật chủ bằng các đột biến tại các điểm. Dựa trên các quy tắc được phát hiện, nhóm tác giả đã phát triển phần mềm "Dự đoán dịch cúm" để phân biệt đại dịch từ các chuỗi không nhiễm bệnh. Nghiên cứu này mở ra một khám phá mới về các quy tắc kết hợp giữa các điểm đột biến trong quá trình tiến hóa của đại dịch cúm.
Trong cơ sở dữ liệu mất cân bằng về lớp, mặc dù các thiểu số cũng đóng vai trò quan trọng nhưng chúng sẽ không được khai thác khi dựa vào phân lớp luật kết hợp. Minh Thúy, and G. Côn đề xuất một phương pháp biến đổi cơ sở dữ liệu sao cho phân lớp được cân bằng, sau đó khai thác luật kết hợp dựa trên dữ liệu đã biến đổi [3]. Để biến đổi dữ liệu, nhóm tác giả đã chia tập dữ liệu thành m tập con, mỗi tập con tương ứng với một giá trị của thuộc tính lớp.
Với mỗi tập dữ liệu, nhóm tác giả sử dụng K-means để gom chúng thành k nhóm (k chính là số dòng dữ liệu của tập dữ liệu có ít dòng nhất). Với mỗi nhóm, nhóm tác giả chọn dòng đại diện chính là dòng có khoảng cách gần với trọng tâm nhất. Sau khi gom nhóm, nhóm tác giả tập hợp dữ liệu lại và sử dụng CAR-Miner để khai thác phân lớp luật kết 3 hợp. Kết quả thực nghiệm cho thấy phương pháp của nhóm tác giả thường có độ chính xác cao hơn với phương pháp khai thác phân lớp luật kết hợp từ toàn bộ cơ sở dữ liệu.
Phân lớp dựa trên luật kết hợp được chứng minh là rất hiệu quả trong các vấn đề phân lớp. Tuy nhiên, các thuật giải được sử dụng để phân lớp không thể quản lý thỏa đáng dữ liệu lớn do sự phức tạp về thời gian và bộ nhớ. Để khắc phục nhược điểm đó, năm 2016, A. Segatori đề xuất một sơ đồ phân lớp dựa trên quy tắc kết hợp được định hình theo mô hình MapReduce [4].
Giải pháp đề xuất cho các bộ phân lớp luật kết hợp có thể phù hợp để giải quyết thực tế các bộ dữ liệu lớn. Ngày nay, với lượng dữ liệu ngày càng lớn và phức tạp với nhiều cấu trúc khác nhau. Tuy nhiên, không phải dữ liệu nào cũng sẽ hữu ích và có độ quan trọng như nhau, vì vậy rất cần phương pháp để loại bỏ các thuộc tính không hữu ích hoặc kém quan trọng nhằm làm tăng độ chính xác, giảm chi phí xử lý. Kerdprasop nghiên cứu vấn đề tìm kiếm tập hợp các thuộc tính tối ưu có ảnh hưởng đến khám phá lớp và đề xuất một phương pháp mới để lựa chọn thuộc tính [5].
Nghiên cứu nhằm mục đích đề xuất một thuật toán hiệu quả để phân loại dữ liệu được tích hợp với quy trình lựa chọn thuộc tính dựa trên khai thác luật kết hợp để tạo ra các luật có tác động cao đến thuộc tính lớp. Năm 2020, tác giả Nguyễn Văn Chiến thực hiện nghiên cứu đề tài luận văn tốt nghiệp ngành Khoa học máy tính về việc ứng dụng phân lớp dựa trên luật kết hợp dự báo vào giải bài toán “Dự báo tình hình nghỉ, bỏ học của học sinh trung học trên địa bàn Thành phố Hồ Chí Minh” [6]. Đề tài ứng dụng thuật giải CPAR-GR do tác giả Nandhini Manoharan đề xuất năm 2015 [1]. Đề tài nhằm giúp phân tích, phục vụ cho kế hoạch giáo dục của nhà trường như xếp lớp, chăm lo chính sách cho học sinh,… Sự khác nhau giữa đề tài của tác giả Nguyễn Văn Chiến và đề tài luận văn tốt nghiệp này: 4 - Đề tài luận văn tốt nghiệp này tác giả ứng dụng phương pháp tiền xử lý dữ liệu (làm sạch dữ liệu) bằng phần mềm SPSS.
Đề tài của tác giả Nguyễn Văn Chiến chưa ứng dụng bước tiền xử lý dữ liệu vào trong thực nghiệm. - Ứng dụng chức năng thống kê (T-test bằng phần mềm SPSS) đánh giá tác động giữa biến độc lập với biến phụ thuộc, với mục đích để loại bỏ các biến có thuộc tính kém quan trọng, làm tăng khả năng xử lý và không tiêu tốn quá nhiều tài nguyên hệ thống (loại bỏ thủ công). - Đề tài ứng dụng thực tế vào môi trường tại cơ quan tác giả đang công tác, với tập cơ sở dữ liệu thật được trích xuất mới nhất. Các yếu tố ảnh hưởng đến khả năng bỏ học của sinh viên trong môi trường giáo dục đại học (đào tạo theo tín chỉ) bao quát hơn so với các yếu tố đối với học sinh phổ thông theo đề tài của tác giả Nguyễn Văn Chiến.
- Phương pháp tiền xử lý dữ liệu bằng phần mềm SPSS phù hợp với thực trạng hệ thống (tài nguyên máy tính,…) tại cơ quan của tác giả đang công tác, đồng thời phù hợp với khả năng của cán bộ nhân viên tại đơn vị, không đòi hỏi người dùng phải chuyên sâu vào lĩnh vực công nghệ thông tin. - Ngoài ra với phương pháp phân tích dữ liệu bằng SPSS được nhiều công trình nghiên cứu khoa học trong lĩnh vực giáo dục, xã hội, kinh tế ứng dụng để phân tích. Vì vậy, mức độ phổ biến và dễ tiếp cận với người dùng, trực quan trong quá trình sử dụng dễ dàng phân tích dữ liệu đem đến kết quả phân tích chính xác với độ tương đối cao. 5 Chương 2 CƠ SỞ LÝ THUYẾT I.
CÁC KHÁI NIỆM CƠ BẢN TRONG KHAI PHÁ LUẬT KẾT HỢP 1. Ví dụ: Ta có dữ liệu giao dịch sau Bảng 2.1: Cơ sở dữ liệu D, ví dụ itemset TID Transaction 1 {bread; egg; roasted pork; butter} 2 {bread; sausage; egg; butter} 3 {bread; sausage; milk; butter} 4 {bread; sausage; egg; milk; butter} Trong đó: Mỗi giao dịch được gọi là tập mục, như sau: ● {bread,egg,roasted pork,butter} là tập mục. ● {bread; sausage; egg; butter} là tập mục. ● {bread; sausage; milk; butter} là tập mục.
● {bread; sausage; egg; milk; butter} là tập mục. k-tập mục (k-itemset) K-tập mục là một itemset có k phần tử.