phần mở đầu, kết luận và 04 chƣơng, cụ thể nhƣ sau: Chƣơng I. Giới thiệu Nêu lý do chọn đề tài, tổng quan về đề tài, mục đích nghiên cứu, đối tƣợng và phạm vi nghiên cứu, ý nghĩa khoa học và thực tiễn của đề tài. Chƣơng II: Cơ sở lý thuyết Nghiên cứu các cơ sở lý thuyết khai phá dữ liệu, các bƣớc xây dựng giải pháp khai phá dữ liệu, kiến trúc của một hệ thống khai phá dữ liệu, tìm hiểu các vấn đề liên quan đến khai phá dữ liệu trong lĩnh vực giáo dục. Tìm hiểu các kỹ thuật khai phá dữ liệu sử dụng trong bài toán phân lớp và dự báo nhƣ: cây quyết định, phân lớp Naïve Bayes, mạng nơ ron nhân tạo và luật kết hợp.
Tìm hiểu kỹ thuật khai phá dữ liệu trên hệ quản trị CSDL MS SQL Server sử dụng bộ công cụ SQL Server Business Intelligence Development Studio, ngôn ngữ truy vấn khai phá dữ liệu DMX (Data Mining Extensions) và kỹ thuật lập trình khai phá dữ liệu với Analysis Services APIs sử dụng đối tƣợng ADOMD. Chƣơng III. Mô hình đề xuất Mô tả ứng dụng, xây dựng bài toán liệt kê lộ trình học cho từng ngành học, dự đoán kết quả cho các lộ trình, từ đó giúp sinh viên có thể lựa chọn lộ trình học phù hợp với ngành mình đang theo học. Thu thập và xử lý các dữ liệu liên quan để phát triển hệ thống.
Luan van 8 Xây dựng hệ thống dự đoán kết quả học tập trên bộ dữ liệu đã thu thập đƣợc (gồm dữ liệu thông tin tuyển sinh đầu vào kết hợp với lộ trình học của sinh viên theo ngành học) sử dụng bộ công cụ SQL Server Business Intelligence Development Studio với các mô hình Cây quyết định, Naïve Bayes, Neural Networks, Luật kết hợp. Chƣơng IV. Thực nghiệm và đánh giá Tiến hành thực nghiệm, đánh giá trên các mô hình, lựa chọn mô hình cho kết quả dự báo tốt nhất để sử dụng trong hệ thống dự đoán kết quả học tập, giúp sinh viên có thể chọn ra lộ trình học phù hợp với điều kiện và năng lực của bản thân để đạt kết quả tốt nghiệp cao nhất. Luan van 9 CHƢƠNG II - CƠ SỞ LÝ THUYẾT 2.
Khái niệm về khai phá dữ liệu 2. Định nghĩa khai phá dữ liệu Khai phá dữ liệu là quá trình khảo sát và phân tích một khối lƣợng lớn các dữ liệu đƣợc lƣu trữ trong các cơ sở dữ liệu, kho dữ liệu…để từ đó trích xuất ra các thông tin quan trọng, có giá trị tiềm ẩn bên trong. Các dữ liệu này đƣợc thu từ nhiều nguồn, đa số là từ các phần mềm nghiệp vụ nhƣ: phần mềm tài chính, kế toán, các hệ thống quản lý tài nguyên doanh nghiệp ERP, các hệ thống quản lý khách hàng CRM, hay từ tác công cụ lƣu trữ thông tin trên web… Đây là những khối dữ liệu lớn nhƣng những thông tin mà nó thể hiện ra thì lộn xộn và “nghèo” đối với ngƣời dùng. Kích thƣớc của khối dữ liệu lớn đó cũng tăng với tốc độ rất nhanh chiếm nhiều dung lƣợng lƣu trữ.
Khai phá dữ liệu sẽ giúp trích xuất ra các mẫu điển hình có giá trị và biến chúng thành những tri thức hữu ích. Hiện nay, ngoài thuật ngữ khai phá dữ liệu, ngƣời ta còn dùng một số thuật ngữ khác có ý nghĩa tƣơng tự nhƣ: khai phá tri thức từ cơ sở dữ liệu, trích lọc dữ liệu, phân tích dữ liệu/mẫu, khảo cổ dữ liệu, nạo vét dữ liệu…Trên thực tế, nhiều ngƣời coi khai phá dữ liệu và một thuật ngữ thông dụng khác là khám phá tri thức trong CSDL KDD là nhƣ nhau. Còn một số ngƣời chỉ coi khai phá dữ liệu là một bƣớc trong quá trình khám phá tri thức trong cơ sở dữ liệu. Quá trình này gồm một số bƣớc lập đƣợc thể hiện trong hình sau.
Luan van 10 Hình 2.1: Các bƣớc xây dựng một hệ thống khai phá dữ liệu [1] Ý nghĩa cụ thể của các bƣớc nhƣ sau: - Lựa chọn dữ liệu liên quan đến bài toán quan tâm. - Tiền xử lý dữ liệu, làm sạch dữ liệu, chiếm tới gần 60% nỗ lực. - Chuyển đổi dữ liệu về dạng phù hợp thuận lợi cho việc khai phá. - Khai phá dữ liệu, trích xuất ra các mẫu dữ liệu.
- Đánh giá mẫu. - Sử dụng tri thức khai phá đƣợc. Trong thực tế, thuật ngữ khai phá dữ liệu thông dụng và sử dụng rộng rãi hơn thuật ngữ khám phá tri thức trong cơ sở dữ liệu. Theo hƣớng ứng dụng ngƣời ta thƣờng chia khai phá dữ liệu là một quá trình trong đó gồm nhiều bƣớc nhỏ, mà ta sẽ trình bày chi tiết ở mục tiếp theo: Các bƣớc xây dựng một giải pháp về khai phá dữ liệu.
Những nhóm bài toán của khai phá dữ liệu Khai phá dữ liệu có thể đƣợc dùng để giải quyết hàng trăm bài toán với những mục đích và nhiệm vụ khác nhau. Dựa trên bản chất tự nhiên của các bài toán đó, ngƣời ta có thể nhóm các bài toán đó thành những nhóm sau: 2.1 Phân loại Luan van 11 Bài toán phân loại là một trong những bài toán phổ biến nhất của khai phá dữ liệu, ví dụ nhƣ: phân tích xem loại khách hàng nào có khả năng cao nhất sẽ chuyển sang dùng sản phẩm dịch vụ của đối thủ cạnh tranh của công ty (churn analysis), quản lý rủi ro hay lựa chọn ảnh quảng cáo nào sẽ xuất hiện đối với mỗi loại khách hàng… Phân loại là tổ chức dữ liệu trong các lớp cho trƣớc, còn đƣợc gọi là học có quan sát. Phân loại sử dụng các nhãn lớp cho trƣớc để sắp xếp các đối tƣợng. Trong đó, có một tập huấn luyện gồm các đối tƣợng đã đƣợc kết hợp với các nhãn đã biết.
Những thuật toán học có quan sát sẽ đƣợc áp dụng cho tập các đối tƣợng cần phân loại để từ đó mô hình phân loại chúng. Một số thuật toán dùng trong bài toán phân loại nhƣ: cây quyết định, mạng nơ ron, mạng Naïve Bayes.2 Phân cụm Bài toán phân cụm hay còn gọi là phân đoạn. Điểm khác với bài toán phân loại là ở đây các nhãn lớp chƣa biết và không có tập luyện. Các đối tƣợng đƣợc phân loại dựa trên các thuộc tính tƣơng đồng giữa chúng.
Bài toán phân lớp hay còn gọi là học không có giám sát.3 Bài toán phân tích luật kết hợp Bài toán này đôi khi còn gọi là bài toán phân tích giỏ hàng bởi vì nó đƣợc sử dụng rộng rãi trong phân tích các giao dịch dữ liệu, các bài toán lựa chọn hàng hóa đi kèm… Phân tích luật kết hợp khám phá ra các luật kết hợp thể hiện mối liên hệ giữa các thuộc tính dữ liệu thƣờng xuất hiện cùng nhau trong các tập dữ liệu.4 Hồi quy Bài toán hồi quy cũng tƣơng tự nhƣ bài toán phân loại. Điểm khác biệt là hồi quy dự đoán cho các dữ liệu liên tục 2.5 Dự đoán Dự đoán là một mảng quan trọng của khai phá dữ liệu. Dự đoán có hai loại chính: một loại là dự đoán về một số giá trị dữ liệu chƣa biết hay có xu hƣớng sắp Luan van 12 xảy ra, còn loại kia là dự đoán để phân lớp dựa trên một tập huấn luyện và giá trị thuộc tính của đối tƣợng. Trong phạm vi luận văn sẽ sử dụng loại dự đoán thứ hai.6 Phân tích chuỗi Phân tích chuỗi đƣợc sử dụng để tìm ra các mẫu trong một loạt các giá trị hay trạng thái rời rạc.
Ví dụ nhƣ việc chọn mua hàng của khách hàng có thể mô hình là một chuỗi dữ liệu. Hành động chọn mặt hàng A, sau đó chọn mặt hàng B, C… là một chuỗi các trạng thái rời rạc. Trong khi đó thời gian lại là chuỗi số liên tục. Phân tích chuỗi và phân tích luật kết hợp giống nhau ở chỗ đều phân tích tập hợp các đối tƣợng hay trạng thái.
Điểm khác nhau là mô hình chuỗi phân tích sự chuyển của các trạng thái, trong khi mô hình luật kết hợp thì coi mỗi một mặt hàng trong giỏ hàng là nhƣ nhau và độc lập. Với mô hình chuỗi, việc chọn mặt hàng A trƣớc mặt hàng B hay chọn mặt hàng B trƣớc A sau là khác nhau. Còn ở mô hình kết hợp thì cả hai trƣờng hợp là nhƣ nhau.7 Phân tích độ lệch Bài toán này còn đƣợc gọi là phát hiện điểm biên. Điểm biên là những đối tƣợng dữ liệu mà không tuân theo các đặc tính, hành vi chung.
Bài toán phát hiện điểm biên ứng dụng rất nhiều trong các ứng dụng. Ứng dụng quan trọng nhất của bài toán phát hiện điểm biên là bài toán kiểm tra xác nhận thẻ tín dụng… Chƣa có một kỹ thuật chuẩn cho bài toán này. Nó vẫn còn đang là chủ đề mở hiện đang tiếp tục nghiên cứu.3Những lợi thế và thách thức của khai phá dữ liệu 2.1 Lợi thế Khai phá dữ liệu là một lĩnh vực liên quan tới nhiều ngành học khác nhƣ hệ cơ sở dữ liệu, thống kê xác suất, trực quan hóa…Thêm vào đó khai phá dữ liệu còn có thể áp dụng các kỹ thuật nhƣ mạng nơ ron, lý thuyết tập thô, tập mờ, biểu diễn tri thức…nên khai phá dữ liệu có một số lợi thế so với các phƣơng pháp trên. Sau đây Luan van 13 là một vài so sánh của các chuyên gia giữa khai phá dữ liệu một số phƣơng pháp truyền thống: Phƣơng pháp học máy: đây là một phƣơng pháp có nhiều đóng góp cho bài toán phân lớp, nhận dạng.
Tuy nhiên, phƣơng pháp học máy chủ yếu đƣợc áp dụng trong các cơ sở dữ liệu ít biến động, đầy đủ, tập dữ liệu không quá lớn. Trên thực tế, các cơ sở dữ liệu thƣờng không đầy đủ, chứa nhiều nhiễu và biến đổi liên tục. Trong trƣờng hợp này ngƣời ta sử dụng khai phá dữ liệu. Phƣơng pháp thống kê: mặc dù thống kê là nền tảng của lý thuyết khai phá dữ liệu nhƣng có thể thấy rõ những tồn tại của phƣơng pháp này mà khai phá dữ liệu đã giải quyết đƣợc: - Các phƣơng pháp thống kê hoạt động hoàn toàn theo dữ liệu, nó không sử dụng các tri thức sẵn có về lĩnh vực.
- Kết quả phân tích của thống kê có thể sẽ có rất nhiều và khó có thể làm rõ đƣợc. - Phƣơng pháp thống kê cần có sự hƣớng dẫn của ngƣời dùng để xác định phân tích dữ liệu nhƣ thế nào và ở đâu.2 Thách thức Bên cạnh những lợi thế trên, khai phá vẫn còn những thách thức: - Chƣa có những hệ thống giao diện lập trình ứng dụng API chuẩn nên tạo ra những khó khăn cho các kỹ sƣ tích hợp, phát triển ứng dụng.