CHƯƠNG 1.1 Tổng quan về bài toán phân lớp dữ liệu. Giới Thiệu Về Python và Phần Mềm Orange.3 Lý do chọn lựa đề tài. Tẫầm quan tr ng ọ c aủchiếến l ược tếếp th ị hi ệu qu ả và tm kiếếm khách hàng tếầm năng trong kinh doanh. Tẫầm quan trọ ng củ a việ c phẫn tch dữ liệu khách hàng.
Mụ c tếu đếầ tài. Đốếi tượng và phạm vi nghiến cứu. Cống cụ sử dụng. Ý nghĩa nghiến cứu.10 CHƯƠNG 2: CÁC MÔ HiNH PHÂN LkP Dl LIÊnU.1 Mô hình phân lớp trên phần mềm Orange.
Mố h5nh Logistc Regression (hốầi quy logistc). Mố h5nh Decision Tree. Mố H5nh Support Vector Machine. Mố h5nh Neural Network.
Quy Trình Phân Lớp Dữ Liệu. Phẫn Chia Dữ Liệu. Phẫn Lớp D ữ Liệu. Đánh Giá Tính Hiệu Quả.16 CHƯƠNG 3: KẾT QUẢ THỰC NGHIỆM.
Mô tả dữ liệu. Phân tích yêu cầu người dùng. Xác đị nh và phẫn tch yếu cẫầu người dùng. Bộ dữ liệu.
Nạp dữ liệu. Quan sát dữ liệu. Tiếần xử lý dữ liệu. L ựa ch ọn và tr5nh bày dữ liệu phù hợp v ới yếu cẫầu người dùng:.
Kết quả thực nghiệm. Xẫy d ựng mố h5nh cho bài toán 1:. Xẫy d ựng mố h5nh cho bài toán 2:. Đánh giá kết quả phân tích, trực quan hóa kết quả, thảo luận và các đề xuất hỗ trợ quyết định.
Kếết quả đánh giá phương pháp của Test & Score – bài toán 1:. Đánh giá mố h5nh d ự a trến kếết qu ả Confusion Matrix – bài toán 1:. Đánh giá mố h5nh d ự a trến kếết quả ROC Analysis – bài toán 1:. Kếết quả dự báo bài toán 1:.
Kếết quả đánh giá phương pháp của Test & Score – bài toán 2:. Đánh giá mố h5nh d ự a trến kếết qu ả Confusion Matrix – bài toán 2:. Đánh giá mố h5nh d ự a trến kếết quả ROC Analysis – bài toán 2:. Kếết quả dự báo bài toán 2:.51 CHƯƠNG 4: KẾT LUẬN.
Kết quả đạt được.2 Những hạn chế tồn tại.3 Hướng phát triển đề tài.53 TÀI LIỆU THAM KHẢO. 55 Danh m甃⌀c hình ảnh H5nh anh 1: Các mô hình phân lớp trên phần mềm Orange. 13 H5nh anh 2: Mô hnh Logistic Regression (hi quy logistic) 13 H5nh anh 3: Mô hình Decision Tree. 14 H5nh anh 4: Mô Hình Support Vector Machine.
15 H5nh anh 5: Mô hình Neural Network 17 H5nh anh 6: Quy trình phân lớp dữ liệu 17 H5nh anh 7: Ví dụ về K-fold cross Validation 18 3 H5nh anh 8: Ví dụ về mô hnh Underfitting 19 H5nh anh 9: : Ví dụ về mô hnh overfitting 20 H5nh anh 10 : Ví dụ về mô hnh Good fitting 20 H5nh anh 11 : Ma trận nhầm lẫn 21 H5nh anh 12 : Ví dụ về ROC 22 H5nh anh 13 : Ví dụ về AUC 23 H5nh anh 14: : Bộ dữ liệu Bank Marketing 28 H5nh anh 15 : Mô hnh quan sát dữ liệu 28 H5nh anh 16 : Mô hình tiền xử lý dữ liệu 29 H5nh anh 17 : Hộp thoại Preprocess 30 H5nh anh 18 : Mô hình tiền xử lý dữ liệu 31 H5nh anh 19 : Hộp thoại Select Rows 31 H5nh anh 20 : Hộp thoại Select Rows 33 H5nh anh 21 : Bộ dữ liệu Bank Marketing 35 H5nh anh 22 : Mô hình quan sát dữ liệu 35 H5nh anh 23 : Mô hnh chia mẫu dữ liệu 36 H5nh anh 24 : Hộp thoại Data sample 36 H5nh anh 25 : Mô hnh đánh giá các thuật toán 38 H5nh anh 26 : Mô hnh tính điểm số các thuật toán 39 H5nh anh 27 : Mô hnh chia mẫu dữ liệu 39 H5nh anh 28 : Hộp thoại Data Sampler 40 H5nh anh 29 : Mô hnh đánh giá các thuật toán 42 H5nh anh 30 : Mô hnh tính điểm các thuật toán 43 H5nh anh 31 : Hộp thoại Test and Score và kết quả định lượng 44 H5nh anh 32 : Kết quả thuật toán Neural Network 45 H5nh anh 33 : Kết quả thuật toán Random Forest 45 H5nh anh 34 : Kết quả thuật toán Logistic Regression 46 H5nh anh 35 : Đường cong ROC Analysis - Target “nono” 47 H5nh anh 36 : Đường cong ROC Analysis - Target “yes” 47 H5nh anh 37 : Mô hình sử dụng thuật toán Logistic Regeression để dự báo dữ liệu bài toán 1 48 H5nh anh 38 : Hộp thoại Test and Score và kết quả định lượng 49 H5nh anh 39 : Kết quả thuật toán Neural Network 50 H5nh anh 40 : Kết quả thuật toán Logistic Regression 51 H5nh anh 41 : Kết quả thuật toán Decision Tree 51 H5nh anh 42 : Đường cong ROC Analysis - Target “failure” 52 H5nh anh 43 : Đường cong ROC Analysis - Target “success” 53 H5nh anh 44 : Mô hnh sử dụng thuật toán Decision Tree để dự báo dữ liệu bài toán 2 53 4 Danh m甃⌀c bảng biểu Bang 1: Tóm tắt dữ liệu.21 Bang 2: Dữ liệu gốc.26 Bang 3: Dữ liệu sau khi được tiền xử lý.28 Bang 4: Dữ liệu sau khi được điều chỉnh phù hợp.29 Bang 5: Dữ liệu sau khi lọc.32 Bang 6: Quan sát dữ liệu Data Train.35 Bang 7: Quan sát dữ liệu Data Forecast.35 Bang 8: Quan sát dữ liệu Data Train.39 Bang 9: Quan sát dữ liệu Data Forecast.39 Bang 10: Kết quả dự báo bài toán 1.46 Bang 11: Kết quả dự báo bài toán 2.1 Tổng quan về bài toán phân lớp dữ liệu 1. Định nghĩa Phân lớp dữ liệu là quá trình phân một đối tượng dữ liệu vào một hay nhiều lớp (loại) đã cho trước nhờ một mô hình phân lớp. Mô hình này được xây dựng dựa trên một tập dữ liệu đã được gán nhãn trước đó (thuộc về lớp nào). Quá trình gán nhãn (thuộc về lớp nào) cho đối tượng dữ liệu chính là quá trình phân lớp dữ liệu.
Một trong những hướng nghiên cứu chính của khai phá dữ liệu đó là phân lớp dữ liệu (Classification). Việc phân tích dữ liệu bao gồm: phân lớp và dự đoán với mục đích tạo ra một mô hình mô tả lớp dữ liệu có vai trò quan trọng hay dự đoán xu thế tương lai của dữ liệu. Quá trình phân lớp dự đoán giá trị của những nhãn xác định(categorical label) hay những giá trị rời rạc (discrete value). Đối với khái niệm về thuật ngữ “Phân lớp dữ liệu” chúng ta có thể hiểu đó là quá trình phân bổ một đối tượng dữ liệu vào một hay nhiều lớp (loại) đã cho trước nhờ một mô hình phân lớp.
Mô hình này được xây dựng dựa trên một tập dữ liệu đã được gán nhãn trước đó (thuộc về lớp nào). Quá trình gán nhãn (thuộc lớp nào) cho đối tượng dữ liệu chính là quá trình phân lớp dữ liệu. Ứng d甃⌀ng Trong những năm gần đây, phân lớp dữ liệu đã thực sự thu hút được một lượng lớn các nhà nghiên cứu trong nhiều lĩnh vực đa dạng khác nhau: học máy (Machine Learning), hệ chuyên gia (Expert System), thống kê (Statistics),. Ngoài ra, việc phân lớp dữ liệu còn có vai trò quan trọng trong một số ngành.
Đối với ngành Tài chính -Ngân hàng thì phân lớp dữ liệu được ứng dụng để dự báo giá chứng khoán, xếp hạng tín dụng cá nhân, đánh giá rủi ro tài chính. Với ngành Sale & Marketing thì được ứng dụng vào 5 việc dự báo doanh thu, dự báo khách hàng trung thành. Còn đối với ngành Kinh tế thì được ứng dụng để xem xét những dự báo khủng hoảng kinh tế, dự báo cung cầu. Giới Thiệu Về Python và Phần Mềm Orange Python là một ngôn ngữ lập trình thông dịch, được tạo ra vào những năm 1980 bởi Guido van Rossum.
Nó là một ngôn ngữ lập trình đa năng và được sử dụng rộng rãi trong nhiều lĩnh vực như khoa học dữ liệu, máy học, trí tuệ nhân tạo, phát triển web, và nhiều ứng dụng khác. Python có cú pháp đơn giản, dễ đọc và dễ hiểu, và có một cộng đồng lớn với rất nhiều thư viện hỗ trợ cho việc phát triển các ứng dụng. Orange là một phần mềm mã nguồn mở được sử dụng để thực hiện các tác vụ phân tích dữ liệu và học máy. Nó cung cấp cho người dùng một giao diện đồ họa thân thiện để xử lý dữ liệu, mô hình hóa, đánh giá và trực quan hóa các kết quả.
Orange được viết bằng Python và có rất nhiều tính năng hữu ích như tạo biểu đồ, xây dựng mô hình, kiểm tra độ chính xác, và tìm kiếm các mô hình phù hợp nhất cho dữ liệu của bạn. Nó cũng cung cấp nhiều công cụ hỗ trợ cho việc khai phá dữ liệu và phân tích dữ liệu trong thời gian thực. Orange rất phổ biến trong cộng đồng khoa học dữ liệu và học máy, và được sử dụng rộng rãi trong các nghiên cứu và ứng dụng thương mại. Python và Orange đều là các công cụ được sử dụng trong lĩnh vực phân tích dữ liệu và học máy, tuy nhiên, chúng có những đặc điểm riêng biệt như sau: Đặc điểm của Python: - Ngôn ngữ lập trình phổ biến: Python là một ngôn ngữ lập trình phổ biến với cú pháp đơn giản, dễ đọc và dễ hiểu, thuận tiện cho người mới bắt đầu học lập trình.
- Cộng đồng phát triển lớn: Python có một cộng đồng phát triển đông đảo, với nhiều thư viện mở rộng phong phú như NumPy, Pandas, Scikit-learn, v. Hỗ trợ cho việc xử lý dữ liệu và học máy. - Đa năng: Python là một ngôn ngữ đa năng, có thể được sử dụng trong nhiều lĩnh vực khác nhau, không chỉ trong phân tích dữ liệu mà còn trong web development, machine learning, data science, artificial intelligence, và nhiều lĩnh vực khác. - Tính nhất quán: Python là ngôn ngữ lập trình có tính nhất quán cao, có cấu trúc rõ ràng và chuẩn mực.
Điều này giúp cho việc phát triển và duy trì mã nguồn dễ dàng, đồng thời cũng tạo điều kiện cho việc hợp tác trong nhóm. Đặc điểm của Orange: - Giao diện đồ họa: Orange cung cấp giao diện đồ họa trực quan, cho phép người dùng thực hiện các tác vụ phân tích dữ liệu một cách trực quan, không cần viết mã lệnh. Điều này làm cho Orange dễ tiếp cận và sử dụng đối với người dùng không có kỹ năng lập trình. - Công c甃⌀ đa nhiệm: Orange cung cấp nhiều công cụ phân tích dữ liệu và học máy tích hợp sẵn, cho phép người dùng thực hiện nhiều tác vụ khác nhau như xử lý dữ liệu, 6 trực quan hóa, phân tích thống kê, huấn luyện mô hình học máy trong một môi trường duy nhất.
- Tính linh hoạt: Orange cho phép người dùng tích hợp các công cụ mở rộng và thư viện của Python, tận dụng tính linh hoạt của Python để mở rộng tính năng và khả năng của Orange.