Chương 1: GIỚI THIỆU Chương 2: CƠ SỞ LÝ LUẬN Chương 3: PHÂN TÍCH VÀ DỰ BÁO Chương 4: KẾT LUẬN VÀ GIẢI PHÁP TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 5 Chương 2: CƠ SỞ LÝ LUẬN 2. Khai phá dữ liệu 2. Khai phá dữ liệu là gì? Khai phá dữ liệu (Data Mining) là quá trình sắp xếp, phân loại một tập hợp các dữ liệu lớn để xác định các mẫu và thành lập một mối quan hệ nhằm giải quyết nhiều vấn đề thông qua việc phân tích dữ liệu. Các MCU khai phá dữ liệu cho phép các công ty hay các doanh nghiệp có thể dự báo được xu hướng trong tương lại.
Quá trình để khai phá dữ liệu là một quá trình rất phức tạp đòi hỏi dữ liệu cần phải chuyên sâu và yêu cầu nhiều kỹ năng tính toán khác nhau. Hơn nữa, khai phá dữ liệu không chỉ giới hạn trong việc trích xuất các dữ liệu mà còn sử dụng để làm sạch, chuyển đổi, tích hợp dữ liệu và phân tích các mẫu. Các tính năng chính của khai phá dữ liệu Có nhiều các tham số quan trọng trong khai phá dữ liệu, ví dụ như các quy tắc về phân loại và phân cụm. Khai phá dữ liệu có 5 tính năng chính như sau: Dự báo nhiều mẫu dựa trên bộ dữ liệu đã được huấn luyện.
Tính toán và dự đoán các kết quả. Tạo nhiều thông tin để phản hồi và phân tích. Bộ dữ liệu khá lớn. Phân cụm dữ liệu một cách trực quan, sinh động.
Quy trình khai phá dữ liệu Quy trình khai phá dữ liệu bao gồm 7 bước như sau cùng với đó quy trình khai phá dữ liệu được trình bày dưới dạng sơ đồ hình vẽ thông qua hình 2.1 như sau: Bước 1: Làm sạch dữ liệu. Đây là bước đầu tiên trong quy trình khai phá dữ liệu. Bước này được đánh giá là khá quan trọng vì những dữ liệu bẩn nếu được sử dụng trực tiếp trong khai phá dữ liệu có thể sẽ gây ra kết quả nhầm lẫn, dự báo và tạo ra các kết quả không được chính xác. Bước 2: Tích hợp dữ liệu.
Ở bước này, có thể giúp cho dữ liệu của chúng ta cải thiện về độ chính xác cũng như tốc độ của quá trình khai phá dữ liệu. TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 6 Bước 3: Làm giảm dữ liệu. Mục đích ở bước này là giúp kích thước của dữ liệu có khối lượng nhỏ hơn nhưng nó vẫn đảm bảo và vẫn duy trì về tính toàn vẹn. Bước 4: Chuyển đổi dữ liệu.
Trong bước này, dữ liệu được chuyển thành một dạng phù hợp với quy trình khai phá dữ liệu. Dữ liệu được hợp nhất để quy trình khai phá dữ liệu có thể hiệu quả hơn và các mẫu dễ hiểu hơn. Bước 5: Khai thác dữ liệu. Ở bước này, chúng ta đi khai thác dữ liệu là để xác định các mẫu và một lượng lớn dữ liệu từ những suy luận.
Bước 6: Đánh giá mẫu. Bước này bao gồm việc xác định các mẫu đại diện cho nhiều kiến thức dựa trên những thước đo, cho biết những kiến thức nào là cần thiết, kiến thức nào là dư thừa và sẽ bị loại bỏ. Các phương pháp trực quan hóa và tóm tắt dữ liệu được sử dụng để người dùng có thể hiểu được bộ dữ liệu của mình. Bước 7: Trình bày thông tin.
Dữ liệu sẽ được diễn giải lại dưới các báo cáo, hoặc các báo cáo dạng bảng,… và sau đó gửi cho bên bộ phân xử lý thông tin này. Quy trình khai phá dữ liệu Nguồn: insight.vn TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 7 2. Phương pháp khai phá dữ liệu Phân lớp (Classification): Phương pháp sử dụng để dự báo dữ liệu thông qua bộ dữ liệu huấn luyện, phân loại đối tượng. Tôi sẽ sử dụng phương pháp khai phá dữ liệu này trong bài để dự báo số liệu.
Hồi quy (Regression): Mục đích chính của phương pháp hồi quy này là dùng để khám phá và ánh xạ dữ liệu. Phân cụm (Clustering): Phương pháp phân cụm giúp việc mô tả dữ liệu trở nên dễ dàng hơn bằng các xác định tập hợp hữu hạn các cụm với nhau. Tổng hợp (Summarization): Phương pháp này cho phép người làm tìm kiếm một mô tả nhỏ gọn. Mô hình ràng buộc (Dependency modeling): Người làm sẽ tìm được mô hình cục bộ mô tả các phụ thuộc dựa vào phương pháp mô hình ràng buộc.
Dò tìm biến đổi và độ lệch (Change and Deviation Dectection): Mục đích của phương pháp này là để tìm ra những thay đổi quan trọng. Ứng dụng của khai phá dữ liệu trong đời sống Khai phá dữ liệu được ứng dụng rất nhiều trong đời sống xã hội tiêu biểu ở một số những linh vực như sau: phân tích thị trường – chứng khoán, phát hiện gian lận, quản trị rủi ro doanh nghiệp, bán lẻ, trí tuệ nhân tạo, thương mại điện tử, phòng chống tội phạm,… và còn rất nhiều các lĩnh vực khác. Công cụ khai phá dữ liệu được sử dụng trong bài nghiên cứu – Orange Orange là phần mềm dùng để khai thác dữ liệu theo phương diện mã nguồn mở. Orange giúp cho người dùng có một giao diện lập trình sinh động và trực, dễ theo dõi chi tiết để phân tích dữ một một cách nhân nhất, chính xác, cụ thể.
Orange là gói phần mềm dựa trên những công cụ dùng để trực quan hóa dữ liệu, khai thác và phân tích dữ liệu chính xác thông qua ngôn ngữ lập trình. Orange cũng là một phần mềm kết hợp công cụ khai phá dữ liệu và học máy, và cung cấp những trực quan tương tác, thẫm mỹ cho người dùng phần mềm, nó được viết bằng Python. Orange là phần mềm hướng tới mục tiêu tự động hóa. Đây là một trong những phần mềm khai phá dữ liệu tiện dụng, dễ dàng trong việc sử dụng nhờ giao diện nhỏ gọn, TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 8 các toolbox được sắp xếp một cách mạch lạc, hợp lý, bất kỳ ai cũng có thể sử dụng.
Vì vậy, Orange là phần mềm mà tôi sẽ sử dụng trong bài nghiên cứu. Phân lớp dữ liệu 2. Khái niệm về phân lớp dữ liệu Phân lớp dữ liệu chính là một trong những hướng nghiên cứu chính của khai phá dữ liệu. Phân lớp dữ liệu là quá trình phân các đối tượng vào một hay nhiều lớp đã cho trước nhờ vào một mô hình phân lớp.
Mô hình này được xây dựng dựa trên một tập dữ liệu đã được gán nhãn trước đó. Quá trình gán nhãn cho đối tượng dữ liệu chính là quá trình phân lớp dữ liệu. Phân lớp và dự đoán là một trong hai dạng của phân tích dữ liệu nhằm rút ra một mô hình mô tả các lớp dữ liệu quan trọng hoặc dự đoán xu hướng của dữ liệu trong tương lai. Quy trình phân lớp dữ liệu Quy trình phân lớp dữ liệu gồm hai bước như sau: Bước thứ nhất là xây dựng mô hình phân lớp (Learning) và Bước thứ hai là ước lượng độ chính xác của mô hình cùng với đó là phân lớp dữ liệu mới (Classification) 2.
Xây dựng mô hình phân lớp (Learning) Ở bước xây dựng mô hình phân lớp nhằm xây dựng một mô hình để mô tả tập hợp các dữ liệu. Ban đầu, tập dữ liệu có cấu trúc, nó được mô tả bằng các thuộc tính và được tạo ra từ các bộ giá trị có thuộc tính đó. Một bộ giá trị sẽ được coi là một phần tử của dữ liệu, ngoài ra còn thể thể là các mẫu, đối tượng,. Trong tập dữ liệu này, mỗi phần tử dữ liệu thuộc về một lớp định trước, lớp ở đât có nghĩa là các giá trị của một thuộc tính được chọn làm các thuộc tính gắn nhãn hay còn gọi là các thuộc tính phân lớp.
Sau đó, sử dụng các quy tắc phân lớp dưới dạng if – then, cây quyết định (Decision tree), hồi quy logistic (Regression Logistic), Mạng lưới Neural (Neural Network),… Ở bước xây dựng mô hình phân lớp có thể được mô tả lại ở hình 2.2 dưới đây: Hình 2. Quá trình phân lớp dữ liệu – Xây dựng mô hình phân lớp TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 9 Nguồn: Nguyễn Thị Thùy Linh – Trường Đại học Công Nghệ (Đại học Quốc Gia Hà Nội) 2. Ước lượng độ chính xác của mô hình và phân lớp dữ liệu mới (Classification) Ở bước này, chúng ta sẽ dùng mô hình đã xây dựng ở bước bước để phân lớp dữ liệu mới. Đầu tiên, độ chính xác mang tính chất dự đoán của mô hình phân lớp vừa tạo ra được ước lượng.
Độ chính xác của mô hình trên tập dữ liệu kiểm tra là tỉ lệ phần trăm của các mẫu trong tập dữ liệu kiểm tra được mô hình phân lớp đúng (so với thực tế). Nếu độ chính xác của mô hình được ước lượng dựa trên tập dữ liệu đã được huấn luyện thì kết quả dự báo thu được rất khả quan. Chúng ta cần phải có một bộ dữ liệu dự báo độc lập với bộ dữ liệu đã được huấn luyện. Nếu độ chính xác của mô hình là có thể chấp nhận thì mô hình được sử dụng để phân lớp những dữ liệu trong tương lai hoặc dữ liệu mà giá trị thuộc tính phân lớp là chưa biết.
Ở bước ước lượng độ chính xác của mô hình và phân lớp dữ liệu mới được mô tả qua hình 2.4 như sau: Hình 2. Quá trình phân lớp dữ liệu – Ước lượng độ chính xác của mô hình TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 10 Nguồn: Nguyễn Thị Thùy Linh – Trường Đại học Công Nghệ (Đại học Quốc Gia Hà Nội) Hình 2. Quá trình phân lớp dữ liệu – Phân lớp dữ liệu mới Nguồn: Nguyễn Thị Thùy Linh – Trường Đại học Công Nghệ (Đại học Quốc Gia Hà Nội) 2. Các phương pháp phân lớp dữ liệu Có rất nhiều phương pháp phân lớp dữ liệu được sử dụng dùng để dự báo dự liệu, có thể kể đến như Hồi quy Logistic (Logistic Regression), SVM (Support Vector Machine), Cây quyết định (Decision Tree), Naive Bayes, Neural Network,… Các phương pháp sẽ được liệt kê rõ hơn ở bên dưới.
Hồi quy Logistic (Logistic Regression) Hồi quy Logistic còn có tên gọi khác là hồi quy nhị thức. Hồi quy Logistic được sử dụng để dự đoán xác suất của quan sát vào các loại biến phụ thuộc dựa trên các loại biến phụ thuộc hay một hoặc nhiều biến độc lập có thể các biến này là liên tục hay được phân loại. Ngoài ra, nếu biến phụ thuộc là một số đếm thì phương pháp có thể dùng là hồi quy TIEU LUAN MOI download : skknchat123@gmail.com moi nhat 11 Poisson. Nếu chúng ta có nhiều hơn hai biến phụ thuộc thì khi đó là gọi là hồi quy Logistic đa thức.