CHƯƠNG 1: CƠ SỞ LÝ LUẬN VỀ KHAI PHÁ DỮ LIỆU 1. TẠI SAO PHẢI KHAI PHÁ DỮ LIỆU? Nguồn dữ liệu ngày càng lớn và phức tạp: Trong thời đại công nghệ số, dữ liệu được tạo ra với tốc độ chóng mặt từ nhiều nguồn khác nhau, bao gồm: dữ liệu khách hàng, dữ liệu bán hàng, dữ liệu sản xuất, dữ liệu hoạt động, dữ liệu mạng xã hội,. Tuy nhiên, 80% dữ liệu ở dạng phi cấu trúc khó truy xuất thông tin. Dữ liệu được coi như tài sản quý của doanh nghiệp: Dữ liệu chứa đựng nhiều thông tin hữu ích giúp doanh nghiệp hiểu rõ hơn về khách hàng, thị trường, sản phẩm,.
Từ đó, doanh nghiệp có thể đưa ra các quyết định kinh doanh sáng suốt, hiệu quả hơn. ⇒ Khi dữ liệu ngày càng trở nên quan trọng, việc khai phá dữ liệu càng trở nên quan trọng. Khai phá dữ liệu có thể giúp các doanh nghiệp khai thác tối đa giá trị của dữ liệu của họ. KHAI PHÁ DỮ LIỆU LÀ GÌ? 1.
Khái niệm Khai phá dữ liệu là tiến trình khám phá tri thức tiềm ẩn trong các CSDL, cụ thể hơn, nó là tiến trình lọc, sản sinh những tri thức hoặc các mẫu tiềm ẩn, chưa biết, những thông tin hữu ích từ các CSDL lớn. Các khái niệm liên quan: Tri thức: Là tập hợp những thông tin có liên hệ với nhau để ra những suy luận, tri thức hỗ trợ ngược lại cho người dùng. Thông tin: Là tập hợp dữ liệu đã được xử lý, dùng mô tả giải thích đặc tính cho một đối tượng. Dữ liệu: Là chuỗi các bit, là số, ký tự, hình ảnh, video…mà chúng ta tạo ra và tập hợp hàng ngày trong công việc.
Trong đó dữ liệu ở mức độ trừu tượng thấp nhất và cụ thể nhất, thông tin ở mức trên dữ liệu và tri thức ở mức cao nhất 9 1. Lợi ích của khai phá dữ liệu Trực quan hóa dữ liệu: Khai phá dữ liệu có thể được sử dụng để tạo ra các biểu đồ và đồ thị trực quan hóa dữ liệu. Điều này giúp người dùng dễ dàng hiểu và phân tích dữ liệu hơn. Dự đoán: Khai phá dữ liệu có thể được sử dụng để tạo ra các mô hình dự đoán.
Các mô hình này có thể được sử dụng để dự đoán kết quả trong tương lai, chẳng hạn như doanh số bán hàng, hành vi của khách hàng hoặc sự cố kỹ thuật. Cung cấp tri thức: Khai phá dữ liệu có thể được sử dụng để phát hiện các mẫu và mối quan hệ trong dữ liệu mà con người không thể nhìn thấy. Điều này có thể giúp người dùng hiểu rõ hơn về thế giới xung quanh và đưa ra quyết định sáng suốt hơn. Quá trình khám phá tri thức Hình 1.
Quá trình khám phá tri thức Quá trình khám phá tri thức từ CSDL là một quá trình có sử dụng nhiều phương pháp và công cụ tin học nhưng vẫn là một quá trình mà trong đó con người là trung tâm. Do đó, nó không phải là một hệ thống phân tích tự động mà là một hệ thống bao gồm nhiều hoạt động tương tác thường xuyên giữa con người và CSDL, tất nhiên là với sự hỗ trợ của các công cụ tin học. Người sử dụng hệ thống ở đây phải là người có kiến thức cơ bản về lĩnh vực cần phát hiện tri thức để có thể chọn được đúng các tập con dữ liệu, các lớp mẫu phù hợp và đạt tiêu chuẩn quan tâm so với mục đích. Tri thức mà ta nói ở 10 đây là các tri thức rút ra từ các CSDL, thường để phục vụ cho việc giải quyết một loạt nhiệm vụ nhất định trong một lĩnh vực nhất định.
Do đó, quá trình phát hiện tri thức cũng mang tính chất hướng nhiệm vụ, không phải là phát hiện mọi tri thức bất kỳ mà là phát hiện tri thức nhằm giải quyết tốt nhiệm vụ đề ra. Tiền xử lý dữ liệu: ● Mục tiêu: Làm sạch và chuẩn hóa dữ liệu để loại bỏ nhiễu và đảm bảo tính đồng nhất của dữ liệu. ● Các hoạt động chính: Loại bỏ dữ liệu nhiễu, điền giá trị còn thiếu, chuyển đổi định dạng, đồng nhất các đơn vị đo lường. Biến đổi, chuyển đổi dữ liệu: ● Mục tiêu: Chuyển đổi dữ liệu về định dạng phù hợp để thuận tiện cho quá trình xử lý tiếp theo.
● Các hoạt động chính: Làm sạch dữ liệu: loại bỏ các dữ liệu bị sai lệch, thiếu sót, không chính xác. Tích hợp dữ liệu: kết hợp các tập dữ liệu rời rạc thành một tập dữ liệu thống nhất. Trích chọn dữ liệu: lựa chọn các dữ liệu phù hợp với mục đích khai phá tri thức. Khai phá dữ liệu: ● Mục tiêu: Phân tích dữ liệu để khám phá các mối quan hệ, xu hướng và thông tin quan trọng.
● Các hoạt động chính: Phân tích mô tả: mô tả các đặc điểm của dữ liệu, như phân phối, xu hướng, mối quan hệ giữa các biến. Phân tích dự đoán: dự đoán giá trị của một biến dựa trên các biến khác. 11 Phân tích phân loại: phân loại dữ liệu thành các nhóm dựa trên các đặc điểm của dữ liệu. Phân tích kết cụm: kết hợp các dữ liệu có đặc điểm tương tự nhau thành các cụm.
Ước lượng mẫu: ● Mục tiêu: Tạo ra một mô hình thống kê hoặc dự đoán dựa trên mẫu dữ liệu được thu thập. ● Các hoạt động chính: Xây dựng mô hình thống kê, sử dụng thuật toán máy học để dự đoán và ước lượng giá trị trong tương lai dựa trên mẫu đã có. Biểu diễn tri thức, áp dụng vào thực tế: ● Mục tiêu: Chuyển đổi tri thức được khám phá thành một hình ảnh hoặc mô hình có thể áp dụng trong thực tế. ● Các hoạt động chính: Xây dựng mô hình dự đoán, biểu diễn tri thức theo hình thức đồ thị, bảng, hoặc các định dạng khác để hiểu và sử dụng thông tin được khám phá.
Các nhiệm vụ chính của khai phá dữ liệu Kỹ thuật KPDL Dự đoán ● Sử dụng một vài biến đã biết để dự báo giá trị chưa biết hoặc giá trị tương lai của các biến khác. ● Các kỹ thuật gồm có: Phân lớp, Hồi quy Kỹ thuật KPDL Mô tả ● Mô tả về các tính chất hoặc các đặc tính chung của dữ liệu trong CSDL hiện có. ● Các kỹ thuật này gồm có: Gom cụm, Luật kết hợp 1. CÁC KỸ THUẬT KPDL Phân lớp: Tìm các đặc trưng của lớp các đối tượng và sử dụng để phân lớp dữ liệu mới 12 Gom cụm: Xác định các cụm tiềm ẩn trong các tập đối tượng chưa được xếp lớp.
Hồi quy: Dự đoán dữ liệu tương lai dựa trên dữ liệu quá khứ. Luật kết hợp: Tìm các mẫu phổ biến từ dữ liệu và mối quan hệ của các đối tượng dữ liệu. ỨNG DỤNG CỦA KHAI PHÁ DỮ LIỆU Khai phá dữ liệu có thể được áp dụng trong nhiều lĩnh vực khác nhau, điển hình như: Kinh doanh: Khai phá dữ liệu được sử dụng trong kinh doanh để cải thiện hiệu quả hoạt động, đưa ra quyết định sáng suốt hơn và tạo ra các sản phẩm và dịch vụ mới. Một số ứng dụng của khai phá dữ liệu trong kinh doanh bao gồm: ● Phân tích dữ liệu khách hàng: Khai phá dữ liệu có thể được sử dụng để hiểu hành vi của khách hàng, xác định các nhóm khách hàng mục tiêu và phát triển các chiến lược tiếp thị hiệu quả hơn.
● Phân tích dữ liệu tài chính: Khai phá dữ liệu có thể được sử dụng để dự đoán xu hướng thị trường, phát hiện gian lận và rủi ro và đưa ra các quyết định đầu tư sáng suốt hơn. ● Phân tích dữ liệu chuỗi cung ứng: Khai phá dữ liệu có thể được sử dụng để cải thiện hiệu quả của chuỗi cung ứng, giảm chi phí và tăng độ tin cậy. Y tế: Khai phá dữ liệu được sử dụng trong y tế để cải thiện việc chẩn đoán và điều trị bệnh, phát triển các phương pháp điều trị mới và giảm chi phí chăm sóc sức khỏe. Một số ứng dụng của khai phá dữ liệu trong y tế bao gồm: ● Chẩn đoán bệnh: Khai phá dữ liệu có thể được sử dụng để phân tích các dữ liệu y tế, chẳng hạn như hồ sơ bệnh án, xét nghiệm và hình ảnh, để giúp các bác sĩ chẩn đoán bệnh chính xác hơn.
● Nghiên cứu y khoa: Khai phá dữ liệu có thể được sử dụng để phân tích các dữ liệu nghiên cứu y khoa, chẳng hạn như dữ liệu từ các thử nghiệm lâm sàng, để phát triển các phương pháp điều trị mới. 13 ● Quản lý bệnh tật: Khai phá dữ liệu có thể được sử dụng để theo dõi các xu hướng bệnh tật, phát hiện các nhóm nguy cơ và phát triển các chiến lược phòng ngừa. Chính phủ: Khai phá dữ liệu được sử dụng trong chính phủ để cải thiện hiệu quả của các dịch vụ công, đưa ra các quyết định sáng suốt hơn và bảo vệ an ninh quốc gia. Một số ứng dụng của khai phá dữ liệu trong chính phủ bao gồm: ● Phân tích dữ liệu tội phạm: Khai phá dữ liệu có thể được sử dụng để phân tích dữ liệu tội phạm, chẳng hạn như dữ liệu từ các vụ án, để giúp các cơ quan thực thi pháp luật ngăn chặn tội phạm và bắt giữ tội phạm.
● Quản lý tài nguyên: Khai phá dữ liệu có thể được sử dụng để quản lý các nguồn lực của chính phủ, chẳng hạn như tài nguyên thiên nhiên và tài chính, một cách hiệu quả hơn. ● Phân tích dữ liệu dân số: Khai phá dữ liệu có thể được sử dụng để phân tích dữ liệu dân số, chẳng hạn như dữ liệu từ điều tra dân số, để giúp các chính phủ đưa ra các chính sách công phù hợp hơn. Giáo dục: Khai phá dữ liệu có thể được sử dụng để cải thiện hiệu quả giảng dạy, phát triển các chương trình giáo dục mới và đánh giá hiệu suất học tập. Một số ứng dụng cụ thể của khai phá dữ liệu trong giáo dục bao gồm: ● Cải thiện hiệu quả giảng dạy: Khai phá dữ liệu có thể được sử dụng để phân tích dữ liệu từ các nguồn khác nhau, chẳng hạn như bảng điểm, bài kiểm tra và khảo sát, để hiểu nhu cầu của học sinh và xác định các phương pháp giảng dạy hiệu quả nhất.
● Phát triển các chương trình giáo dục mới: Khai phá dữ liệu có thể được sử dụng để phân tích dữ liệu về các chương trình giáo dục hiện có để xác định các lĩnh vực cần cải thiện và phát triển các chương trình giáo dục mới đáp ứng tốt hơn nhu cầu của học sinh.