CHƯƠNG 1: CƠ SỞ LÝ LUẬN VỀ KHAI PHÁ DỮ LIỆU 1.1 Tại sao phải khai phá dữ liệu? Nguồn dữ liệu ngày càng lớn và phức tạp: Trong thời đại công nghệ số, dữ liệu được tạo ra với tốc độ chóng mặt từ nhiều nguồn khác nhau, bao gồm: dữ liệu khách hàng, dữ liệu bán hàng, dữ liệu sản xuất, dữ liệu hoạt động, dữ liệu mạng xã hội,. Tuy nhiên, 80% dữ liệu ở dạng phi cấu trúc khó truy xuất thông tin. Dữ liệu được coi như tài sản quý của doanh nghiệp: Dữ liệu chứa đựng nhiều thông tin hữu ích giúp doanh nghiệp hiểu rõ hơn về khách hàng, thị trường, sản phẩm,. Từ đó, doanh nghiệp có thể đưa ra các quyết định kinh doanh sáng suốt, hiệu quả hơn.
Khi dữ liệu ngày càng trở nên quan trọng, việc khai phá dữ liệu càng trở nên quan trọng. Khai phá dữ liệu có thể giúp các doanh nghiệp khai thác tối đa giá trị của dữ liệu của họ.2 Khai phá dữ liệu là gì? 1.1 Khái niệm Khai phá dữ liệu là tiến trình khám phá tri thức tiềm ẩn trong các CSDL, cụ thể hơn, nó là tiến trình lọc, sản sinh những tri thức hoặc các mẫu tiềm ẩn, chưa biết, những thông tin hữu ích từ các CSDL lớn. Các khái niệm liên quan: Tri thức: Là tập hợp những thông tin có liên hệ với nhau để ra những suy luận, tri thức hỗ trợ ngược lại cho người dùng. Thông tin: Là tập hợp dữ liệu đã được xử lý, dùng mô tả giải thích đặc tính cho một đối tượng.
6 Nhóm 5: Văn Tùng – Văn Toán – Ngọc Ánh Khoa CNTT & TT Trường Đại Học Phương Đông Dữ liệu: Là chuỗi các bit, là số, ký tự, hình ảnh, video…mà chúng ta tạo ra và tập hợp hàng ngày trong công việc. Trong đó dữ liệu ở mức độ trừu tượng thấp nhất và cụ thể nhất, thông tin ở mức trên dữ liệu và tri thức ở mức cao nhất 1.2 Lợi ích của khai phá dữ liệu Lợi ích trong quá trình phân tích dữ liệu: Chọn lọc, loại bỏ tất cả các dữ liệu không liên quan và dữ liệu bị trùng. Xác định các mẫu dữ liệu, dữ liệu có liên quan và dữ liệu trùng lặp trong tập dữ liệu. Với KPDL, chúng ta có thể phân tích khối lượng lớn dữ liệu trongthời gian ngắn và sau đó chuyển đổi dữ liệu đó thành thông tin, kiến thức.
Lợi ích sau cùng của khai phá dữ liệu: Hỗ trợ ra quyết định tự động. Hỗ trợ đưa ra dự báo chính xác. Hỗ trợ giảm thiểu chi phí. Hỗ trợ khả năng thấu hiểu khách hàng.
7 Nhóm 5: Văn Tùng – Văn Toán – Ngọc Ánh Khoa CNTT & TT Trường Đại Học Phương Đông 1.3 Quá trình khám phá tri thức Hình 1: Quá trình khám phá tri thức Quá trình khám phá tri thức từ CSDL là một quá trình có sử dụng nhiều phương pháp và công cụ tin học nhưng vẫn là một quá trình mà trong đó con người là trung tâm. Do đó, nó không phải là một hệ thống phân tích tự động mà là một hệ thống bao gồm nhiều hoạt động tương tác thường xuyên giữa con người và CSDL, tất nhiên là với sự hỗ trợ của các công cụ tin học. Người sử dụng hệ thống ở đây phải là người có kiến thức cơ bản về lĩnh vực cần phát hiện tri thức để có thể chọn được đúng các tập con dữ liệu, các lớp mẫu phù hợp và đạt tiêu chuẩn quan tâm so với mục đích. Tri thức mà ta nói ở đây là các tri thức rút ra từ các CSDL, thường để phục vụ cho việc giải quyết một loạt nhiệm vụ nhất định trong một lĩnh vực nhất định.
Do đó, quá trình phát hiện tri thức cũng mang tính chất hướng nhiệm vụ, không phải là phát hiện mọi tri thức bất kỳ mà là phát hiện tri thức nhằm giải quyết tốt nhiệm vụ đề ra. Tiền xử lý dữ liệu: Mục tiêu: Làm sạch và chuẩn hóa dữ liệu để loại bỏ nhiễu và đảm bảo tính đồng nhất của dữ liệu. 8 Nhóm 5: Văn Tùng – Văn Toán – Ngọc Ánh Khoa CNTT & TT Trường Đại Học Phương Đông Các hoạt động chính: Loại bỏ dữ liệu nhiễu, điền giá trị còn thiếu, chuyển đổi định dạng, đồng nhất các đơn vị đo lường. Biến đổi, chuyển đổi dữ liệu: Mục tiêu: Chuyển đổi dữ liệu về định dạng phù hợp để thuận tiện cho quá trình xử lý tiếp theo.
Các hoạt động chính: o Làm sạch dữ liệu: loại bỏ các dữ liệu bị sai lệch, thiếu sót, không chính xác. o Tích hợp dữ liệu: kết hợp các tập dữ liệu rời rạc thành một tập dữ liệu thống nhất. o Trích chọn dữ liệu: lựa chọn các dữ liệu phù hợp với mục đích khai phá tri thức. Khai phá dữ liệu: Mục tiêu: Phân tích dữ liệu để khám phá các mối quan hệ, xu hướng và thông tin quan trọng.
Các hoạt động chính: o Phân tích mô tả: mô tả các đặc điểm của dữ liệu, như phân phối, xu hướng, mối quan hệ giữa các biến. o Phân tích dự đoán: dự đoán giá trị của một biến dựa trên các biến khác. o Phân tích phân loại: phân loại dữ liệu thành các nhóm dựa trên các đặc điểm của dữ liệu. o Phân tích kết cụm: kết hợp các dữ liệu có đặc điểm tương tự nhau thành các cụm.
Ước lượng mẫu: Mục tiêu: Tạo ra một mô hình thống kê hoặc dự đoán dựa trên mẫu dữ liệu được thu thập. Các hoạt động chính: Xây dựng mô hình thống kê, sử dụng thuật toán máy học để dự đoán và ước lượng giá trị trong tương lai dựa trên mẫu đã có. Biểu diễn tri thức, áp dụng vào thực tế: Mục tiêu: Chuyển đổi tri thức được khám phá thành một hình ảnh hoặc mô hình có thể áp dụng trong thực tế. 9 Nhóm 5: Văn Tùng – Văn Toán – Ngọc Ánh Khoa CNTT & TT Trường Đại Học Phương Đông Các hoạt động chính: Xây dựng mô hình dự đoán, biểu diễn tri thức theo hình thức đồ thị, bảng, hoặc các định dạng khác để hiểu và sử dụng thông tin được khám phá.4 Các nhiệm vụ chính của khai phá dữ liệu Kỹ thuật KPDL dự đoán: Sử dụng một vài biến đã biết để dự báo giá trị chưa biết hoặc giá trị tương lai của các biến khác.
Các kỹ thuật gồm có: Phân lớp, Hồi quy. Kỹ thuật KPDL mô tả: Mô tả về các tính chất hoặc các đặc tính chung của dữ liệu trong CSDL hiện có. Các kỹ thuật này gồm có: Gom cụm, Luật kết hợp.3 Các kỹ thuật khai phá dữ liệu Phân lớp: Tìm các đặc trưng của lớp các đối tượng và sử dụng để phân lớp dữ liệu mới Gom cụm: Xác định các cụm tiềm ẩn trong các tập đối tượng chưa được xếp lớp. Hồi quy: Dự đoán dữ liệu tương lai dựa trên dữ liệu quá khứ.
Luật kết hợp: Tìm các mẫu phổ biến từ dữ liệu và mối quan hệ của các đối tượng dữ liệu.4 Ứng dụng của khai phá dữ liệu Khai phá dữ liệu (Data Mining) là một lĩnh vực khoa học máy tính có vai trò quan trọng trong việc trích xuất thông tin hữu ích từ dữ liệu khổng lồ. Nhờ khả năng phân tích dữ liệu đa dạng và phức tạp, khai phá dữ liệu được ứng dụng rộng rãi trong nhiều lĩnh vực, mang lại nhiều lợi ích thiết thực: Marketing và Bán hàng: Phân khúc khách hàng:sXác định các nhóm khách hàng tiềm năng dựa trên hành vi, sở thích và đặc điểm nhân khẩu học, giúp doanh 10 Nhóm 5: Văn Tùng – Văn Toán – Ngọc Ánh Khoa CNTT & TT Trường Đại Học Phương Đông nghiệp tập trung nguồn lực vào các nhóm khách hàng có khả năng chuyển đổi cao. Phân tích chiến dịch marketing:sĐánh giá hiệu quả của các chiến dịch marketing, từ đó điều chỉnh chiến lược phù hợp để tối ưu hóa chi phí và nâng cao hiệu quả tiếp cận khách hàng. Khuyến nghị sản phẩm:sĐề xuất các sản phẩm phù hợp với nhu cầu và sở thích của từng khách hàng, thúc đẩy doanh số bán hàng và tăng cường sự hài lòng của khách hàng.
Phát hiện gian lận:sXác định các hành vi gian lận trong giao dịch, thanh toán, bảo hiểm, v., giúp doanh nghiệp bảo vệ tài sản và uy tín. Tài chính và Ngân hàng: Đánh giá rủi ro tín dụng:sPhân tích khả năng thanh toán của khách hàng vay vốn, giúp ngân hàng giảm thiểu rủi ro cho vay và đưa ra quyết định cho vay hiệu quả. Phát hiện gian lận thẻ tín dụng:sXác định các giao dịch thẻ tín dụng gian lận, bảo vệ tài sản của ngân hàng và khách hàng. Phát hiện rửa tiền:sXác định các giao dịch rửa tiền, hỗ trợ chống rửa tiền và tài trợ khủng bố.
Quản lý danh mục đầu tư:sPhân tích dữ liệu thị trường và đưa ra dự đoán về xu hướng thị trường, giúp nhà đầu tư đưa ra quyết định đầu tư sáng suốt. Y tế và Chăm sóc sức khỏe: Chẩn đoán bệnh:sPhân tích dữ liệu hình ảnh y tế (X-quang, MRI, v.) và dữ liệu bệnh án để hỗ trợ chẩn đoán bệnh chính xác và nhanh chóng hơn. 11 Nhóm 5: Văn Tùng – Văn Toán – Ngọc Ánh Khoa CNTT & TT Trường Đại Học Phương Đông Phát triển thuốc:sPhân tích dữ liệu về các hợp chất hóa học và dữ liệu sinh học để tìm kiếm các hợp chất tiềm năng có thể phát triển thành thuốc mới. Cá nhân hóa y tế:sPhân tích dữ liệu di truyền và dữ liệu sức khỏe của bệnh nhân để đưa ra các phương pháp điều trị phù hợp với từng cá nhân.
Dự đoán dịch bệnh:sPhân tích dữ liệu về tỷ lệ mắc bệnh, di chuyển của con người và các yếu tố môi trường để dự đoán sự bùng phát của dịch bệnh và đưa ra các biện pháp phòng ngừa hiệu quả. Sản xuất và Chế tạo: Dự đoán hỏng hóc thiết bị:sPhân tích dữ liệu cảm biến và dữ liệu bảo trì để dự đoán hỏng hóc thiết bị trước khi xảy ra, giúp doanh nghiệp chủ động bảo trì và tránh gián đoạn sản xuất. Tối ưu hóa quy trình sản xuất:sPhân tích dữ liệu về hiệu suất sản xuất để xác định các điểm nghẽn và đưa ra các giải pháp cải tiến quy trình, giúp nâng cao hiệu quả sản xuất và tiết kiệm chi phí. Kiểm soát chất lượng sản phẩm:sPhân tích dữ liệu về các thông số kỹ thuật của sản phẩm để phát hiện lỗi sản phẩm và đưa ra các biện pháp cải thiện chất lượng sản phẩm.