CHƯƠNG 1. PHÂN LỚP VÀ PHƯƠNG PHÁP XÂY DỰNG CÂY PHÂN LỚP THEO TẬP MẪU HỌC 1. Tổng quan về kỹ thuật khai phá dữ liệu Trong máy tính, thuật ngữ dữ liệu được xem như là các đặc tính được biết đến mà có thể ghi lại và lưu trữ trên các thiết bị ghi nhớ của máy tính. Dữ liệu là những mô tả về sự vật, con người và sự kiện trong thế giới thực.
Dữ liệu bao gồm số, ký tự, văn bản, hình ảnh, đồ họa, âm thanh, đoạn phim,…. Có một số giá trị nào đó đối với người sử dụng và chúng được lưu trữ, xử lý trong máy tính. Ví dụ: - Dữ liệu về khách: tên, địa chỉ, điện thoại, thẻ tín dụng. - Dữ liệu về xe ô tô của khách: hãng xe, đời xe, năm sản xuất… - Dữ liệu về nhật ký sử chữa: ngày phục vụ, tên thợ sửa chữa, số tiền thanh toán… Trong hoạt động kinh tế xã hội của con người, người ta thường chia ra hai loại dữ liệu là loại dữ liệu phản ảnh cấu trúc nội bộ của cơ quan (nhân sự, nhà xưởng, thiết bị,… dữ liệu ít biến động) và loại dữ liệu phản ánh hoạt động của tổ chức (sản xuất, mua bán, giao dịch,…).
Trong doanh nghiệp, không kể con người và thiết bị, dữ liệu cùng với xử lý là hai thành phần cơ bản của hệ thống: dữ liệu thường dùng để ghi nhận thực trạng. Khái niệm về khai phá dữ liệu Theo bách khoa toàn thư, khai phá dữ liệu (DM) là khâu chủ yếu trong quá trình phát triển tri thức từ dữ liệu để trợ giúp cho việc làm quyết định trong quản lý. DM sử dụng nhiều phương pháp của phân tích thống kê, của lý thuyết nhận dạng, của các hệ học, các mạng nơ-ron nhân tạo… nhắm phát hiện các mẫu hình tri thức trực tiếp từ các kho dữ liệu. DM và phát triển tri thức là những Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 2 hướng nghiên cứu mới trong tổ chức và khai thác các hệ thống thông tin và trợ giúp quyết định.
Thuật ngữ DM do Fayyad Smyth và Piatestky-Shapiro đề xuất năm 1989. Có rất nhiều định nghĩa khác nhau về DM đã được đưa ra. Theo định nghĩa đơn giản nhất, DM là việc trích lọc tri thức từ một lượng lớn dữ liệu. Nó còn có một số tên gọi khác như “trích lọc tri thức”, “phân tích dữ liệu/mẫu”, “khảo cổ dữ liệu”.
“nạo vét dữ liệu”,…. Giáo sư Tom Mitchell đã đưa ra định nghĩa về DM như sau: “DM là việc sử dụng dữ liệu lịch sử để khám phá những quy tắc và cải thiện những quyết định trong tương lai”. Với cách tiếp cận thực tế hơn, tiến sĩ Fayyad đã phát biểu : “DM thường được xem là việc khám phá tri thực trong các CSDL, là một quá trình trích xuất những thông tin ẩn, trước đây chữ biết và có khả năng là hữu ích dưới dạng các quy luật, ràng buộc, quy tắc trong CSDL”. Các nhà thống kê thì xem “DM như một quá trình phân tích được thiết kế thăm dò và/hoặc các mối quan hệ mang tính hệ thống giữa các biến và sau đó sẽ hợp thực hóa các kết quả tìm được bằng cách áp dụng các mẫu đã phát hiện được cho tập con mới của dữ liệu”.
Nói chung, DM là cốt lõi của quá trình phát hiện tri thức. Nó gồm có các giải thuật DM chuyên dùng, một số quy định về hiệu quả tính toán chấp nhận được. DM nhằm tìm ra những mẫu mới, mẫu có tính chất không tầm thường, những thông tin tiềm ẩn mang tính dự đoán chưa được biết đến và có khả năng mang lại lợi ích. Nói gọn hơn, DM là việc tìm kiếm các kiến thức/các mẫu hấp dẫn trong kho dữ liệu.
DM là hoạt động trọng tâm của quá trình phát hiện tri thức. Một số phương pháp khai phá dữ liệu hiện đại và thông dụng Với hai đích chính của khai thác dữ liệu là dự đoán (Prediction) và mô tả (Description), người ta thường sử dụng các phương pháp sau cho khai phá dữ Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3 liệu: - Phân lớp (Classification) - Hồi quy (Regression) - Phân nhóm (Clustering) - Tổng hợp (Summarization) - Mô hình ràng buộc (Dependency modeling) - Dò tìm biến đổi và độ lệch (Change and Deviation Dectection) - Biểu diễn mô hình (Model Representation) - Kiểm định mô hình (Model Evaluation) - Phương pháp tìm kiếm (Search Melthod) 1. Các ứng dụng khai phá dữ liệu Khai phá dữ liệu (DM) được vận dụng trong nhiều lĩnh vực khác nhau nhằm khai thác nguồn dữ liệu phong phú được lưu trữ trong các hệ thống thông tin. Tùy theo bản chất của từng lĩnh vực, việc vận dụng Data mining có những cách tiếp cận khác nhau.
DM được vận dụng có hiệu quả để giải quyết các bài toán phức tạp trong những ngành đòi hỏi kĩ thuật cao như: tìm kiếm mỏ dầu từ ảnh viễn thám, xác định vùng gãy trong ảnh địa chất để dự đoán thiên tai, cảnh báo hỏng hóc trong các hệ thống sản xuất. Phân nhóm và dự đoán là những công cụ rất cần thiết cho việc quy hoạch và phát triển hệ thống quản lý và sản xuất trong thực tế như: dự đoán tái sử dụng điện năng cho các công ty cung cấp điện, lưu lượng viễn thông cho các công ty điện thoại, mức độ tiêu thụ sản phẩm cho các nhà sản xuất, giá trị của sản phẩm trên thị trường cho các công ty tài chính hay phân nhóm khách hàng tiềm năng. Ngoài ra DM còn được áp dụng trong việc giải quyết các vấn đề xã hội như: phát hiện tội phạm hay tăng cường an ninh xã hội và mang lại những hiệu Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4 quả thiết thực cho các hoạt động trong đời sống hàng ngày. Việc ứng dụng DM phân theo ngành phân bố trong khoảng 5 năm gần đây với tỷ lệ sau.
* Phân tích dữ liệu gen và sinh học y học - Trong sinh học, DM dùng để tìm kiếm, so sánh các hệ gen và thông tin di truyền, tìm mối liên hệ giữa các hệ gen và chuẩn đoán một số bệnh di truyền. DM đã trở thành một công cụ mạnh và đóng góp thiết thực vào việc phân tích gen theo các cách sau: Nghiên cứu tương tự và so sánh các chuỗi gen: Một nghiên cứu quan trọng trong phân tích gen là nghiên cứu tương tự là so sánh các chuỗi gen. các chuỗi gen được cô lập từ các mô bệnh khỏe và có thể được so sánh với nhau để nhận dạng những khác biệt giữa hai lớp gen. Phân tích kết hợp: Nhận dạng các chuỗi gen cùng xảy ra, phân tích kết hợp có thể được sử dụng giúp chúng ta xác định các loại gen thường kết hợp với nhau để gây nên bệnh.
Phân tích hướng đi: Liên kết các gen ở các giai đoạn khác nhau của quá trình phát triển bệnh, nếu một chuỗi hoạt động của các gen ở những giai đoạn khác nhau của bệnh được xác định, thì có thể giúp chúng ta chế tạo ra các dược phẩm can thiệp vào từng giai đoạn của bệnh. Do đó, có thể tạo được cách điều trị bệnh hiệu quả hơn. - Trong y học: DM giúp tìm ra mối liên hệ giữa các triệu chứng, chuẩn đoán bệnh. * Phân tích dữ liệu tài chính Trên phương diện tài chính và thị trường chứng khoán, DM dùng để phân tích tình hình tài chính phân tích đầu tư, phân tích cổ phiếu.
Dữ liệu tài chính nhận được tương đối hoàn chỉnh, đáng tin cậy và chất lượng cao làm thuận lợi cho việc phân tích dữ liệu, DM một cách hệ thống. Các ứng dụng của DM vào lĩnh vực tài chính như: Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 5 - Dự đoán trả tiền vay và phân tích chính sách tín dụng khách hàng: Dự đoán trả tiền vay và phân tích chính sách tín dụng khách hàng là vấn đề quan trọng đối với việc kinh doanh của ngân hàng. Có nhiều yếu tố (chẳng hạn: tỉ lệ trả lên thu nhập, mức học vấn, vùng dân cư, lịch sử tín dụng,…) có thể ảnh hưởng mạnh hoặc yếu đến việc thực hiện trả tiền vay và sự đánh giá mức độ tín nhiệm khách hàng. Các phương pháp DM như lựa trọn đặc trưng, xếp hạng các thuộc tính liên quan có thể giúp xác định các yếu tố quan trọng và loại bỏ những yếu tố không liên quan.
Do đó, ngân hàng có thể điều chỉnh chính sách cho vay đối với những khách hàng mà trước đây ngân hàng đã từ chối nhưng nay tỉ lệ mạo hiểm đối với họ là thấp dựa vào các phân tích trên. - Phát hiện các tội phạm tài chính: để phát hiện việc chuyển tiền bất chính vào ngân hàng và tội phạm tài chính, việc tích hợp thông tin từ các CSDL khác nhau (CSDL giao dịch ngân hàng, CSDL về lịch sử tội phạm) là rất quan trọng. Sau khi có dữ liệu tổng hợp chúng ta có thể dựa trên các công cụ của DM để phát hiện ra mẫu khác thường. * Dịch vụ bán lẻ Trong thông tin thương mại: dùng để phân tích dữ liệu người dùng, phân tích dữ liệu maketing, phân tích đầu tư, phát hiện gian lận.
Dịch vụ bán lẻ là một trong lĩnh vực của DM. Một lượng dữ liệu khổng lồ đã và đang thu nhập ngày càng tăng, đặc biệt với sự gia tăng về sự tiện lợi, lợi ích và tính phổ biến của việc kinh doanh trên web, thương mại điện tử. Dữ liệu bán lẻ cung cấp một kho dữ liệu phong phú cho việc khai phá dữ liệu. Khai phá dữ liệu bán lẻ có thể giúp chúng ta xác định hành vi mua hàng của khách hàng, phát hiện những mẫu mua hàng của người dùng, những khuynh hướng mua hàng.
Thiết kế các chiến dịch kinh doanh: giữ khách hàng – phân tích lòng trung thành của khách hàng: lòng trung thành của khách hàng và khuynh hướng Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 6 mua hàng có thể được phân tích một cách hệ thống. * Công nghiệp viễn thông Trong thông tin kĩ thuật: DM dùng để phân tích các sai hỏng, điều khiển và lập lịch trình.