TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC BÁO CÁO MÔN HỌC TECHNICAL WRITING AND PRESENTATION Đề tài: INTRODUCTION TO DATA MINING Giáo viên hướng dẫn: Ts.Lê Chí Ngọc Nhóm thực hiện : Nhóm 10 Họ và tên MSSV Hà Văn Học 20180264 Phạm Đức Anh 20180262 Nguyễn Thị Ngọc Huyền 20173533 Hà Nội, 06/01/22 MỤC LỤC Mục tiêu học tập .4 Phạm vi khai thác dữ liệu .6 Khám phá và giảm thiểu dữ liệu. Sử dụng XLMiner để lấy mẫu từ trang tính .8 Trực quan hóa dữ liệu. Một Boxplot cho Dữ liệu rủi ro tín dụng (Credit Risk Data). Một biểu đồ tọa độ song song cho Dữ liệu rủi ro tín dụng.
Ma trận phân tán cho dữ liệu rủi ro tín dụng.14 Ví dụ 5 Một biểu đồ biến đổi của Dữ liệu rủi ro tín dụng.14 Dữ liệu bẩn .16 Phân tích cluster. Dữ liệu nhóm các trường đại học và cao đẳng trong.25 Một giải thích trực quan về phân loại. Phân loại các quyết định phê duyệt tín dụng một cách trực quan .Tập dữ liệu phân vùng trong XLMiner .28 Phân loại dữ liệu mới .31 Ví dụ 9 Phân loại dữ liệu mới cho các quyết định tín dụng bằng cách sử dụng điểm tín dụng và năm lịch sử tín dụng .32 Kỹ thuật phân loại.Phân loại các quyết định tín dụng bằng thuật toán k-NN.Phân loại dữ liệu mới bằng k-NN.37 Phân tích phân biệt (Discriminant Analysis ) .Phân loại các quyết định tín dụng bằng cách sử dụng phân tích phân biệt .Sử dụng phân tích phân biệt để phân loại dữ liệu mới .43 2 Hồi quy logistic .Phân loại các quyết định phê duyệt tín dụng sử dụng hồi quy logistic .46 KỸ THUẬT PHÂN LOẠI TRONG KHAI PHÁ DỮ LIỆU .52 Phân loại là gì? .52 Các vấn đề quan tâm của phân loại .55 Phân chia đệ quy này dừng khi một trong những điều kiện sau là đúng:.58 Phân cụm phân cấp: .63 3 Mục tiêu học tập Sau khi học chương này, chúng ta có thể: • Xác định khai thác dữ liệu và một số cách tiếp cận phổ biến được sử dụng trong khai thác dữ liệu. • Giải thích cách phân tích cụm được sử dụng để khám phá và giảm dữ liệu.
• Áp dụng các kỹ thuật phân tích cụm bằng XLMiner. • Giải thích mục đích của các phương pháp phân loại, cách đo lường hiệu suất phân loại và việc sử dụng dữ liệu đào tạo và xác nhận. • Áp dụng k-Hàng xóm gần nhất, phân tích phân biệt đối xử, và hồi quy logistic để phân loại bằng cách sử dụng XLMiner. • Mô tả khai thác quy tắc kết hợp và việc sử dụng nó trong phân tích rổ thị trường.
• Sử dụng XLMiner để phát triển các quy tắc kết hợp. • Sử dụng phân tích tương quan cho nguyên nhân và kết quả làm mẫu Trong một bài báo trên tạp chí Analytics, Talha Omer nhận thấy rằng việc sử dụng điện thoại di động để thực hiện cuộc gọi thoại để lại một lượng dữ liệu đáng kể. " Nhà cung cấp điện thoại di động biết mọi người bạn đã gọi, bạn đã nói chuyện trong bao lâu , bạn đã gọi lúc mấy giờ và liệu cuộc gọi của bạn có thành công hay không hay đã bị ngắt quãng. Nó cũng biết bạn đang ở đâu, bạn thực hiện hầu hết các cuộc gọi từ đâu, quảng cáo nào bạn đang phản hồi, bạn đã mua bao nhiêu lần trước đó, v.
” Nó cũng biết bạn đang ở đâu, bạn thực hiện hầu hết các cuộc gọi từ đâu, bạn đang phản hồi chương trình khuyến mãi nào, bạn đã mua bao nhiêu lần trước đó , v. Xét đến thực tế là đại đa số mọi người ngày nay sử dụng điện thoại di động, 4 một lượng dữ liệu khổng lồ về hành vi của người tiêu dùng luôn có sẵn. Tương tự, nhiều cửa hàng hiện nay sử dụng thẻ tích điểm. cho phép người tiêu dùng tận dụng lợi thế của giá ưu đãi chỉ dành cho những người sử dụng thẻ.
Tuy nhiên, khi họ làm như vậy, thẻ để lại hậu quảdữ liệu kỹ thuật số về các mô hình mua hàng. Làm thế nào một doanh nghiệp có thể khai thác những dữ liệu này? Nếu họ có thể hiểu rõ hơn về các mẫu và mối quan hệ ẩn trong dữ liệu, họ không chỉ có thể hiểu thói quen mua hàng mà còn có thể tùy chỉnh quảng cáo , khuyến mại, phiếu giảm giá, v. cho từng khách hàng và gửi tin nhắn văn bản và ưu đãi qua email được nhắm mục tiêu (chúng tôi ' không nói chuyện spam ở đây, nhưng người dùng đã đăng ký chọn tham gia các tin nhắn như vậy). Khai thác dữ liệu là một lĩnh vực phân tích kinh doanh đang phát triển nhanh chóng, tập trung vào việc hiểu rõ hơn các đặc điểm và mô hình giữa các biến nói chung cơ sở dữ liệu sử dụng nhiều công cụ thống kê và phân tích.
Nhiều công cụ mà chúng ta đã nghiên cứu trong các chương trước, chẳng hạn như trực quan hóa dữ liệu, tóm tắt dữ liệu, PivotTables, phân tích tương quan và hồi quy, và các kỹ thuật khác, được sử dụng rộng rãi trong khai thác dữ liệu. Tuy nhiên, khi lượng dữ liệu tăng lên theo cấp số nhân, nhiều phương pháp thống kê và phân tích khác đã được phát triển để xác định mối quan hệ giữa các biến trong tập dữ liệu lớn và hiểu các mẫu ẩn mà chúng có thể chứa. Trong chương này, chúng tôi giới thiệu một số phương pháp phổ biến hơn và sử dụng phần mềm XLMiner để triển khai chúng trong môi trường bảng tính. Nhiều thủ tục dữ liệu yêu cầu kiến thức thống kê nâng cao để hiểu lý thuyết cơ bản.
Do đó, chúng tôi tập trung vào các ứng dụng đơn giản và hiểu mục đích và ứng dụng của các kỹ thuật hơn là cơ sở lý thuyết của chúng.Ngoài ra, chúng tôi lưu ý rằng chương 5 này không nhằm mục đích đề cập đếntất cả cáckhía cạnh của khai thác dữ liệu. Nhiều kỹ thuật khác có sẵn trong XLMinerkhông được mô tả trong chương này. Phạm vi khai thác dữ liệu Khai thác dữ liệu có thể được coi là phân tích mô tả một phần và mô tả một phần. Trong phân tích mô tả, các công cụ khai thác dữ liệu giúp các nhà phân tích xác định các mẫu trong dữ liệu.
Ví dụ: biểu đồ Excel và PivotTables là những công cụ hữu ích để mô tả các mẫu và phân tích tập dữ liệu; tuy nhiên, chúng yêu cầu sự can thiệp thủ công. Các mô hình phân tích và dự báo hồi quy giúp chúng ta dự đoán các mối quan hệ hoặc giá trị tương lai của các biến quan tâm. Theo quan sát của một số nhà nghiên cứu, “ranh giới giữa dự đoán và mô tả không rõ ràng (một số mô hình dự đoán có thể mang tính mô tả, ở mức độ dễ hiểu và ngược lại).” Trong hầu hết các ứng dụng kinh doanh, mục đích của phân tích mô tả là để giúp các nhà quản lý dự đoán tương lai hoặc đưa ra các quyết định tốt hơn sẽ ảnh hưởng đến hiệu suất trong tương lai, vì vậy, chúng ta có thể nói chung rằng khai thác dữ liệu chủ yếu là một phương pháp phân tích dự đoán. Một số cách tiếp cận phổ biến trong khai thác dữ liệu bao gồm: Thăm dò (khám phá) và giảm thiểu dữ liệu: Điều này thường liên quan đến việc xác định các nhóm trong đó các yếu tố của các nhóm giống nhau về mặt nào đó.
Cách tiếp cận này thường được sử dụng để tìm hiểu sự khác biệt giữa các khách hàng và phân khúc họ thành các nhóm đồng nhất. Ví dụ: các cửa hàng bách hóa của Macy đã xác định được 4 phong cách sống của khách hàng: “Katherine”, một người ăn mặc truyền thống, cổ điển, không chịu nhiều rủi ro và thích chất lượng; “Julie”, tân cổ điển và sắc sảo hơn một chút nhưng vẫn cổ điển; “Erin”, một khách hàng đương đại yêu thích sự mới mẻ và mua sắm theo thương hiệu; và “Alex”, khách hàng 6 thời trang chỉ muốn những thứ mới nhất và tuyệt vời nhất (họ cũng có phiên bản dành cho nam) .4 Việc phân khúc như vậy rất hữu ích trong các ho ạt động thiết kế và tiếp thị để nhắm mục tiêu tốt hơn đến việc cung cấp sản phẩm. Các kỹ thuật này cũng đã được sử dụng để xác định các đặc điểm của những nhân viên thành công và cải thiện các phương thức tuyển dụng và tuyển dụng. Phân loại: Phân loại là quá trình phân tích dữ liệu để dự đoán cách phân loại một phần tử dữ liệu mới.
Một ví dụ về phân loại là lọc thư rác trong ứng dụng e- mail. Bằng cách kiểm tra các đặc điểm văn bản của một thư (tiêu đề chủ đề, các từ khóa, v.), thư có được phân lo ại là rác hay không. Các phương pháp phân loại có thể giúp dự đoán liệu một giao dịch thẻ tín dụng có thể gian lận hay không, người xin vay có r ủi ro cao hay không hoặc liệu người tiêu dùng có phản ứng với một quảng cáo hay không. Sự liên kết: Liên kết là quá trình phân tích cơ sở dữ liệu để xác định các liên kết tự nhiên giữa các biến và tạo ra các quy tắc cho các khuyến nghị mua hoặc tiếp thị mục tiêu.
Ví dụ: Netflix sử dụng liên kết để hiểu khách hàng thích loại phim nào và đưa ra các đề xuất dựa trên dữ liệu.com cũng đưa ra các đề xuất dựa trên các giao dịch mua trong quá khứ. Thẻ khách hàng thân thiết của siêu thị thu thập dữ liệu về thói quen mua hàng của khách hàng và in phiếu giảm giá tại thời điểm mua hàng dựa trên những gì hiện đã mua. Mô hình nhân quả: Mô hình nhân quả là quá trình phát triển các mô hình phân tích để mô tả mối quan hệ giữa các chỉ số thúc đẩy hiệu suất kinh doanh — ví dụ: lợi nhuận, sự hài lòng của khách hàng hoặc sự hài lòng của nhân viên. Hiểu được các yếu tố thúc đẩy hiệu suất có thể dẫn đến các quyết định tốt hơn để cải thiện hiệu suất.
Ví dụ, nhóm kiểm soát của Johnson Controls, Inc., đã xem xét mối quan hệ giữa sự hài lòng và tỷ lệ gia hạn hợp đồng. Họ phát hiện ra rằng 91% các trường hợp gia hạn hợp đồng đến từ những khách hàng hài lòng ho ặc rất hài lòng, và những khách hàng không hài lòng có tỷ lệ bỏ trốn cao hơn nhiều. Mô hình của họ dự đoán 7 rằng sự gia tăng một điểm phần trăm trong điểm hài lòng tổng thể có giá trị 13 triệu đô la khi gia hạn hợp đồng dịch vụ hàng năm.
