Chương 1: CƠ SỞ LÝ LUẬN 1. Tổng quan về phát hiện tri thức và khai phá dữ liệu Khai phá dữ liệu là một quá trình trích xuất và khám phá các mẫu trong tập dữ liệu lớn liên quan đến các phương pháp tại điểm giao nhau của máy học, thống kê và hệ thống cơ sở dữ liệu. Khai phá dữ liệu là một lĩnh vực con liên ngành của khoa học máy tính và thống kê với mục tiêu tổng thể là trích xuất thông tin (bằng các phương pháp thông minh) từ một tập dữ liệu và chuyển đổi thông tin thành một cấu trúc dễ hiểu để sử dụng thêm [1]. Khai phá dữ liệu là bước phân tích của quá trình "Khám phá kiến thức trong cơ sở dữ liệu", hay còn gọi là KDD.
Bên cạnh bước phân tích thô, nó cũng bao gồm các khía cạnh quản lý cơ sở dữ liệu và dữ liệu, xử lý trước dữ liệu, xem xét mô hình và suy luận, chỉ số đo mức độ thú vị, cân nhắc độ phức tạp, xử lý sau các cấu trúc đã phát hiện, trực quan hóa và cập nhật trực tuyến [1]. Khai phá dữ liệu từ cơ sở dữ liệu bao gồm nhiều công đoạn như: xác định vấn đề, tập hợp và chọn lọc dữ liệu, khai thác dữ liệu, đánh giá kết quả, giải thích dữ liệu, áp dụng tri thức vào thực tế. Quá trình phát hiện tri thức và khai phá dữ liệu Gom dữ liệu (Gathering): Tập hợp dữ liệu là bước đầu tiên trong quá trình KPDL. Đây là bước được khai thác trong một CSDL, một kho dữ liệu và thậm chí các dữ liệu từ các nguồn ứng dụng Web.
Trích lọc dữ liệu (Selection): Ở giai đoạn này dữ liệu được lựa chọn hoặc phân chia theo một số tiêu chuẩn nào đó, ví dụ chọn tất cả những người có tuổi đời từ hai mươi lăm đến ba mươi lăm và có trình độ đại học. Làm sạch, tiền xử lý và chuẩn bị trước dữ liệu (Cleansing, Pre-processing and Preparation): Giai đoạn thứ ba này là giai đoạn hay bị sao lãng, nhưng thực tế nó là một bước rất quan trọng trong quá trình KPDL. Một số lỗi thường mắc phải trong khi gom dữ liệu là tính không đủ chặt chẽ, logic. Vì vậy, dữ liệu thường chứa 6 các giá trị vô nghĩa và không có khả năng kết nối dữ liệu.
Ví dụ: tuổi = sáu trăm bảy mươi ba. Giai đoạn này sẽ tiến hành xử lý những dạng dữ liệu không chặt chẽ nói trên. Những dữ liệu dạng này được xem như thông tin dư thừa, không có giá trị. Bởi vậy, đây là một quá trình rất quan trọng vì dữ liệu này nếu không được “làm sạch - tiền xử lý - chuẩn bị trước” thì sẽ gây nên những kết quả sai lệch nghiêm trọng.
Chuyển đổi dữ liệu (Transformation): Tiếp theo là giai đoạn chuyển đổi dữ liệu, dữ liệu đưa ra có thể sử dụng và điều khiển được bởi việc tổ chức lại nó. Dữ liệu đã được chuyển đổi phù hợp với mục đích khai thác. Phát hiện và trích mẫu dữ liệu (Pattern Extraction and Discovery): Đây là bước mang tính tư duy trong KPDL. Ở giai đoạn này nhiều thuật toán khác nhau đã được sử dụng để trích ra các mẫu từ dữ liệu.
Thuật toán thường dùng là nguyên tắc phân loại, nguyên tắc kết hợp hoặc các mô hình dữ liệu tuần tự, v. Đánh giá kết quả mẫu (Evaluation of Result): Đây là giai đoạn cuối trong quá trình KPDL. Ở giai đoạn này, các mẫu dữ liệu được chiết xuất ra bởi phần mềm KPDL. Không phải bất cứ mẫu dữ liệu nào cũng đều hữu ích, đôi khi nó còn bị sai lệch.
Vì vậy, cần phải ưu tiên những tiêu chuẩn đánh giá để chiết xuất ra các tri thức cần chiết xuất ra.1: Các giai đoạn trong quá trình khai phá dữ liệu Trên đây là sáu giai đoạn trong quá trình KPDL, trong đó giai đoạn 5 là giai đoạn được quan tâm nhiều nhất hay còn gọi đó là KPDL. Các phương pháp khai phá dữ liệu - Phương pháp nghiên cứu lý luận: Thu thập, đọc hiểu, phân tích thông tin, dữ liệu từ các tài liệu, giáo trình, sách liên quan đến khai phá dữ liệu. - Phương pháp nghiên cứu thực tiễn: Tiến hành nghiên cứu các kỹ thuật cho phép phân lớp trong khai phá dữ liệu, ứng dụng các kỹ thuật đó để xây dựng mô hình dự đoán kết quả tiếp thị ngân hàng dựa vào các thông tin đầu vào. Đề tài tiến hành so sánh kết quả của các mô hình để lựa chọn mô hình cho kết quả vượt trội nhất.
Từ đó, xây dựng chương trình dự báo kết quả thông qua các cuộc gọi điện thoại tiếp thị qua điện thoại để tiếp thị các khoản tiền gửi dài hạn hiệu quả nhất. Việc xây dựng mô hình được tiến hành theo các bước: ▪ Làm sạch và tích hợp dữ liệu. ▪ Lựa chọn dữ liệu và chuyển đổi dữ liệu ▪ Khai thác dữ liệu ▪ Sự trực quan hóa ▪ Biểu diễn và đánh giá mô hình Dữ liệu là mỗi bản ghi bao gồm mục tiêu đầu ra, kết quả liên hệ ({“thất bại”, “thành công”}) và các tính năng đầu vào ứng viên. Chúng bao gồm các thuộc tính tiếp thị qua điện thoại (ví dụ: chỉ đường cuộc gọi), chi tiết sản phẩm (ví dụ: lãi suất được cung cấp) và thông tin khách hàng (ví dụ: tuổi).
Các bản ghi này đã được làm giàu với các tính năng ảnh hưởng xã hội và kinh tế (ví dụ: tỷ lệ thay đổi thất nghiệp). - Phương pháp nghiên cứu tài liệu: Tìm hiểu ngôn ngữ lập trình, hệ quản trị Cơ sở dữ liệu (CSDL), Xây dựng ứng dụng. Mô hình khai phá dữ liệu - Mô hình Hồi quy Logistic (LR): Mục tiêu của hồi qui Logistic là nghiên cứu mối tương quan giữa một (hay nhiều) yếu tố nguy cơ (risk factor) và đối tượng phân tích (outcome). Chẳng hạn như đối với nghiên cứu mối tương quan giữa thói quen hút thuốc lá và nguy cơ mắc ung thư phổi thì yếu tố nguy cơ ở đây là thói quen hút thuốc lá và đối tượng phân tích ở đây là nguy cơ mắc ung thư phổi.
Trong hồi 8 qui logistic thì các đối tượng nghiên cứu thường được thể hiện qua các biến số nhị phân (binary) như xảy ra/ không xảy ra; chết/sống; có/không,… còn các yếu tố nguy cơ có thể được thể hiện qua các biến số liên tục (tuổi, huyết áp,…) hoặc các biến nhị phân (giới tính) hay các biến thứ bậc (thu nhập: Cao, trung bình, thấp). Vấn đề đặt ra cho nghiên cứu dạng này là làm sao để ước tính độ tương quan của các yếu tố nguy cơ và đối tượng phân tích. Các phương pháp phân tích như hồi qui tuyến tích không áp dụng được vì biến phụ thuộc không phải là biến liên tục mà là biến nhị phân [3]. - Mô hình Cây quyết định (DT): Cây quyết định là một trong những mô hình có khả năng diễn giải cao và có thể thực hiện cả nhiệm vụ phân loại và hồi quy.
Như vậy cho thấy Cây Quyết định là mô hình cấu trúc giống như cây lộn ngược. Tại thời điểm này, bạn có thể có một câu hỏi như chúng ta đã có các mô hình họ máy học cổ điển như hồi quy tuyến tính và hồi quy logistic để thực hiện các nhiệm vụ hồi quy và phân loại trong trường hợp như vậy thì sự cần thiết của một mô hình khác như Cây quyết định là gì. Câu trả lời cho câu hỏi này là để thực hiện các mô hình tuyến tính cổ điển, chúng ta cần đảm bảo rằng dữ liệu được sử dụng để đào tạo mô hình không có tất cả các bất thường như giá trị bị thiếu, các giá trị ngoại lệ cần được xử lý, đa cộng tuyến cần được giải quyết. Toàn bộ quá trình tiền xử lý dữ liệu cần được thực hiện trước đó.
Trong khi trong Cây quyết định, chúng ta không cần phải thực hiện bất kỳ loại xử lý trước dữ liệu nào trước đó. Cây Quyết định đủ mạnh để xử lý tất cả các loại vấn đề như vậy để đi đến quyết định. Ngoài ra, Cây quyết định có khả năng xử lý dữ liệu phi tuyến mà các mô hình tuyến tính cổ điển không xử lý được. Do đó Cây quyết định đủ đa dạng để thực hiện cả nhiệm vụ hồi quy và phân loại.
Toàn bộ những ưu và nhược điểm liên quan đến Cây Quyết định có thể được thảo luận chi tiết trong phần sau của bài viết này. Trước đó, hãy bắt đầu tìm hiểu Cây quyết định. Cây quyết định xây dựng cây bằng cách đặt một loạt câu hỏi vào dữ liệu để đi đến quyết định. Do đó người ta nói rằng Cây Quyết định bắt chước quá trình quyết định của con người.
Trong quá trình xây dựng cây, nó chia toàn bộ 9 dữ liệu thành các tập dữ liệu con cho đến khi đưa ra quyết định. Hãy cùng tìm hiểu một vài thuật ngữ liên quan đến cây Quyết định để hiểu rõ hơn về Cây quyết định.2: Minh họa cây quyết định 1. Kết luận KPDL là một lĩnh vực được quan tâm và ứng dụng rộng rãi. Một số ứng dụng điển hình trong KPDL có thể liệt kê: phân tích dữ liệu và hỗ trợ ra quyết định; điều trị y học; phát hiện văn bản; tin sinh học; tài chính và TTCK; bảo hiểm.
Quá trình nghiên cứu tổng quan về khai phá dữ liệu giúp chúng ta hiểu được các bước trong qui trình khai phá dữ liệu, phương pháp, dạng dữ liệu có thể khai phá và những vấn đề cần giải quyết trong khai phá dữ liệu. 10 Chương 2: PHƯƠNG PHÁP TIẾP CẬN THEO HƯỚNG DỮ LIỆU ĐỂ DỰ ĐOÁN SỰ THÀNH CÔNG CỦA TIẾP THỊ QUA ĐIỆN THOẠI NGÂN HÀNG 2. Tổng quan cơ sở dữ liệu Tiếp thị ngân hàng. Nghiên cứu này tập trung vào mục tiêu thông qua các cuộc gọi điện thoại tiếp thị qua điện thoại để tiếp thị các sản phẩm.
Trong một đợt, các nhân viên thực hiện các cuộc gọi điện thoại đến danh sách khách hàng để tiếp thị sản phẩm hoặc nếu trong khi khách hàng gọi đến trung tâm liên lạc của ngân hàng vì bất kỳ lý do nào khác, khách hàng được yêu cầu đăng ký sản phẩm. Do đó, kết quả là một nhị phân liên hệ không thành công hoặc thành công [1]. Phân tích yêu cầu chức năng tập dữ liệu. - Dữ liệu tiếp thị qua điện thoại của ngân hàng (Bank telemarketing data): Nghiên cứu này tập trung vào việc thông qua các cuộc gọi điện thoại tiếp thị qua điện thoại để tiếp thị các khoản tiền gửi dài hạn.