chương 1 Trong chương này, tôi đã trình bày tổng quan về bài toán rời bỏ các dịch vụ khách hàng ở các ngân hàng. Tôi cũng đã giới thiệu tổng quan các nghiên cứu liên quan đến việc xác định, dự đoán khách hàng rời bỏ các dịch vụ ngân hàng. Tôi đã giới thiệu bài toán cụ thể về việc sử dụng các dữ liệu khách hàng của VIB để xây dựng mô hình dự đoán khách hàng rời bỏ dịch vụ MyVIB. KHAI PHÁ DỮ LIỆU VÀ CÁC KỸ THUẬT PHÂN TÍCH DỰ BÁO 2.
Tổng quan về khai phá dữ liệu 2. Khái niệm Khai phá dữ liệu là một quá trình khám phá các thông tin nằm trong các cơ sở dữ liệu. Khai phá dữ liệu là giai đoạn quan trọng nhất trong tiến trình khai phá tri thức từ các nguồn dữ liệu hiện có. Các thông tin tri thức là cơ sở cho việc ra các quyết định trong các lĩnh vực nghiên cứu khoa học, kinh tế và xã hội.
Quy trình khai phá dữ liệu Quy trình khai phá dữ liệu gồm 6 bước, cụ thể như sau: Bước 1: Thu thập dữ liệu Dữ liệu được thu thập từ nhiều nguồn khác nhau theo mục tiêu của bài toán. Các nguồn dữ liệu bao gồm các thuộc tính của dữ liệu và các thông tin liên quan. Dữ liệu được thu thập từ các nguồn có sẵn hoặc được tổng hợp trong quá trình xử lý dữ liệu. Bước 2: Trích chọn dữ liệu Dữ liệu được trích chọn từ các nguồn dữ liệu nhằm đảm bảo tính đầy đủ của dữ liệu.
Bước 3: Tiền xử lý và chuẩn bị dữ liệu (Preprocessing): Dữ liệu cần phải được xử lý trước khi được khai phá. Thông thường, người thu thập dữ liệu thường không xác định được mức độ quan trọng của các trường dữ liệu, sự đầy đủ của các dữ liệu nên có thể thiếu một số thuộc tính, nhiều khi đó lại là các thuộc tính quan trọng. Ngoài ra cũng có trường hợp các dữ liệu đã được lưu trữ nhưng vì một lý do nào đó đã bị xóa đi, cũng như việc ghi chép sự biến đổi mang tính lịch sử của các giao dịch có thể bị bỏ qua mà chỉ giữ lại những thông tin tổng hợp vào thời điểm xét. Việc trùng lặp dữ liệu hoặc thiếu dữ liệu có thể làm ảnh hưởng 14 1 5 đến kết quả của mô hình, thậm chí có thể có kết quả ngược lại với dự kiến.
Để có được mô hình phân tích chính xác thì dữ liệu cần phải chính xác. Dữ liệu chính xác, dữ liệu tốt là chìa khóa tạo ra các mô hình giá trị và đáng tin cậy. Do đó dữ liệu cần phải được tiền xử lý. Hoạt động cơ bản của giai đoạn tiền xử lý bao gồm làm sạch dữ liệu, rút gọn dữ liệu.
Hai nguyên nhân của rút gọn dữ liệu là : - Dữ liệu quá lớn, không phù hợp với khả năng xử lý của chương trình. - Thời gian thực thi chương trình quá dài. Việc rút gọn dữ liệu bao gồm các phương pháp như tổng hợp và tổng quát hóa, giảm chiều dữ liệu, nén dữ liệu, giảm số lượng các bản ghi, rời rạc hóa. Tổng hợp dữ liệu và tổng quát hóa dữ liệu: tổ hợp từ hai hay nhiều thuộc tính trở lên thành một thuộc tính, tổng quát hóa dữ liệu cấp thấp sang dữ liệu cấp cao chẳng hạn như các thành phố tổng hợp vào vùng, khu vực, nước… Giảm chiều dữ liệu: việc giảm chiều là việc lựa chọn các đặc trưng, các thuộc tính có ý nghĩa quan trọng đối với mục đích khai phá dữ liệu.
Loại bỏ những thuộc tính không liên quan, những thuộc tính có thể trùng với thuộc tính khác trong cơ sở dữ liệu. Giảm số bản ghi dữ liệu: Để đảm bảo khối lượng dữ liệu không quá lớn, cần phải giảm số bản ghi dữ liệu. Cách tiếp cận chính để làm giảm số bản ghi dữ liệu là lấy mẫu ngẫu nhiên. Thay vì tiến hành khai phá trên tập toàn bộ các trường hợp, các mẫu ngẫu nhiên được thu thập.
Có hai cách để lấy mẫu : o Mẫu tăng dần: Phương pháp này tiến thử nghiệm với một tập mẫu ban đầu lấy từ dữ liệu nguồn với một số lượng vừa phải dùng mẫu này để đánh giá hiệu quả. Tiếp theo lấy các mẫu với số lượng trường hợp tăng dần và so sánh độ hiệu quả với tập dữ liệu đã được xây dựng trước đó. Nếu hiệu quả được cải thiện thì tiếp tục quá trình lấy mẫu, ngược lại quá trình sẽ dừng. o Mẫu trung bình: Tùy theo khả năng của mô hình xử lý mà số lượng mẫu được lấy ra theo số lượng yêu cầu.
15 1 6 Thông thường, dữ liệu được lấy từ các mẫu trên sẽ có kích thước nhỏ hơn nhiều so với toàn bộ kho dữ liệu. Bên cạnh việc giảm chiều dữ liệu, cần phải làm sạch dữ liệu. Việc này bao gồm việc xác định các giá trị còn thiếu, khử nhiễu, tìm kiếm các dữ liệu sai lệch so với chuẩn. Đối với việc xử lý dữ liệu bị thiếu (missing value), ta có thể sử dụng một hoặc tổ hợp các giải pháp sau: Bỏ qua bản ghi dữ liêu nếu chứa nhiều thuộc tính thiếu giá trị.
Bổ sung các giá trị còn thiếu thủ công. Bổ sung các giá trị thiếu này cách sử dụng một trong những phương pháp sau: o Thay thế giá trị thiếu bằng một hằng số chuẩn. Thông thường các giá trị này thường không ảnh hưởng nhiều đến kết quả của mô hình khai phá dữ liệu. o Thay thế giá trị thiếu bằng giá trị trung bình cùng thuộc tính được lấy xung quanh giá trị còn thiếu.
o Thay thế giá trị thiếu bằng giá trị trung bình cùng thuộc tính và lớp Phương pháp này có ưu điểm là đơn giản, nhưng có hạn chế là giá trị thay thế không phải giá trị đúng hoàn toàn. Nếu thay thế giá trị thiếu bằng một hằng số hoặc một vài giá trị định trước sẽ làm cho dữ liệu mất tính khách quan. Ta có thể bổ sung các giá trị thiếu sử dụng phương pháp logic, thường sử dụng các kỹ thuật cây quyết định hoặc luật quyết định. Phương pháp này tỏ ra có ưu thế hơn phương pháp toán học do tập luật được xây dựng trên dữ liệu thực, vì thế kết quả có độ tin cậy cao hơn.
Bước 4: Chuyển đổi dữ liệu Mục đích của chuyển đổi dữ liệu là đưa dữ liệu về định dạng dữ liệu phù hợp với thuật toán khai phá dữ liệu. Một số kỹ thuật áp dụng cho quá trình chuyển đổi dữ liệu: Chuyển đổi kiểu dữ liệu: Đây là một kỹ thuật đơn giản nhất. Chẳng hạn như chuyển các cột dữ liệu kiểu logic sang dạng nguyên và ngược lại. 16 1 7 Rời rạc hóa: biến đổi miền giá trị thuộc tính liên tục thành từng khoảng, lưu nhãn của khoảng thay cho giá trị thực.
Chẳng hạn như thay thế giá trị tuổi bằng các nhãn như trẻ, trung niên, già. Nhóm dữ liệu: để làm việc này, ta thường phân loại các giá trị trong một cột thành các nhóm, sau đó ánh xạ giá trị của các cột này sang các giá trị nhóm tương ứng. Chẳng hạn cột nghề nghiệp có những giá trị khác nhau như kỹ sư cơ khí, kỹ sư công nghệ thông tin, kỹ sư xây dựng… thì chúng ta có thể nhóm chúng lại thành nhóm kỹ sư. Tập hợp: những thông tin lưu trữ trong cơ sở dữ liệu là rất chi tiết, chúng ta có thể tập hợp chúng lại thành vài thuộc tính tổng hợp.
Chẳng hạn chúng ta muốn phân loại khách hàng dựa trên những thông tin sử dụng điện thoại hàng tháng của khách hàng, chúng ta có thể tập hợp những thông tin này thành một vài thuộc tính tổng hợp như tổng số cuộc gọi hay thời gian trung bình các cuộc gọi. Tổng quát hóa: Dữ liệu ở mức thấp (dữ liệu nguyên thủy) có thể được thay thế bằng các khái niệm ở mức cao hơn. Chẳng hạn những loài cây có thể được tổng quát ở mức cao hơn là thực vật. Chuẩn hóa: Một thuộc tính được chuẩn hóa bằng cách ánh xạ một cách có tỉ lệ dữ liệu về một khoảng xác định ví dụ như 0.
Chuẩn hóa là một phần hữu ích của thuật toán phân lớp trong mạng noron, hoặc thuật toán tính toán độ lệch sử dụng trong việc phân lớp hay nhóm cụm các phần tử liền kề. Bước 5: Khai phá dữ liệu Trong giai đoạn này, các thuật toán khai phá dữ liệu được áp dụng lên dữ liệu để trích rút ra các thông tin tri thức từ các nguồn dữ liệu. Thuật toán có thể bao gồm các thuật toán liên quan đến phân loại, phân lớp hoặc dự đoán dữ liệu. Bước 6: Đánh giá kết quả mẫu Giai đoạn cuối trong quá trình KPDL.
Trong giai đoạn này, các mẫu dữ liệu được chiết xuất ra bởi phần mềm KPDL. Không phải bất cứ mẫu dữ liệu 17 1 8 nào cũng đều hữu ích, đôi khi nó còn bị sai lệch. Vì vậy, cần phải ưu tiên những tiêu chuẩn đánh giá để đưa ra các tri thức cần thiết và sử dụng được. Hình 2: Các giai đoạn trong khai phá dữ liệu [9] 2.
Các kỹ thuật khai phá dữ liệu chính Trong phần này, một số kỹ thuật cốt lõi được sử dụng trong khai phá dữ liệu được mô tả. Sử dụng luật kết hợp Sự kết hợp (hay mối quan hệ) có lẽ là kỹ thuật khai phá dữ liệu được biết đến nhiều hơn, hầu như quen thuộc và đơn giản. Ở đây, người dùng thực hiện một sự tương quan đơn giản giữa hai hoặc nhiều mục, thường cùng kiểu để nhận biết các mẫu. Ví dụ, khi theo dõi thói quen mua hàng của các khách hàng của một siêu thị, người dùng có thể nhận biết rằng một khách hàng luôn mua xà phòng với dầu gội đầu và nước xả vải.
Do vậy, ta có thể đề xuất người dùng mua dầu gội khi họ đến mua xà phòng. Việc xây dựng các công cụ khai phá dữ liệu dựa trên sự kết hợp hay mối quan hệ có thể thực hiện đơn giản bằng các công cụ khác nhau. Phân loại Người dùng có thể sử dụng công cụ phân loại để xây dựng một ý tưởng về kiểu khách hàng, kiểu mặt hàng hoặc kiểu đối tượng bằng cách mô tả nhiều 18 1 9 thuộc tính để nhận biết một lớp cụ thể. Ví dụ, người dùng có thể dễ dàng phân loại các xe máy thành các kiểu xe khác nhau (xe nữ, xe đua xe thể thao) bằng cách xác định các thuộc tính liên quan đến xe.
Đối với một đối tượng xe mới, căn cứ vào các đặc trưng để có thể sắp xếp chiếc xe đó vào nhóm các loại xe đã xây dựng sẵn.