CHƯƠNG 1: NHỮNG VẤN ĐỀ CƠ BẢN VỀ KHAI PHÁ DỮ LIỆU VÀ HỌC MÁY Trong chương này, luận văn sẽ tìm hiểu các cơ sở lý thuyết cơ bản về học máy, khai phá dữ liệu, tổng quan về bài toán phân cụm dựa trên thuật toán phân cụm K-means. Khai phá dữ liệu (Data mining) Là quá trình tìm kiếm các mẫu mới, những thông tin tiềm ẩn mang tính dự đoán trong các khối dữ liệu lớn. Khai phá dữ liệu là một lĩnh vực liên ngành, nơi hội tụ của nhiều học thuyết và công nghệ.1: Mối tương quan của khai phá dữ liệu với các ngành khác 1. Ứng dụng của khai phá dữ liệu 1.
Marketing Một trong những lĩnh vực được ứng dụng rộng rãi nhất cho ngành ngân hàng của kỹ thuật khai phá dữ liệu đó là lĩnh vực quảng bá sản phẩm. Bộ phận tiếp thị và bán hàng của các ngân hàng có thể sử dụng kỹ thuật khai phá dữ liệu để phân tích cơ sở dữ liệu (CSDL) về khách hàng. Khai phá dữ liệu thực hiện các phân tích khác nhau trên bộ dữ liệu thu thập được để xác định hành vi của người tiêu dùng với sự tham khảo sản phẩm, giá và kênh phân phối. Bằng sự phản hồi của khách hàng đối với các sản phẩm hiện có và các sản 7 phẩm mới, các ngân hàng sẽ có các chiến lược quảng bá sản phẩm, nâng cao chất lượng sản phẩm và dịch vụ và đạt được lợi thế cạnh tranh.
Phân tích ngân hàng cũng có thể phân tích các xu hướng trong quá khứ, xác định nhu cầu hiện tại và dự báo hành vi khách hàng về các sản phẩm và dịch vụ khác nhau để thu được nhiều cơ hội kinh doanh hơn và dự đoán mô hình hành vi. Kỹ thuật khai thác dữ liệu cũng giúp xác định khách hàng nào sẽ mang lại lợi nhuận cao và khách hàng nào mang lại ít lợi nhuận. Các kỹ thuật khai phá dữ liệu có thể được sử dụng để xác định phản ánh của khách hàng như thế nào khi ngân hàng thực hiện điều chỉnh lãi suất… 1. Phát hiện gian lận Một lĩnh vực khác trong khai phá dữ liệu có thể được sử dụng trong ngành ngân hàng là việc phát hiện gian lận.
Có thể phát hiện các hành động gian lận là một mối quan tâm ngày càng tăng cho nhiều doanh nghiệp và với sự giúp đỡ của kỹ thuật khai phá dữ liệu các hành động gian lận ngày càng được phát hiện nhiều hơn. Có hai phương pháp tiếp cận phổ biến đã được phát triển bởi tổ chức tài chính để phát hiện các mô hình gian lận và trên thực tế hầu hết các ngân hàng đang sử dụng kết hợp cả hai phương pháp tiếp cận. Phương pháp tiếp cận thứ nhất là ngân hàng cần phải sử dụng đến kho dữ liệu của bên thứ ba và sử dụng các kỹ thuật khai phá dữ liệu để xác định mô hình gian lận. Sau đó, các ngân hàng có thể tham chiếu chéo những mẫu với CSDL riêng của mình.
Phương pháp thứ hai là gian lận được nhận dạng mẫu dựa trên các mẫu thông tin nội bộ riêng của mình mà không phải nhờ vào bên thứ ba. Quản lý rủi ro Khai phá dữ liệu được sử dụng rộng rãi để quản lý rủi ro trong ngành ngân hàng, Giám đốc điều hành ngân hàng cần phải biết rằng các khách hàng mà họ đang có liệu đáng tin cậy hay không, ví dụ như khi cung cấp thẻ tín 8 dụng mới cho khách hàng, mở rộng số lượng khách hàng hiện tại của tín dụng và phê duyệt các khoản vay, họ có thể ra các quyết định mang lại sự rủi ro cho các ngân hàng nếu họ không biết bất cứ điều gì về khách hàng của họ. Ngân hàng tiến hành quá trình cho các khách hàng của mình vay vốn bằng cách kiểm tra chi tiết khác nhau liên quan đến việc cho vay như số tiền vay, lãi suất cho vay, kỳ hạn trả nợ, loại tài sản thế chấp, thu nhập và lịch sử tín dụng của họ, khách hàng dài hạn với ngân hang, với các nhóm thu nhập cao, có tài sản đảm bảo lớn, lịch sử tín dụng tốt…sẽ nhận được các khoản vay rất dễ dàng, nhanh chóng. Mặc dù, các ngân hàng đã thận trọng trong khi cung cấp vốn vay cho khách hàng, nhưng vẫn có những khoản nợ mặc định của khách hàng có thể xảy ra rủi ro trong quá trình vay vốn.
Kỹ thuật khai phá dữ liệu có thể dự đoán khách hàng trả nợ kịp thời, không có khả năng trả nợ kịp thời, xuất hiện nợ xấu. Trên thực tế điểm tín dụng là một trong những công cụ hỗ trợ quản lý rủi ro tài chính đầu tiên được phát triển, điểm tín dụng có giá trị cho người cho vay trong ngành ngân hàng và người vay khi ngân hàng xem xét đưa ra những quyết định cho vay thông qua hệ thống chấm điểm khách hàng và xếp hạng khách hàng. Khai phá dữ liệu cũng có thể tìm ra được hành vi tín dụng của từng khách hàng cá nhân với các khoản vay trả góp, thế chấp, tín dụng, bằng việc sử dụng các đặc điểm như lịch sử tín dụng, thời gian làm việc và thời gian cư trú, như vậy đã cho phép người cho vay đánh giá khách hàng và quyết định khách hàng đó có là một ứng cử viên tốt cho một khoản vay hoặc nếu có nguy rủi ro nào tiềm ẩn. Khi biết được những gì là cơ hội sẵn có của một khách hàng tức là khi đó ngân hàng đang ở trong một vị trí tốt hơn để giảm thiểu rủi ro.
Quản trị quan hệ khách hàng Đối với ngành ngân hàng thì khách hàng được coi là thượng đế. Khai 9 phá dữ liệu là rất hữu ích trong tất cả ba giai đoạn trong một chu kỳ mối quan hệ khách hàng: Tìm kiếm khách hàng, tăng giá trị của khách hàng và duy trì khách hàng. Tìm kiếm khách hàng, chăm sóc và duy trì những khách hàng đã có là mối quan tâm rất quan trọng lĩnh vực kinh doanh, đặc biệt là lĩnh vực ngân hàng. Ngày nay, khách hàng có nhiều sự lựa chọn bởi nhiều loại sản phẩm và dịch vụ được cung cấp bởi các ngân hàng khác nhau.
Do đó, các ngân hàng phải đáp ứng nhu cầu của khách hàng bằng cách cung cấp các sản phẩm và dịch vụ mà họ ưa thích, mang nhiều quyền lợi đến họ. Điều này sẽ dẫn đến sự trung thành của khách hàng và khả năng giữ khách hàng của các ngân hàng. Kỹ thuật khai phá dữ liệu giúp ngân hàng phân tích và nhận định được đâu là các khách hàng trung thành và đâu là các khách hàng có xu hương chuyển sang ngân hàng khác với mong muốn dịch vụ tốt hơn. Nếu khách hàng chuyển từ ngân hàng của mình sang ngân hàng khác, lý do cho việc chuyển như vậy và giao dịch cuối cùng được thực hiện trước khi chuyển có thể được biết đó sẽ giúp cho các ngân hàng hoạt động tốt hơn và tìm cách quan tâm, chăm sóc giữ chân khách hàng của mình.
Một số kiến thức cơ bản liên quan học máy (ML: Machine Learning) 1. Khái niệm học máy (ML) Machine Learning là một lĩnh vực con của trí tuệ nhân tạo cung cấp cho máy tính khả năng học hỏi mà không cần được lập trình rõ ràng, là tạo ra những cỗ máy có khả năng tự học từ dữ liệu quan sát được, cỗ máy bắt chước hành vi thông minh của con người, thực hiện các nhiệm vụ phức tạp theo cách tương tự như cách con người giải quyết vấn đề. [2] Machine Learning được ứng dụng vào nhiều lĩnh vực: Hỗ trợ công việc thường ngày của con người, tự động hóa, tài chính ngân hàng, y tế, tổ chức 10 chính phủ, tiếp thị, như các máy có thể "học" cách phân loại thư điện tử xem có phải thư rác hay không và tự động xếp thư vào thư mục tương ứng, được áp dụng rộng rãi như máy truy tìm dữ liệu, máy phân tích thị trường chứng khoán, nhận dạng tiếng nói và chữ viết, phân nhóm nợ khách hàng vay vốn tại ngân hàng …Machine Learning là mô hình hóa dữ liệu bằng máy tính, là dùng máy tính để nhận biết, bắt chước việc học của con người. Một số dạng học máy cơ bản - Học máy có giám sát (supervised learning).
- Học máy không giám sát (unsupervised learning ). - Học củng cố/tăng cường (Reinforcement learning).2: Phân loại một số dạng cơ bản của Machine Learning 1. Sau khi tìm hiểu cách tốt nhất để mô hình hóa các mối quan hệ cho dữ liệu được gắn nhãn, các thuật 11 toán được huấn luyện được sử dụng cho các bộ dữ liệu mới. Ví dụ xác định tín hiệu hay biến số tốt nhất để dự báo lợi nhuận trong tương lai của cổ phiếu hoặc dự đoán xu hướng thị trường chứng khoán.
Học máy có giám sát là thuật toán dự đoán nhãn/đầu ra (label/output) của một dữ liệu mới đưa vào dựa trên tập dữ liệu huấn luyện (trong đó: mỗi mẫu dữ liệu của tập dữ liệu huấn luyện này đều đã được gán nhãn). Khi đó, thông qua một quá trình huấn luyện, một mô hình sẽ được xây dựng để cho ra các dự đoán và khi các dự đoán bị sai thì mô hình này sẽ được tinh chỉnh lại và việc huấn luyện sẽ tiếp tục cho đến khi mô hình đạt được mức độ chính xác mong muốn trên dữ liệu huấn luyện. Học máy có giám sát là nhóm phổ biến nhất của Machine Learning và được phân ra thành hai loại chính: Theo phân lớp và hồi quy. a) Theo phân lớp/Phân loại Nhiệm vụ của bài toán phân lớp là cần tìm một mô hình phân lớp để khi có dữ liệu mới nhập vào (input) thì có thể xác định được dữ liệu đó thuộc vào lớp nào.
Có nhiều bài toán phân lớp dữ liệu như phân lớp nhị phân (binary), phân lớp đa lớp (multiclass). b) Theo hồi quy Là bài toán các nhãn không được chia thành các nhóm mà là một giá trị thực cụ thể, miền giá trị là liên tục và đa phần là các bài toán dự báo (giá cổ phiếu, giá nhà…) thường được xếp vào bài toán hồi quy. Ví dụ, nếu một căn nhà rộng 190 m2, có 03 phòng và cách trung tâm thành phố 20 km sẽ có giá là bao nhiêu? Lúc này kết quả dự đoán sẽ là một số thực. Có 02 thuật toán nổi tiếng là Linear Regression và Logistic Regression: 12 Linear Regression (Hồi quy tuyến tính) Hồi quy tuyến tính là một phương pháp thống kê để hồi quy dữ liệu với biến phụ thuộc có giá trị liên tục trong khi các biến độc lập có thể có một trong hai giá trị liên tục hoặc là giá trị phân loại.