CHƯƠNG 1: GIỚI THIỆU KHOA HỌC DỮ LIỆU VÀ GIỚI THIỆU ĐỀ TÀI 1. Giới thiệu Khoa học dữ liệu Khoa học dữ liệu (Data Science) có thể được hiểu là khoa học về việc quản trị và phân tích dữ liệu để tìm ra các hiểu biết, các tri thức hành động, các quyết định dẫn dắt hành động. Khoa học dữ liệu gồm ba phần chính: Tạo ra và quản trị dữ liệu, phân tích dữ liệu, và chuyển kết quả phân tích thành giá trị của hành động. Việc phân tích và dùng dữ liệu lại dựa vào ba nguồn tri thức: toán học (thống kê toán học), công nghệ thông tin (máy học) và tri thức của lĩnh vực ứng dụng cụ thể.
Khoa học dữ liệu còn là lĩnh vực nghiên cứu dữ liệu nhằm khai thác những thông tin chuyên sâu có ý nghĩa đối với hoạt động kinh doanh. Khoa học dữ liệu rất quan trọng đối với nền kinh tế bởi vì lĩnh vực này kết hợp các công cụ, phương pháp và công nghệ để rút ra ý nghĩa từ dữ liệu. Khoa học dữ liệu đang cách mạng hóa phương thức hoạt động của các doanh nghiệp, bất kể quy mô bởi các doanh nghiệp này đều cần một chiến lược khoa học dữ liệu nhằm thúc đẩy tăng trưởng và duy trì lợi thế cạnh tranh của mình. Sự biến đổi một lượng lớn dữ liệu chưa qua xử lý là mục đích chính của khoa học dữ liệu, từ đó phân cụm, phân lớp dữ liệu, đưa ra dự báo, khám phá về các xu hướng, hành vi của người dùng, giúp đỡ các tổ chức hiểu rõ cơ hội, rủi ro trên thị trường, đồng thời gia tăng lợi thế cạnh tranh của doanh nghiệp.
Cũng như các ngành công nghiệp thương mại khác, ngành chăm sóc sức khỏe cũng ứng dụng khoa học dữ liệu – nơi mà công nghệ đang có nhu cầu rất lớn để nhận dạng các khối u siêu nhỏ ngay từ giai đoạn đầu. Khoa học dữ liệu đã giúp tạo ra một hệ thống thông minh hơn để có thể đưa ra các quyết định dựa trên các dữ liệu lịch sử. Lý do chọn đề tài Rủi ro tín dụng của chủ sở hữu nhà là một mối lo ngại khác đối với các ngân hàng, đặc biệt là sau cuộc khủng hoảng dưới chuẩn năm 2008 vốn bắt nguồn từ các khoản tín dụng mua nhà bằng các khoản cho vay mua nhà. Việc thiếu quản lý rủi ro trong lĩnh vực ngân hàng trước khủng hoảng nợ dưới chuẩn dẫn đến những tổn thất khó lường (Gatzert & Wesker, 2012).
Trong bối cảnh doanh nghiệp bất động sản , việc đánh giá rủi ro tín dụng là cơ sở để các ngân hàng , tổ chức tài chính khác lựa chọn đối tượng đầu tư phù hợp. Việc đo lường rủi ro cấp tín dụng có thể được thực hiện hoàn toàn dựa trên đánh giá của nhà phân tích tín dụng hoặc bằng cách thực hiện tiêu chí phân loại dựa trên sức mạnh tài chính hiện tại và lịch sử của khách hàng (Crook, 1996). 7 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Phân loại tín dụng trong lĩnh vực Bất động sản là một quy trình quan trọng đối với cả người vay và các tổ chức tài chính khi mua nhà hoặc đầu tư vào bất động sản, nhiều người cần sự hỗ trợ tài chính từ các tổ chức vay vốn. Tuy nhiên, không phải ai cũng đủ điều kiện để nhận được vay.
Do đó, điều quan trọng đối với các nhà phân tích tín dụng là dự đoán mức độ rủi ro mà họ có thể gặp phải bằng cách định lượng điểm tín dụng ở cơ sở khách hàng tổ chức và cá nhân. Xuất phát từ những lí do trên, nhóm nghiên cứu tiếp tục kế thừa các mô hình phân tích điểm tín dụng của các nghiên cứu trước đây để thực hiện dự án “ Phân tích điểm tín dụng của khách hàng dựa trên bộ dữ liệu German Credit Data” nhằm cung cấp vay vốn cho những người có mức độ tín dụng cao có thể thúc đẩy hoạt động mua bán và đầu tư trong lĩnh vực bất động sản, đồng thời việc hạn chế vay vốn cho những người có mức độ tín dụng thấp có thể giảm bớt các rủi ro liên quan đến nợ xấu và giúp duy trì sự ổn định cho thị trường. Mục tiêu nghiên cứu 3.1 Mục tiêu tổng quát Sử dụng phần mềm Orange kết hợp kiến thức chuyên ngành để phân tích dự báo rủi ro tín dụng dựa trên bộ dữ liệu German Credit Data nhằm xác định mức độ rủi ro của việc cho vay và giảm thiểu nguy cơ mất mát. Đồng thời, phân tích điểm tín dụng giúp các nhà đầu tư và tổ chức tài chính ưu tiên các dự án và giao dịch có tiềm năng sinh lời cao và rủi ro thấp, từ đó tối ưu hóa lợi nhuận và giảm thiểu rủi ro.2 Mục tiêu cụ thể Mục tiêu nghiên cứu cụ thể của đề tài tương ứng với hai bài toán phân tích: Bài toán 1: Dựa trên điểm tín dụng để phân khúc nhóm khách hàng có điểm tín dụng tốt, từ đó đề xuất chiến lược chăm sóc khách hàng.
- Bài toán 2: Dự báo điểm tín dụng để từ đó biết được rủi ro tín dụng và đưa ra quyết định cấp tín dụng cho khách hàng. Đối tượng và phạm vi nghiên cứu - Đối tượng nghiên cứu: khách hàng sử dụng các gói vay mượn tín dụng ở Đức - Phạm vi nghiên cứu: Bộ dữ liệu bao gồm thông tin dữ liệu thô chứa 1000 khách hàng và 21 đặc tính được lấy từ nguồn dữ liệu có sẵn trên Dataset của phần mềm Orange. 8 Báo cáo đồ án học phần Khoa học dữ liệu (DS) CHƯƠNG 2: TỔNG QUAN VỀ CHƯƠNG TRÌNH SỬ DỤNG VÀ CÁC PHƯƠNG PHÁP SỬ DỤNG 1. Phần mềm Orange Quá trình khai phá dữ liệu là một quá trình phức tạp bao gồm kho dữ liệu chuyên sâu cũng như các công nghệ tính toán vì vậy Orange ra đời để giúp mọi việc trở nên dễ dàng hơn.
Orange là một công cụ khai phá dữ liệu và học máy. Nó được viết bằng Python và cung cấp trực quan tương tác và thẩm mỹ cho người dùng. Các widget là các thành phần của Orange, chúng là nền tảng cốt lõi của phần mềm, các widget cung cấp các chức năng quan trọng bao gồm từ tiền xử lý và trực quan hóa dữ liệu cho đến đánh giá các thuật toán và mô hình dự đoán. Nguyên tắc hoạt động của Orange là kỹ thuật cover và quan điểm trong Data Mining và học máy.
Các toolbox cung cấp đầy đủ cho người dùng các chức năng giúp người dùng có thể dễ dàng sử dụng ngay bao gồm: Hình 1: Toolbox data · Transform: Dùng để lựa chọn dữ liệu theo điều kiện 9 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Hình 2: Toolbox transform · Visualize: dùng để biểu diễn biểu đồ (chart) giúp quan sát dữ liệu được tốt hơn Hình 3: Toolbox visualize 10 Báo cáo đồ án học phần Khoa học dữ liệu (DS) · Model: gồm các hàm máy học (machine learning) phân lớp dữ liệu với Tree, Logistics, Regression, SVM,. Hình 4: Toolbox model · Evaluate: Là các phương pháp đánh giá mô hình như: Test & Score, Prediction, Confusion. Hình 5: Toolbox evaluate · Unsupervised: Gồm các hàm máy học (machine learning) gom nhóm dữ liệu như: Distance, K-means,. 11 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Hình 6: Toolbox unsupervised Add ons: Giúp mở rộng các chức năng nâng cao như xử lý dữ liệu lớn (Big Data) với Spark, xử lý ảnh với Deep learning, xử lý văn bản, phân tích mạng xã hội,.
Đây có lẽ là điểm cộng của Orange so với các phần mềm khai phá dữ liệu khác. Hình 7: Hộp thoại add ons 12 Báo cáo đồ án học phần Khoa học dữ liệu (DS) 2. Mô tả nguồn dữ liệu và cấu trúc của dữ liệu 2.1 Mô tả nguồn dữ liệu - Bộ dữ liệu “German Credit Data” là tập hợp dữ liệu đa biến được lấy từ Dataset của phần mềm Orange.2 Cấu trúc dữ liệu Tổng quan bộ dữ liệu có 1000 mẫu, 21 biến. 13 Báo cáo đồ án học phần Khoa học dữ liệu (DS) STT Thuộc tính Kiểu dữ liệu Khoảng giá trị Ý nghĩa 1 Credit Phân loại - "Good": Tín dụng Trạng thái tín (Categorical) tốt.
dụng - "Bad": Tín dụng kém. 2 Status of existing Phân loại - “Negative”: tài Trạng thái tài checking account (Categorical) khoản đang có số dư âm khoản séc - “Low”: tài khoản hiện có đang có số dư thấp hơn mức bình thường hoặc mức tối thiểu để duy trì tài khoản - “Stable”: số dư trong tài khoản không có sự thay đổi đáng kể và không có vấn đề hoặc tình trạng bất thường xảy ra. - “None”: không có thông tin cụ thể về trạng thái hiện tại của tài khoản 3 Duration in month Số Số tự nhiên từ 4.0 đến khoảng thời (Numeric) 72.0 gian (tính bằng số tháng) mà một hợp đồng tín dụng được duy trì. 14 Báo cáo đồ án học phần Khoa học dữ liệu (DS) 4 Credit history Phân loại - “Bank-payed”: ngân Lịch sử tín (Categorical) hàng đã thanh toán tín dụng dụng - “Critical”: lịch sử tín dụng đang trong tình trạng không tốt, có thể gây khó khăn trong việc thực hiện các giao dịch tài chính - “Fully-paid”: không còn khoản nợ đang tồn tại trong lịch sử tín dụng - “On-time”: đang thực hiện các khoản thanh toán đúng hạn - “Past-delay”: lịch sử tín dụng từng có sự trễ hạn trong quá khứ 5 Purpose Phân loại - “Business”: kinh Mục đích (Categorical) doanh - “Car - new”: ô tô mới - “Car - used”: ô tô đã qua sử dụng - “Domestic appliances”: đồ gia dụng - “Education”: giáo dục - “Furniture/ equipment”: nội thất/ thiết bị - “Radio/ televison”: raido, tivi - “Repairs”: sửa chữa - “Retraining”: đào tạo nghiệp vụ - “Others”: khác 15 Báo cáo đồ án học phần Khoa học dữ liệu (DS) 6 Credit amount Số Số tự nhiên từ 250.
7 Savings Phân loại - “High": tài khoản Tài khoản account/bonds (Categorical) tiết kiệm/trái phiếu có giá tiết kiệm/Trái trị cao. phiếu - “Medium”: tài khoản tiết kiệm/trái phiếu có giá trị trung bình - “Low”: tài khoản tiết kiệm/trái phiếu có giá trị thấp - “Minimal”: tài khoản tiết kiệm/trái phiếu có giá trị tối thiểu - “None”: không có tài khoản tiết kiệm hay trái phiếu nào 8 Present employment Phân loại - Less than 1: dưới 1 Thời gian đã since (Categorical) năm làm việc tại - good to 4: gần 4 nơi làm việc năm hiện tại. - 4 to 7: 4 đến 7 năm - 7 plus: trên 7 năm - unemployed: thất nghiệp 9 Installment rate in Số Từ 1.