Chương 1: Khoa học dừ liệu là gì? Giới thiệu về đồ án. Chương này sẽ tông quan về môn khoa học dữ liệu, thực tê ửng dụng cùa môn học vả kê đên là giới thiệu sơ qua vê lý do chọn đề tài. Chương 2: Nhừng chương trình sử dụng chính trong bài đô án (Orange & Excel) và những ứng dụng của những chương trinh này. Hiểu được các tính năng và cách thức những chương trình này hoạt động đê có thẻ áp dụng những thuật toán vào đô án một cách tối ưu.
Chương 3: Áp dụng nhùng thuật toán vào bộ dữ liệu “Credit Risk Analysis”, sau đó liến hành lập dự báo và trinh bày kết quả dự báo. Chương 4: Kết qua của mô hình, lựa chọn thuật toán phù họp nhất với mô hình, đồng thời nêu nhũng diêm sáng và những thiếu sót cũa phương pháp. Và cuối cùng, đưa ra kết luận và phương hướng phát triên sau này cua đồ án. 2 MỤC LỤC TÓM TẤT.2 PHẦN MỞ ĐÀU: TỚNG QUAN VỀ KHOA HỌC DỮ LIỆU VÀ KHÁI QUÁT ĐỀ TÀI.
Tông quan về khoa học dữ liệu:. ú ng dụng cua khoa học dữ liệu:. Trong tìm kiếm thông tin:. Trong lĩnh vực quảng cáo:.
Trong thương mại điện tử, dịch vụ số:. Trong lĩnh vực tài chính, ngân hàng:. Trong sản xuất:. Trong giao thông vận tải:.
Giói thiệu đề tài:.16 PHẦN NỘI DUNG 1: TỐNG QUAN VỀ CHUÔNG TRÌNH sử DỤNG VÀ CÁC PHU ONG PHÁP SỬ DỤNG. Phần mềm Excel:. Khái quát về ứng dụng Orange:. Tính năng của phần mềm Orange.
U ng dụng của phần mem Orange. Giói thiệu về các phương pháp sử dụng. Giói thiệu về bài toán phân lóp dữ liệu. Các phương pháp phân lóp dữ liệu.
Các phương pháp đánh giá mô hình phân lóp. 31 PHẰN NỘI DUNG 2: ÚNG DỤNG PHUONG PHÁP VÀO BÀI TOÁN THựCTE. Phân tích bộ dữ liệu Credit Risk Analysis:. ứng dụng thống kê mô tả dữ liệu Credit Risk Analysis:.
Độ tuổi của ngưòi vay tín dụng:. Thu nhập của ngưòi vay tín dụng:. Tình trạng phê duyệt vay tín dụng. Tình trạng võ' nọ' các khoản vay tín dụng trước:.5 Thòi gian sử dụng tín dụng:.
Mô tả dữ liệu:.3 Tiền xử lý dữ liệu. Phân lóp dữ liệu. Sử dụng mô hình. Phương pháp đánh giá mô hình và ma trận nhầm lẫn.
Phuong pháp Cross Validation.52 PHẢN NỘI DUNG 3: ĐÁNH GIÁ KẾT QUẢ CỦA MÔ HÌNH. Kết quả mô hình. Đánh giá ma trận nhầm lẫn (Confusion Matrix). Đánh giá đồ thị ROC.
Tiến hành dự báo. Đánh giá phương pháp. 58 PHÀN KÉT LUẬN VÀ KHUYÊN NGHỊ.61 Hướng phát triển của đề tài:. 61 TÀI LIỆU THAM KHẢO.
63 4 DANH MỤC HÌNH ẢNH Hình 1.1: Khoa học dữ liệu (Nguồn: Google).2: Quy trình khai thác dũ' liệu (Nguồn: aws.4: Tìm kiếm thông tin (Nguồn: Glints).5: Lĩnh vực quảng cáo (Nguồn: Glints).6: Thương mại điện tử, dịch vụ số (Nguồn: Glints).7: Lĩnh vực tài chính, ngân hàng (Nguồn: Glints).9: Giao thông vận tải (Nguồn: Glints).1: Logo của phần mềm Excel (Nguồn: Google).2: Giao diện của phần mềm Excel.3: Hình mô tả giao diện Define name.4: Sử dụng hàm Define name cho cột Age (độ tuổi).5: Kết quả của hàm Countif.6: Ket quả của hàm Countifs.7: Logo của phần mềm Orange (Nguồn: Google).8: Giao diện của phần mem Orange.9: Bảng công cụ của nhóm Data.10: Bảng công cụ của nhóm Transform.11: Báng công cụ của nhóm Visualize.12: Bảng công cụ của nhóm Model.13: Bảng công cụ của nhóm Evaluate.14: Bảng công cụ của nhóm Unsupervised.15: Bảng chọn Options.16: Giao diện để tải thêm các chức năng khác của phần mem Orange.17: Xây dựng mô hình phân lóp.18: Đánh giá mô hình phân lóp.19: Phân lóp dữ liệu mới.21: Mô hình phân lớp nhị phân sử dụng phương pháp Hồi quy logistics.22: Mô tả margin của một siêu phẳng.23: Xây dựng mô hình Cây quyết định.24: Ma trận nhầm lẫn trong bài toán chẩn đoán bệnh ung thư.26: Phần diện tích AUC (Area Under Curve).1: Dừ liệu gốc về rủi ro tín dụng của các độ tuổi.2: Chức năng Filter.3: Dữ liệu về các độ tuổi.5: Dừ liệu sau khi lọc (30 - 35 tuổi).6: Biểu đồ về độ tuổi người vay tín dụng.7: Biểu đồ về thu nhập ngưòi vay tín dụng.8: Biếu đồ về tình trạng phê duyệt vay tín dụng.9: Biếu đồ về tình trạng vờ nợ các khoản vay tín dụng trước.10: Biếu đồ về thời gian sử dụng tín dụng.11: Biểu đồ về tình trạng sở hữu nhà.12: Quy trình tiền xử lí dữ liệu.13: Hình thể hiện bảng dừ liệu về rủi ro tín dựng của người đi vay từ 30 35 tuổi.15: Bảng dừ liệu của file “Dừ liệu đã được xử lí”.16: Quy trình tạo file dữ liệu huấn luyện (70%) và file dũ' liệu thử nghiệm (30%).18: Edit Links - Data Sampler (70%).19: Edit Links - Remaining Data (30%).20: Dữ liệu credit risk đã xử lí 30%.21: Dữ liệu cột biến phụ thuộc “Status” bị xóa.22: Đưa file credit_risk đã xử lí 70%.xlsx vào Orange và chọn biến phụ thuộc “Status”.23: Mô hình các phương pháp phân lóp (Hồi quy Logistic , Cây quyết định, SVM).24: Ket quả chia dữ liệu mầu thành 5 phần.25: Kết quá chia dữ liệu mầu thành 10 phần.1: Mô hình đánh giá phân lóp.2: Kết quả ma trận nhầm lẫn của Hồi quy Logistic (Logistic Regression)54 Hình 4.3: Kết quả ma trận nhầm lẫn của SVM.4: Kết quả ma trận nhầm lẫn của Cây quyết định (Tree).5: Đồ thị ROC - Biến phụ thuộc là 0.6: Đồ thị ROC - Biến phụ thuộc là 1.7: Mô hình dụ báo 30% của file “Dữ liệu đã xủ lí”.8: Bảng kết quả dự báo.9: Bảng dừ liệu kết quả dự báo. 58 7 DANH MỤC BẢNG BIÉU Bảng 3.1: Bảng tần số và tần suất thể hiện độ tuổi của ngưòi vay tín dụng.2: Bảng tần số và tần suất thể hiện thu nhập của người vay tín dụng.3: Bảng tần số và tần suất thể hiện tình trạng phê duyệt vay tín dụng.4: Bảng tần sổ,tần suất thể hiện tình trạng võ’ nọ’ các khoản vay tín dụng trưóc.5: Bảng tần số và tần suất thể hiện thời gian sử dụng tín dụng.6: Bảng tần số và tần suất thể hiện tình trạng sỏ' hữu nhà.7: Bảng thuộc tính của bộ dũ' liệu. 44 8 PHÀN MÓ ĐÀU: TÔNG QUAN VỀ KHOA HỌC DŨ LIỆU VÀ KHÁI QUÁT ĐỀ TÀI Trong mờ đâu của bài đô án, nhóm sẽ giới thiệu những lý thuyêt cơ bàn vê khoa học dừ liệu, cách ứng dụng trong nhiều lĩnh vực và nhóm sẽ nêu lý do chọn đe tài thông qua thực trạng, ảnh hường cua nợ xấu và rủi ro tin dụng đối với nền kinh tê. Tông quan vê khoa học dũ' liệu: I.
Định nghĩa: Data science hay còn được biết đến là Khoa học dừ liệu, là một ngành học về việc khai thác, quán lý và phân tích dừ liệu dựa trên thống kê, toán học, kĩ thuật máy tỉnh và trí tuệ nhân tạo đê dự đoán các xu hướng trong tương lai, hồ trợ việc ra quyết định, chiến lược. Data science bao gồm ba khía cạnh, đỏ là: tạo và quán trị dù’ liệu, phân tích dừ liệu, và áp dụng kết quả phân tích vào trong thực tế đê tạo ra giá trị. Việc phân tích và sứ dụng dừ liệu dựa vào ba nguồn tri thức: toán học (thống ke toán học - Mathematical Statistics), công nghệ thông tin (máy học - Machine Learning) và tri thức cúa lình vực ứng dụng cụ thể. ANALYSIS SYSTEM PROCESS DATA STRUCTURE SCIENCE PROGRAMMING SOLVING I KNOWLEDGE Hình 1.1: Khoa học dừ liệu (Nguôn: Google) Trong thời kỳ 4.0, kì thuật sổ phát triên nhanh, mọi thứ đều có xu hướng chuyến biển không ngừng đế có thể bắt kịp thị hiếu của ngirời dùng.
Vậy việc nắm bắt được những sờ thích, nhu câu cũng như hiêu rõ những yêu tô ánh hường đên quyẻt định lựa chọn sản phấm cùa một doanh nghiệp là vô cùng quan trọng. Có thê thấy, các doanh nghiệp phải đối mặt với khối lượng dừ liệu vô cùng không lồ, được thu thập bới nhiều 9 cách thức và tồn tại ờ nhiều định dạng khác nhau. Và việc thu thập, xứ lý, phân tích thủ công khôi dừ liệu lớn đó đẻ đưa ra được những thông tin thật sự hừu ích đôi với doanh nghiộp dường như bất khá thi. Chính vi thế, khoa học dừ liộu ra đời và ngày càng phát triên chinh là chìa khỏa có thê giúp cho việc thu thập và xứ lý dừ liệu nhăm tạo ra thông tin hừu ích cho doanh nghiộp hiộu quá hơn.
Hơn thế, băng cách sừ dụng nhừng dừ liệu thu thập từ những sự kiện trong quá khứ, hay những sự kiện đang dien ra, từ đỏ xử lý số liộu, phân lích chuyên sâu đe đưa ra đánh giá khách quan, đông thời đưa ra nhừng dự đoán tương lai. Từ những đánh giá và kết quà dự báo đó, các doanh nghiệp đều có thể biết được tỉnh hình hoạt động, đồng thời đưa ra những chính sách phù hợp hơn, chính xác hơn, giúp cho doanh nghiệp cỏ thế xây dựng được một chiến lược hiệu quả đê đây mạnh tăng trưởng và nắm lợi thể cạnh tranh trên thị trường. Một số lợi ích có thể kể đến như: • Khám phá các mầu biến đôi tiêm ân: Cho phép phát hiện ra những biến và mối quan hộ giữa các biến trong mầu có khá năng thay đối toàn bộ tố chức. • Sáng tạo sán phẩm và giai pháp mới: cỏ thô tim ra nhưng điều còn thiếu sót.
Thông tin được tỉm kiếm sẽ chi tiết hơn, từ đó giúp thúc đây sự đôi mới sáng tạo trong hoạt động nội bộ cũng như nhừng giái pháp bên ngoài. • Tôi ưu hóa trong thời gian thực: Doanh nghiệp lớn gặp nhiêu khó khăn khi đổi mặt với những tinh huống xảy ra theo thời gian thực, dần đến mất mát hay trục trặc trong hoạt động kinh doanh. Khoa học dừ liệu giúp các công ty dự đoán những thay đôi và nên phàn ứng như thế nào với nhiều tinh huống khác nhau. Các bước liếp cận vấn đề khai phá dừ liệu trong kinh doanh: 1.
Business Understanding: sứ dụng mục tiêu kinh doanh và bổi cánh hiện lại để xác định mục tiêu khai thác dừ liệu. Data Understanding: kiêm tra tình trạng dừ liệu đê xác định dừ liệu đang cỏ liệu có phù hợp với mục tiêu khai thác hay không. Data preparation: các bước tiền xử lý được thực hiện đế chuẩn hóa dừ liệu sằn sàng cho các giai đoạn tiếp theo. Giai đoạn này thường chiếm phần lớn thời 10 gian của cá quy trinh.
Mô hình hóa: dùng các mô hỉnh thông kẻ, máy học đê chi ra các mâu/ quy luật của dữ liộu. Đánh giá: mỏ hình được kiêm tra xem có hiệu quá, phù hợp với mục tiêu kinh doanh hay không, có đủ tin cậy hay không.