Chương 1. Tổng quan: Giới thiệu đề tài, lý do chọn đề tài, mục tiêu, phạm vị và nội dung thực hiện trong đề tài. Cơ sở lý thuyết và các nghiên cứu liên quan: Trình bày cở sở lý thuyết, các áp dụng các phương pháp, mô hình dự báo Học máy được áp dụng trong đề tài. Kết hop mô hình: Giới thiệu phương pháp kết hợp mô hình (Ensemble Learning), kết hợp mô hỉnh Hồi quy Logistic với các mô hình Random Forest, SVM, KNN, ANN, Cây quyết định đề tìm ra mô hình dự báo có độ chính xác cao nhất.
Ap dung các mô hình dự đoán hoàn trả khoản vay: tiến hành thực nghiệm các mô hình dự báo trên tập dữ liệu hoàn trả khoản vay của khách hàng dé dự báo khách hàng có khả năng hoàn trả khoản vay hay không. Kết luận và hướng phát triển © - Danh mục công bố khoa học của tác giả ¢ Tai liệu tham khảo Page| 16 CHƯƠNG2_ CƠ SỞ LÝ THUYET VÀ CÁC NGHIÊN CUU LIÊN QUAN 2.1 Khái niệm hoạt động cho vay của tổ chức Tài chính, Ngân hàng Cho vay là một hình thức cấp tín dụng, theo đó tổ chức Tài chính, Ngân hàng giao cho khách hàng một khoản tiền để sử dụng vào mục đích và thời hạn nhất định theo thỏa thuận với nguyên tắc có hoàn trả cả gốc và lãi. Cho vay là hoạt động sinh lời bên cạnh đó cũng có rủi ro cho t6 chức Tài chính, Ngân hàng. Dé té chức tồn tại và phát triển vững chắc, hoạt động cho vay phải an toàn và hiệu quả.
Muốn vậy, phải được thực hiện theo những nguyên tắc nhất định. Thứ nhất, khách hàng vay vốn phải đảm bảo sử dụng vốn vay đúng mục đích đã thoả thuận. Điều này giúp hạn chế rủi ro tín dụng cho tô chức Tài chính, Ngân hàng. Thứ hai, khách hàng phải đảm bảo hoàn trả nợ gốc và lãi vốn vay đúng thời hạn đã thoả thuận trong hợp đồng.
Thứ ba, tổ chức Tài chính, Ngân hàng cho vay đối với những khách hàng tiềm năng, khả thi và có khả năng hoàn trả nợ. Nhờ đó, tổ chức Tài chính, Ngân hàng mới có được lợi nhuận từ việc cho vay. Với xu hướng phát triển của nền kinh tế, nghiệp vụ cho vay ngày càng đa dạng, phong phú, hoàn thiện, đầu tư vào tat cả các lĩnh vực ngành nghề. Dé đáp ứng nhu cầu vay vốn của Ngân hàng ngày càng gia tăng, hoạt động cho vay của Ngân hàng ngày càng mở rộng, đòi hỏi Ngân hàng phải có quy trình quản lý chặt chẽ.
Mục tiêu quản lý khoản mục cho vay thống nhất với mục tiêu chung của Ngân hàng trên cơ sở đảm bảo an toàn. Có thể hiểu ngắn gọn: “Hoạt động cho vay là việc tổ chức Tài chính, Ngân hàng đưa tiền cho khách hàng với cam kết khách hàng phải hoàn trả cả gốc và lãi trong khoảng thời gian xác định”. Tổ chức Tài chính, Ngân hàng trao quyền sử dụng vốn cho khách hàng, khách hàng dùng số vốn này đầu tư vào sản xuất kinh doanh kiếm lời, đảm bảo trả nợ gốc và lãi cho Ngân hàng. Học máy được áp dụng rộng rãi trong nhiều lĩnh vực.
Các mô hình Học máy được tập trung nghiên cứu và phát triển để đáp ứng các yêu cầu dự đoán. Chương này sẽ trình bày một số mô hình Học máy Random Forest, Hồi quy Logistic, SVM, KNN, ANN, LSTM, Cây quyết định.2 Các nghiên cứu liên quan Hiện nay, có nhiều nghiên cứu về dự đoán hoàn trả khoản vay sử dụng nhiều phương pháp như hồi quy và Học máy đề đưa ra dự đoán dựa trên dữ liệu lịch sử về khoản trả nợ của khách hàng. Dự đoán hoàn trả (còn được coi là rủi ro khách hàng hoặc cho điểm khách hàng, dự đoán gian lận) được thực hiện bằng cách sử dụng dữ liệu và Giấy phương pháp khác nhau (Natasha (2019) [12] và trình bày so sánh các phương pháp Học máy khác nhau để phân loại rủi ro người tiêu dùng. 988 hàng va 17 thuộc tính (biến) được sử dụng dé xây dựng mô hình.
Các thuộc tính chủ yếu liên quan đến thông tin cá nhân về khách hàng (ví dụ: Tì ôi, Giới tính, Số lượng trẻ em). Độ chính xác của các mô hình được xem xét là từ 0,61 đến 0,70. Noron chập được Kim (2019) [13] sử dụng để dự đoán trả nợ trong Cho vay xã hội ngang hàng. 855500 hàng và 63 thuộc tính được sử dụng (chẳng hạn như số tiền vay, số tiền thanh toán và thời gian vay).
Độ chính xác là 0,76. Wang và cộng sự. trình bày một nghiên cứu sử dụng 4000 mẫu và 21 thuộc tính để xây dựng và đánh giá một mô hình dự đoán phân loại. Bốn thuật toán được sử dụng: SVM cổ điền, Backpropagation Neural Network, C4.
Kết quả cho thay tông độ chính xác dự đoán của R SVM tốt hơn các phương pháp khác [14]. Reddy va Kavitha [15] sử dụng mạng nơ-ron thông qua phân tích mức độ liên quan thuộc tính trong trình mặc định lớp thử nghiệm. Hassan và Abraham [16] sử dụng bộ dữ liệu Ngân hàng có 1000 trường hợp; mỗi trường hợp có 24 thuộc tính số để phát triển và so sánh các mô hình được tạo ra từ các thuật toán huấn luyện khác nhau, lan truyền ngược gradient liên hợp theo tỷ lệ, thuật toán Levenberg-Marquardt và truyền ngược một bước (SCG, LM và OSS). Nghiên cứu chỉ ra rằng thuật toán chậm nhất là OSS và thuật toán tốt nhất là LM vì nó có R lớn nhất, nhưng điều đó có nghĩa là tốt nhất cho tập dữ liệu này.
Hamid và Ahmed [17] để xuất một mô hình phân loại việc áp dụng các khoản cho. vay đối với các khoản cho vay tốt và xấu bằng cách sử dụng ba thuật toán; J48, mang Bayes và bộ phân loại Naive Bayes. Họ sử dụng ứng dụng Weka dé triển khai và thử nghiệm. Chúng cho thấy J48 có độ chính xác tốt nhất là 78,378%.
Turkson và cộng sự [18] đã áp dung 15 loại thuật toán Học máy khác nhau để dự đoán mức độ tín nhiệm của khách hàng. Thử nghiệm cho thấy rằng, ngoài Centroid gần nhất và Gaussian Naive Page| 18 Bayes, phần còn lại của các thuật toán hoạt động tốt về độ chính xác và các số liệu đánh giá hiệu suất khác. Mỗi thuật toán nay dat tỷ lệ chính xác từ 76% đến hơn 80%. Do đó, cần phát triên mô hình học tập theo nhóm, trong đó sẽ xem xét các vấn đề trên.
Một mô hình như vậy có thể cho phép cải thiện dự đoán khả năng hoàn trả khoản vay của khách hàng. Các phương pháp dự đoán Trong nghiên cứu này ta xem xét vấn dé lựa chon các biến dự đoán trong bài toán phân lớp. Dựa trên các yếu tố thu thập được trong quá trình hoàn trả khoản vay, mục tiêu phân loại là dự báo xem người vay có khả năng hoàn trả khoản vay hay không. Phương pháp gồm các bước thu thập dữ liệu, tiền xử lý dữ liệu, phân tích dữ liệu, xây dựng mô hình bằng cách áp dụng mô hình Random Forest, Hồi quy Logistic, SVM, KNN, ANN, LSTM, Cây quyết định.
Đánh giá hiệu suất, độ chính xác của mô hình, so sánh các mô hình. “Nam = Ỳ Dak pes Hình 2. Tông quan phương pháp nghiên cứu 2.4 Các phương pháp Học máy 2.1 Random Forest Random Forest là tập hợp các Cây quyết định, thường được huấn luyện thông qua phương pháp bagging(hoặc đôi khi là pasting) với max_samples thường được đặt bằng với kích thước bộ huấn luyện. Thay vì phải tạo BaggingClassifier và truyền được vào một DecisionTreeClassifier sử dụng lớp RandomForestClassifier sẽ tiện lợi và tối ưu hon cho thuật toán Cây quyết định (Tương tự, ta có lớp RandomForestRegressor dành cho những tác vụ hồi quy).
Random Forest là một thuật toán Học may phổ biến thuộc về kỹ thuật học có giám sát. Nó có thé được sử dụng cho cả vấn đề Phân loại và Hồi quy trong Học máy. Nó dựa Page| 19 trên khái niệm học tập theo nhóm, là một quá trình kết hợp nhiều bộ phân loại đề giải quyết một vấn đề phức tạp và đề cải thiện hiệu suất của mô hình. Random Forest là một bộ phân loại chứa một số Cây quyết định trên các tập con khác nhau của tập dữ liệu đã cho và lấy giá trị trung bình dé cải thiện độ chính xác dự đoán của tập dữ liệu đó.
Thay vì dựa vào một Cây quyết định, Random Forest lấy dự đoán từ mỗi cây và dựa trên đa số phiếu dự đoán, và nó dự đoán kết quả cuối cùng[8]. Training Training Training Data Data ggg — DatA = Hình 2. Sơ đồ hoạt động của thuật toán Random Forest [8] 2.2 Hồi quy Logistic Hồi quy Logistic được sử dụng phô biến để ước lượng xác suất một mẫu dữ liệu thuộc về một lớp cụ thể nào đó(ví dụ, xác suất một email là thư rác). Nếu xác suất ước lượng cho một lớp lớn hơn 50%, thì mô hình dự đoán mẫu này thuộc lớp đó(được gọi là lớp dương, được gán nhãn là “1”); nếu không, mô hình dự đoán mẫu không thuộc lớp đó(tức thuộc lớp âm, được gan nhãn là “0”).
Vì vậy, đây là một bộ phân loại nhị phan[8]. s* Ước lượng xác suất Mô hình Hồi quy Logistic tính tổng trọng số các đặc trưng đầu vào (cộng với hệ số điều chỉnh), nhưng thay vì cho ra kết quả trực tiếp như mô hình Hdi quy Tuyến tinh, thì mô hình cho ra logistic của tổng, phương trình (1). B = hạ() = ø(x”0) œ) Logistic — được ký hiệu ø( * ) — là một hàm sigmoid (có đồ thị dạng chữ S) cho đầu ra từ 0 đến 1. Hàm này được mô tả trong phương trình (2) và Hình 2.
a(t) = 52) 1+ exp(-— Page | 20 Hình 2. Ý tưởng này được thé hiện trong hàm chỉ phí ở phương trình (4) cho mỗi mẫu dữ liệu huấn luyện x. _{ log(@)nếuy = 1 c(8) = L log(1 — ộ) nếu y = 0 (4) Ham chi phí này hợp lý vì Slog(t) sẽ rất lớn khi t tiệm cận 0 nên chỉ phí sẽ rất lớn nếu mô hình ước lượng xác suất mẫu dương gần với 0. Tương tự, chỉ phí cũng sẽ rất lớn nếu mô hình ước lượng xác suất mẫu âm gan với 1.
Mặt khác, -log(t) gần với 0 khi t gần với 1 nên chỉ phí sẽ gần bằng 0 nếu xác suất ướng lượng gần với 0 cho mẫu thuộc lớp âm hoặc gan với 1 cho mẫu thuộc lớp dương. Hàm chỉ phí trên toàn tập dữ liệu huấn luyện là trung bình chỉ phí trên toàn bộ các mẫu huấn luyện. Nó có thé được biễu diễn bằng một biểu thức đơn giản gọi là logarit mắt mát, được trình bày phương trình (5).