Nghiên Cứu Phương Pháp Ước Lượng Lasso: Cơ Sở Toán Học và Ứng Dụng

• Tác giả: Bùi Thị Thiện Mỹ
• Trường học: Trường Đại Học Ngân Hàng Tp Hồ Chí Minh
• Chuyên ngành: Khoa Học Dữ Liệu
• Đề tài: Phương Pháp Ước Lượng Lasso: Cơ Sở Toán Học và Ứng Dụng
• Loại tài liệu: Đề Tài Khoa Học Cấp Cơ Sở
• Năm xuất bản: 2021
• Địa điểm: Tp Hồ Chí Minh

• MỤC LỤC
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH ẢNH
• PHẦN MỞ ĐẦU
• 0.1. Lý do chọn đề tài
• 0.2. Mục đích nghiên cứu
• 0.3. Đối tượng và phạm vi nghiên cứu
• 0.4. Phương pháp nghiên cứu
• 0.5. Những đóng góp mới của đề tài
• 1. CƠ SỞ LÝ THUYẾT CỦA PHƯƠNG PHÁP LASSO
• 1.1. Các kiến thức liên quan
• 1.1.1. Hàm lồi và các tính chất
• 1.1.2. Điều kiện cần và đủ để hàm lồi đạt cực tiểu
• 1.2. Phương pháp Lasso cho mô hình hồi quy tuyến tính
• 1.2.1. Bài toán tổng quát
• 1.3. Cơ sở toán học của phương pháp Lasso
• 1.4. Thuật toán tìm ước lượng Lasso
• 1.5. Phương pháp Lasso cho bài toán phân loại
• 1.5.1. Mô hình hồi quy Logistic (LR)
• 1.5.2. Mô hình hồi quy Lasso-Logistic (LL)
• 1.5.3. Tính chất của ước lượng Lasso
• 1.5.3.1. Bậc tự do
• 1.5.3.2. Tính duy nhất
• 2. ỨNG DỤNG LASSO TRÊN BÀI TOÁN HỒI QUY
• 2.1. Mô hình nghiên cứu và các biến
• 2.2. Quy trình tính toán
• 2.3. Kết quả tính toán
• 3. ỨNG DỤNG LASSO TRÊN BÀI TOÁN PHÂN LOẠI
• 3.1. Khung phân tích vấn đề xây dựng mô hình đánh giá tín dụng
• 3.2. Khái niệm đánh giá tín dụng
• 3.3. Các yếu tố đầu vào
• 3.4. Các phương pháp thống kê trong xây dựng mô hình đánh giá tín dụng
• 3.4.1. Các phương pháp thống kê truyền thống
• 3.4.2. Các mô hình học máy trong đánh giá tín dụng
• 3.5. Vấn đề mất cân bằng dữ liệu trong bài toán phân loại
• 3.6. Phương pháp CSL
• 3.7. Các kỹ thuật tái chọn mẫu
• 3.8. Mô hình đánh giá tín dụng SMOTE-Lasso-Logistic
• 3.8.1. Quy trình thực hiện mô hình SMOTE-Lasso-Logistic
• 3.8.2. Kết quả thực nghiệm
• 3.8.3. Dữ liệu thực nghiệm
• 3.8.4. Các độ đo đánh giá hiệu quả của mô hình
• 3.8.5. Hiệu quả mô hình SMOTE-Lasso-Logistic
• PHẦN KẾT LUẬN
• TÀI LIỆU THAM KHẢO
• Dữ liệu tỉ suất sinh lợi và các yếu tố nội tại của ngân hàng
• Dữ liệu khách hàng tín dụng
• Mã code chương 2
• Mã code chương 3

I. Cơ sở lý thuyết của phương pháp Lasso

Phương pháp ước lượng Lasso, hay còn gọi là Least Absolute Shrinkage and Selection Operator, là một trong những kỹ thuật chọn biến quan trọng trong phân tích hồi quy. Cơ sở toán học của phương pháp này dựa trên việc tối ưu hóa hàm mục tiêu với điều kiện ràng buộc về độ lớn của các tham số. Cụ thể, Lasso tìm kiếm ước lượng sao cho tổng bình phương sai số được tối thiểu hóa trong khi các tham số có chuẩn L1 được giới hạn. Điều này dẫn đến việc một số tham số có thể bị ước lượng bằng 0, từ đó loại bỏ các biến không quan trọng và tạo ra mô hình hồi quy thưa (sparse model). Theo nghiên cứu của Tibshirani (1996), Lasso không chỉ giúp cải thiện khả năng dự đoán mà còn tối ưu hóa sự đánh đổi giữa độ chệch và phương sai của ước lượng.

1.1. Các kiến thức liên quan

Các kiến thức cơ bản về hàm lồi và các tính chất của nó là rất quan trọng trong việc hiểu rõ phương pháp Lasso. Một hàm được gọi là lồi nếu mọi đoạn thẳng nối hai điểm trên đồ thị của hàm luôn nằm trên hoặc trùng với đồ thị đó. Điều này có nghĩa là hàm lồi có một số tính chất tối ưu đặc biệt, như tính duy nhất của điểm cực tiểu toàn cục. Các điều kiện cần và đủ để hàm lồi đạt cực tiểu cũng được nghiên cứu kỹ lưỡng, cho thấy rằng nếu một hàm lồi có cực tiểu thì điểm đó cũng là điểm cực tiểu toàn cục. Những khái niệm này không chỉ giúp lý giải cơ sở toán học của Lasso mà còn hỗ trợ trong việc phân tích các thuật toán tìm ước lượng Lasso sau này.

1.2. Phương pháp Lasso cho mô hình hồi quy tuyến tính

Phương pháp Lasso cho mô hình hồi quy tuyến tính được trình bày dưới dạng bài toán tối ưu hóa, trong đó mục tiêu là tìm ước lượng sao cho hàm tổn thất được tối thiểu hóa. Bài toán này có thể được biểu diễn dưới dạng chuẩn hóa, với điều kiện ràng buộc trên độ lớn của các tham số. Khi tham số điều chỉnh đủ lớn, các ước lượng thu được sẽ tương đương với phương pháp bình phương bé nhất thông thường (OLS). Tuy nhiên, khi tham số nhỏ, một số ước lượng sẽ trở thành 0, dẫn đến việc loại bỏ các biến không quan trọng khỏi mô hình. Điều này giúp cải thiện tính chính xác của mô hình và khả năng dự đoán, đặc biệt trong các trường hợp có nhiều biến giải thích.

1.3. Thuật toán tìm ước lượng Lasso

Thuật toán giảm chiều (Coordinate Descent) là một trong những phương pháp hiệu quả nhất để tìm ước lượng cho bài toán Lasso. Thuật toán này hoạt động bằng cách lần lượt tối thiểu hóa hàm mục tiêu theo từng biến giải thích, trong khi giữ các biến khác không đổi. Điều này cho phép tìm kiếm cực tiểu toàn cục một cách hiệu quả và nhanh chóng. Kết quả của thuật toán này cho thấy rằng Lasso có thể áp dụng cho các bài toán có kích thước mẫu nhỏ hơn số lượng biến giải thích, điều này rất hữu ích trong thực tiễn khi dữ liệu có thể bị hạn chế.

II. Ứng dụng Lasso trong bài toán hồi quy

Ứng dụng của phương pháp Lasso trong bài toán hồi quy rất đa dạng và phong phú. Lasso giúp cải thiện khả năng dự đoán của các mô hình hồi quy bằng cách loại bỏ các biến không cần thiết, từ đó tạo ra các mô hình đơn giản và dễ hiểu hơn. Nghiên cứu cho thấy rằng Lasso có thể so sánh hiệu quả với các phương pháp hồi quy truyền thống như OLS, đặc biệt trong các tình huống mà số biến giải thích lớn hơn số lượng mẫu. Việc áp dụng Lasso trong thực tiễn cho thấy khả năng cải thiện đáng kể trong các bài toán dự đoán, giúp giảm thiểu sai số và tăng cường độ tin cậy của các kết quả phân tích.

2.1. Mô hình nghiên cứu và các biến

Trong nghiên cứu này, mô hình hồi quy được xây dựng dựa trên các biến giải thích có liên quan đến kết quả phụ thuộc. Các biến này được lựa chọn dựa trên các tiêu chí thống kê và lý thuyết, đảm bảo rằng mô hình không chỉ chính xác mà còn có khả năng dự đoán tốt. Việc lựa chọn biến sử dụng phương pháp Lasso giúp tối ưu hóa mô hình, loại bỏ các biến không cần thiết và tập trung vào những yếu tố quan trọng nhất ảnh hưởng đến biến phụ thuộc. Điều này không chỉ giúp cải thiện độ chính xác của mô hình mà còn giúp dễ dàng hơn trong việc giải thích các kết quả.

2.2. Quy trình tính toán

Quy trình tính toán trong ứng dụng Lasso bao gồm các bước từ chuẩn bị dữ liệu, lựa chọn biến đến việc thực hiện mô hình hồi quy. Đầu tiên, dữ liệu cần được làm sạch và chuẩn hóa để đảm bảo tính chính xác. Sau đó, phương pháp Lasso được áp dụng để xác định các biến quan trọng, từ đó xây dựng mô hình hồi quy. Các kết quả tính toán sẽ được so sánh với các phương pháp hồi quy khác để đánh giá hiệu quả. Việc thực hiện quy trình này một cách cẩn thận sẽ giúp đảm bảo rằng các kết quả đạt được là đáng tin cậy và có thể áp dụng trong thực tiễn.

2.3. Kết quả tính toán

Kết quả tính toán từ việc áp dụng phương pháp Lasso cho thấy sự cải thiện rõ rệt trong khả năng dự đoán so với các phương pháp truyền thống. Các mô hình được xây dựng với Lasso không chỉ có độ chính xác cao hơn mà còn có khả năng giải thích tốt hơn về mối quan hệ giữa các biến. Các chỉ số thống kê như MSE (Mean Squared Error) và R-squared cho thấy rằng mô hình Lasso đạt được kết quả tốt hơn so với OLS trong nhiều trường hợp. Điều này chứng minh rằng Lasso là một công cụ hữu ích trong phân tích hồi quy, đặc biệt trong các bài toán có nhiều biến giải thích.

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của kinh tế, tài chính và quản trị, việc ứng dụng các phương pháp phân tích dữ liệu và mô hình hóa ngày càng trở nên phổ biến. Theo báo cáo ngành, việc lựa chọn biến số phù hợp trong mô hình hồi quy và phân loại là một thách thức lớn, ảnh hưởng trực tiếp đến độ chính xác và khả năng dự báo của mô hình. Phương pháp ước lượng Lasso (Least Absolute Shrinkage and Selection Operator) được xem là một giải pháp hiệu quả trong việc chọn biến, giúp xây dựng mô hình thưa, giảm phương sai và cải thiện khả năng dự báo. Nghiên cứu tập trung vào việc xây dựng khung lý thuyết toán học cho phương pháp Lasso, đồng thời ứng dụng thực nghiệm trên dữ liệu ngành tài chính - ngân hàng Việt Nam trong giai đoạn 2009-2019. Mục tiêu chính là so sánh hiệu quả của Lasso với các phương pháp truyền thống như OLS trong hồi quy và hồi quy Logistic trong phân loại, đồng thời đề xuất mô hình đánh giá tín dụng SMOTE-Lasso-Logistic nhằm giải quyết vấn đề mất cân bằng dữ liệu và nâng cao hiệu quả phân loại. Nghiên cứu có ý nghĩa quan trọng trong việc cung cấp công cụ phân tích chính xác hơn, giúp các ngân hàng cải thiện quản trị rủi ro và nâng cao hiệu quả hoạt động tín dụng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Phương pháp Lasso dựa trên cơ sở toán học của hàm lồi và tối ưu lồi, trong đó hàm mục tiêu kết hợp giữa hàm tổn thất và một tham số phạt chuẩn L1 của các hệ số mô hình. Lasso thực hiện chọn biến bằng cách ép một số hệ số về 0, tạo ra mô hình thưa giúp giảm phương sai và tránh quá khớp. Thuật toán giảm chiều (Coordinate Descent) được sử dụng để tìm lời giải tối ưu cho bài toán Lasso. Ngoài ra, nghiên cứu còn áp dụng mô hình hồi quy Logistic và mở rộng thành Lasso-Logistic cho bài toán phân loại nhị phân, trong đó hàm mục tiêu là hàm âm log-likelihood cộng với tham số phạt L1. Các khái niệm chính bao gồm: hàm lồi, chuẩn L1, thuật toán giảm chiều, mô hình hồi quy Logistic, và kỹ thuật tái chọn mẫu SMOTE để xử lý dữ liệu mất cân bằng.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp phân tích tổng hợp tài liệu để xây dựng cơ sở lý thuyết về Lasso, đồng thời áp dụng phương pháp định lượng trên bộ dữ liệu thực tế của 10 ngân hàng thương mại cổ phần Việt Nam giai đoạn 2009-2019 với 110 quan sát cho bài toán hồi quy và bộ dữ liệu tín dụng gồm 11.124 quan sát cho bài toán phân loại. Dữ liệu được chuẩn hóa và phân chia thành tập huấn luyện và tập kiểm tra theo tỷ lệ 80%-20%. Thuật toán giảm chiều kết hợp thủ tục xác thực chéo được sử dụng để chọn tham số phạt tối ưu. Các mô hình được xây dựng và ước lượng trên ngôn ngữ lập trình R. Đối với bài toán phân loại, kỹ thuật SMOTE được áp dụng để cân bằng dữ liệu huấn luyện trước khi thực hiện Lasso-Logistic. Quá trình nghiên cứu kéo dài trong khoảng thời gian từ năm 2020 đến 2021.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Ứng dụng Lasso trong hồi quy: Kết quả ước lượng trên tập kiểm tra cho thấy sai số trung bình bình phương (MSE) của mô hình Lasso thấp hơn so với OLS, với MSE lần lượt là khoảng 2.366 và 2.478, chứng tỏ Lasso cải thiện khả năng dự báo. Các biến ảnh hưởng mạnh nhất đến tỷ suất sinh lợi ROA và ROE gồm tỷ lệ cho vay trên tổng tài sản (LOAN), quy mô ngân hàng (SIZE) và mức tăng trưởng vốn chủ sở hữu (EQU). Biến sở hữu nhà nước (STATE) và đòn bẩy tài chính (FLE) không có ảnh hưởng đáng kể.

2. Hiệu quả mô hình SMOTE-Lasso-Logistic trong phân loại tín dụng: Trên bộ dữ liệu gồm 11.124 quan sát với tỷ lệ mất cân bằng 12:1 giữa khách hàng tốt và xấu, mô hình SMOTE-Lasso-Logistic đạt giá trị AUC là 0.781 và KS là 0.435, vượt trội hơn so với các mô hình hồi quy Logistic truyền thống và Cây quyết định kết hợp các kỹ thuật tái chọn mẫu khác. Mô hình có khả năng phân loại đúng 83% khách hàng trên tập kiểm tra, trong đó tỷ lệ phát hiện đúng khách hàng xấu đạt 73%.

3. Các đặc điểm quan trọng trong đánh giá tín dụng: Mô hình SMOTE-Lasso-Logistic chỉ ra các biến có ảnh hưởng mạnh đến xác suất vỡ nợ như loại sản phẩm vay, giới tính, thu nhập, lãi suất vay, thời gian và thời hạn vay, chi nhánh ngân hàng và mục đích vay. Ví dụ, khách hàng nữ có xác suất vỡ nợ thấp hơn nam; lãi suất vay trên 16% làm tăng nguy cơ vỡ nợ; thời hạn vay trên 42 tháng cũng làm tăng rủi ro.

4. So sánh các kỹ thuật tái chọn mẫu: Kỹ thuật SMOTE cho hiệu quả tốt hơn so với lấy mẫu quá mức ngẫu nhiên (ROS) và lấy mẫu dưới mức ngẫu nhiên (RUS) khi kết hợp với các mô hình phân loại, giúp cải thiện độ chính xác và giảm hiện tượng quá khớp.

Thảo luận kết quả

Nguyên nhân chính của việc Lasso cải thiện hiệu quả dự báo là do khả năng chọn lọc biến tự động, loại bỏ các biến không có ý nghĩa, từ đó giảm phương sai và tránh quá khớp. Kết quả này phù hợp với các nghiên cứu trước trong lĩnh vực kinh tế và tài chính. Mô hình SMOTE-Lasso-Logistic giải quyết hiệu quả vấn đề mất cân bằng dữ liệu, vốn là thách thức lớn trong đánh giá tín dụng, bằng cách tạo ra các mẫu nhân tạo cho nhóm thiểu số, giúp mô hình học tốt hơn đặc điểm của khách hàng xấu. So sánh với các mô hình truyền thống, SMOTE-Lasso-Logistic không chỉ nâng cao độ chính xác phân loại mà còn cung cấp khả năng giải thích rõ ràng về ảnh hưởng của từng biến, điều mà các mô hình học máy phức tạp như SVM hay ANN khó thực hiện. Dữ liệu có thể được trình bày qua biểu đồ đường cong ROC và phân bố mẫu MSE để minh họa sự vượt trội của Lasso và SMOTE-Lasso-Logistic.

Đề xuất và khuyến nghị

1. Áp dụng rộng rãi phương pháp Lasso trong phân tích tài chính: Các tổ chức tài chính nên tích hợp Lasso vào quy trình phân tích dữ liệu để xây dựng các mô hình hồi quy và phân loại hiệu quả hơn, giảm thiểu sai số dự báo, trong vòng 6-12 tháng tới.

2. Triển khai mô hình SMOTE-Lasso-Logistic trong đánh giá tín dụng: Ngân hàng và các tổ chức tín dụng cần áp dụng mô hình này để nâng cao khả năng phát hiện khách hàng rủi ro, giảm thiểu tổn thất tín dụng, ưu tiên triển khai trong 1 năm tới với sự phối hợp của bộ phận quản trị rủi ro và công nghệ thông tin.

3. Đào tạo nhân sự về kỹ thuật tái chọn mẫu và Lasso: Tổ chức các khóa đào tạo chuyên sâu cho đội ngũ phân tích dữ liệu và quản trị rủi ro nhằm nâng cao năng lực ứng dụng các kỹ thuật hiện đại, dự kiến thực hiện trong 6 tháng.

4. Phát triển hệ thống phần mềm hỗ trợ tự động hóa: Đầu tư phát triển hoặc mua sắm các phần mềm tích hợp thuật toán Lasso và SMOTE để tự động hóa quá trình phân tích và đánh giá tín dụng, giảm thiểu sai sót do con người, kế hoạch thực hiện trong 12-18 tháng.

Đối tượng nên tham khảo luận văn

1. Chuyên gia phân tích dữ liệu và nhà khoa học dữ liệu: Nghiên cứu cung cấp kiến thức sâu về thuật toán Lasso và ứng dụng thực tiễn, giúp họ nâng cao kỹ năng xây dựng mô hình dự báo và phân loại chính xác.

2. Nhà quản trị rủi ro tín dụng tại các ngân hàng: Luận văn giúp hiểu rõ các yếu tố ảnh hưởng đến rủi ro tín dụng và cách áp dụng mô hình SMOTE-Lasso-Logistic để cải thiện quy trình đánh giá khách hàng.

3. Giảng viên và sinh viên ngành kinh tế, tài chính, ngân hàng: Tài liệu là nguồn tham khảo quý giá về phương pháp chọn biến hiện đại và ứng dụng trong lĩnh vực tài chính, hỗ trợ nghiên cứu và giảng dạy.

4. Nhà phát triển phần mềm và công nghệ tài chính (Fintech): Thông tin về thuật toán và quy trình xây dựng mô hình giúp phát triển các sản phẩm công nghệ hỗ trợ phân tích tín dụng và quản lý rủi ro.

Câu hỏi thường gặp

1. Phương pháp Lasso khác gì so với OLS truyền thống?
   Lasso bổ sung tham số phạt chuẩn L1 giúp loại bỏ các biến không quan trọng, tạo mô hình thưa, giảm phương sai và tránh quá khớp, trong khi OLS sử dụng tất cả biến mà không chọn lọc.

2. Tại sao cần xử lý dữ liệu mất cân bằng trong đánh giá tín dụng?
   Dữ liệu mất cân bằng khiến mô hình thiên về nhóm chiếm đa số, làm giảm khả năng phát hiện nhóm thiểu số (khách hàng xấu), dẫn đến rủi ro tín dụng cao.

3. SMOTE hoạt động như thế nào trong xử lý mất cân bằng?
   SMOTE tạo ra các mẫu nhân tạo cho nhóm thiểu số bằng cách nội suy giữa các điểm dữ liệu gần nhau, giúp cân bằng dữ liệu mà không lặp lại dữ liệu cũ, giảm hiện tượng quá khớp.

4. Mô hình SMOTE-Lasso-Logistic có ưu điểm gì so với các mô hình khác?
   Mô hình này vừa xử lý tốt dữ liệu mất cân bằng, vừa chọn lọc biến hiệu quả, nâng cao độ chính xác phân loại và cung cấp khả năng giải thích rõ ràng về ảnh hưởng của từng biến.

5. Làm thế nào để chọn tham số phạt trong Lasso?
   Tham số phạt được chọn thông qua thủ tục xác thực chéo (cross-validation), nhằm tối ưu hóa độ chính xác dự báo trên tập kiểm tra, tránh chọn tham số quá lớn hoặc quá nhỏ.

Kết luận

• Nghiên cứu đã xây dựng và phổ biến khung lý thuyết toán học vững chắc cho phương pháp ước lượng Lasso trong hồi quy và phân loại.
• Ứng dụng thực nghiệm trên dữ liệu ngân hàng Việt Nam cho thấy Lasso cải thiện khả năng dự báo so với OLS và hồi quy Logistic truyền thống.
• Mô hình SMOTE-Lasso-Logistic giải quyết hiệu quả vấn đề mất cân bằng dữ liệu trong đánh giá tín dụng, nâng cao các chỉ số AUC và KS.
• Các kỹ thuật tái chọn mẫu như SMOTE, ROS và RUS đều cải thiện hiệu quả mô hình, trong đó SMOTE cho kết quả tốt nhất.
• Đề xuất triển khai rộng rãi phương pháp Lasso và mô hình SMOTE-Lasso-Logistic trong thực tiễn tài chính, đồng thời phát triển hệ thống hỗ trợ tự động hóa và đào tạo nhân sự chuyên môn.

Hành động tiếp theo: Các tổ chức tài chính nên bắt đầu thử nghiệm và áp dụng mô hình SMOTE-Lasso-Logistic trên dữ liệu thực tế, đồng thời phối hợp với các chuyên gia phân tích dữ liệu để tối ưu hóa quy trình đánh giá tín dụng.