Nghiên Cứu Phương Pháp Ước Lượng Lasso: Cơ Sở Toán Học và Ứng Dụng

Chuyên khảo toán học phân tích Đề tài nghiên cứu khoa học phương pháp ước lượng lasso cơ sở toán học và ứng dụng, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp

• Tác giả: Bùi Thị Thiện Mỹ
• Trường học: Trường Đại Học Ngân Hàng Tp Hồ Chí Minh
• Chuyên ngành: Khoa Học Dữ Liệu
• Đề tài: Phương Pháp Ước Lượng Lasso: Cơ Sở Toán Học và Ứng Dụng
• Loại tài liệu: Đề Tài Khoa Học Cấp Cơ Sở
• Năm xuất bản: 2021
• Địa điểm: Tp Hồ Chí Minh

Mục lục chi tiết

• MỤC LỤC
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH ẢNH
• PHẦN MỞ ĐẦU
• 0.1. Lý do chọn đề tài
• 0.2. Mục đích nghiên cứu
• 0.3. Đối tượng và phạm vi nghiên cứu
• 0.4. Phương pháp nghiên cứu
• 0.5. Những đóng góp mới của đề tài
• 1. CƠ SỞ LÝ THUYẾT CỦA PHƯƠNG PHÁP LASSO
• 1.1. Các kiến thức liên quan
• 1.1.1. Hàm lồi và các tính chất
• 1.1.2. Điều kiện cần và đủ để hàm lồi đạt cực tiểu
• 1.2. Phương pháp Lasso cho mô hình hồi quy tuyến tính
• 1.2.1. Bài toán tổng quát
• 1.3. Cơ sở toán học của phương pháp Lasso
• 1.4. Thuật toán tìm ước lượng Lasso
• 1.5. Phương pháp Lasso cho bài toán phân loại
• 1.5.1. Mô hình hồi quy Logistic (LR)
• 1.5.2. Mô hình hồi quy Lasso-Logistic (LL)
• 1.5.3. Tính chất của ước lượng Lasso
• 1.5.3.1. Bậc tự do
• 1.5.3.2. Tính duy nhất
• 2. ỨNG DỤNG LASSO TRÊN BÀI TOÁN HỒI QUY
• 2.1. Mô hình nghiên cứu và các biến
• 2.2. Quy trình tính toán
• 2.3. Kết quả tính toán
• 3. ỨNG DỤNG LASSO TRÊN BÀI TOÁN PHÂN LOẠI
• 3.1. Khung phân tích vấn đề xây dựng mô hình đánh giá tín dụng
• 3.2. Khái niệm đánh giá tín dụng
• 3.3. Các yếu tố đầu vào
• 3.4. Các phương pháp thống kê trong xây dựng mô hình đánh giá tín dụng
• 3.4.1. Các phương pháp thống kê truyền thống
• 3.4.2. Các mô hình học máy trong đánh giá tín dụng
• 3.5. Vấn đề mất cân bằng dữ liệu trong bài toán phân loại
• 3.6. Phương pháp CSL
• 3.7. Các kỹ thuật tái chọn mẫu
• 3.8. Mô hình đánh giá tín dụng SMOTE-Lasso-Logistic
• 3.8.1. Quy trình thực hiện mô hình SMOTE-Lasso-Logistic
• 3.8.2. Kết quả thực nghiệm
• 3.8.3. Dữ liệu thực nghiệm
• 3.8.4. Các độ đo đánh giá hiệu quả của mô hình
• 3.8.5. Hiệu quả mô hình SMOTE-Lasso-Logistic
• PHẦN KẾT LUẬN
• TÀI LIỆU THAM KHẢO
• Dữ liệu tỉ suất sinh lợi và các yếu tố nội tại của ngân hàng
• Dữ liệu khách hàng tín dụng
• Mã code chương 2
• Mã code chương 3

Tóm tắt

I. Cơ sở lý thuyết của phương pháp Lasso

Phương pháp ước lượng Lasso, hay còn gọi là Least Absolute Shrinkage and Selection Operator, là một trong những kỹ thuật chọn biến quan trọng trong phân tích hồi quy. Cơ sở toán học của phương pháp này dựa trên việc tối ưu hóa hàm mục tiêu với điều kiện ràng buộc về độ lớn của các tham số. Cụ thể, Lasso tìm kiếm ước lượng sao cho tổng bình phương sai số được tối thiểu hóa trong khi các tham số có chuẩn L1 được giới hạn. Điều này dẫn đến việc một số tham số có thể bị ước lượng bằng 0, từ đó loại bỏ các biến không quan trọng và tạo ra mô hình hồi quy thưa (sparse model). Theo nghiên cứu của Tibshirani (1996), Lasso không chỉ giúp cải thiện khả năng dự đoán mà còn tối ưu hóa sự đánh đổi giữa độ chệch và phương sai của ước lượng.

1.1. Các kiến thức liên quan

Các kiến thức cơ bản về hàm lồi và các tính chất của nó là rất quan trọng trong việc hiểu rõ phương pháp Lasso. Một hàm được gọi là lồi nếu mọi đoạn thẳng nối hai điểm trên đồ thị của hàm luôn nằm trên hoặc trùng với đồ thị đó. Điều này có nghĩa là hàm lồi có một số tính chất tối ưu đặc biệt, như tính duy nhất của điểm cực tiểu toàn cục. Các điều kiện cần và đủ để hàm lồi đạt cực tiểu cũng được nghiên cứu kỹ lưỡng, cho thấy rằng nếu một hàm lồi có cực tiểu thì điểm đó cũng là điểm cực tiểu toàn cục. Những khái niệm này không chỉ giúp lý giải cơ sở toán học của Lasso mà còn hỗ trợ trong việc phân tích các thuật toán tìm ước lượng Lasso sau này.

1.2. Phương pháp Lasso cho mô hình hồi quy tuyến tính

Phương pháp Lasso cho mô hình hồi quy tuyến tính được trình bày dưới dạng bài toán tối ưu hóa, trong đó mục tiêu là tìm ước lượng sao cho hàm tổn thất được tối thiểu hóa. Bài toán này có thể được biểu diễn dưới dạng chuẩn hóa, với điều kiện ràng buộc trên độ lớn của các tham số. Khi tham số điều chỉnh đủ lớn, các ước lượng thu được sẽ tương đương với phương pháp bình phương bé nhất thông thường (OLS). Tuy nhiên, khi tham số nhỏ, một số ước lượng sẽ trở thành 0, dẫn đến việc loại bỏ các biến không quan trọng khỏi mô hình. Điều này giúp cải thiện tính chính xác của mô hình và khả năng dự đoán, đặc biệt trong các trường hợp có nhiều biến giải thích.

1.3. Thuật toán tìm ước lượng Lasso

Thuật toán giảm chiều (Coordinate Descent) là một trong những phương pháp hiệu quả nhất để tìm ước lượng cho bài toán Lasso. Thuật toán này hoạt động bằng cách lần lượt tối thiểu hóa hàm mục tiêu theo từng biến giải thích, trong khi giữ các biến khác không đổi. Điều này cho phép tìm kiếm cực tiểu toàn cục một cách hiệu quả và nhanh chóng. Kết quả của thuật toán này cho thấy rằng Lasso có thể áp dụng cho các bài toán có kích thước mẫu nhỏ hơn số lượng biến giải thích, điều này rất hữu ích trong thực tiễn khi dữ liệu có thể bị hạn chế.

II. Ứng dụng Lasso trong bài toán hồi quy

Ứng dụng của phương pháp Lasso trong bài toán hồi quy rất đa dạng và phong phú. Lasso giúp cải thiện khả năng dự đoán của các mô hình hồi quy bằng cách loại bỏ các biến không cần thiết, từ đó tạo ra các mô hình đơn giản và dễ hiểu hơn. Nghiên cứu cho thấy rằng Lasso có thể so sánh hiệu quả với các phương pháp hồi quy truyền thống như OLS, đặc biệt trong các tình huống mà số biến giải thích lớn hơn số lượng mẫu. Việc áp dụng Lasso trong thực tiễn cho thấy khả năng cải thiện đáng kể trong các bài toán dự đoán, giúp giảm thiểu sai số và tăng cường độ tin cậy của các kết quả phân tích.

2.1. Mô hình nghiên cứu và các biến

Trong nghiên cứu này, mô hình hồi quy được xây dựng dựa trên các biến giải thích có liên quan đến kết quả phụ thuộc. Các biến này được lựa chọn dựa trên các tiêu chí thống kê và lý thuyết, đảm bảo rằng mô hình không chỉ chính xác mà còn có khả năng dự đoán tốt. Việc lựa chọn biến sử dụng phương pháp Lasso giúp tối ưu hóa mô hình, loại bỏ các biến không cần thiết và tập trung vào những yếu tố quan trọng nhất ảnh hưởng đến biến phụ thuộc. Điều này không chỉ giúp cải thiện độ chính xác của mô hình mà còn giúp dễ dàng hơn trong việc giải thích các kết quả.

2.2. Quy trình tính toán

Quy trình tính toán trong ứng dụng Lasso bao gồm các bước từ chuẩn bị dữ liệu, lựa chọn biến đến việc thực hiện mô hình hồi quy. Đầu tiên, dữ liệu cần được làm sạch và chuẩn hóa để đảm bảo tính chính xác. Sau đó, phương pháp Lasso được áp dụng để xác định các biến quan trọng, từ đó xây dựng mô hình hồi quy. Các kết quả tính toán sẽ được so sánh với các phương pháp hồi quy khác để đánh giá hiệu quả. Việc thực hiện quy trình này một cách cẩn thận sẽ giúp đảm bảo rằng các kết quả đạt được là đáng tin cậy và có thể áp dụng trong thực tiễn.

2.3. Kết quả tính toán

Kết quả tính toán từ việc áp dụng phương pháp Lasso cho thấy sự cải thiện rõ rệt trong khả năng dự đoán so với các phương pháp truyền thống. Các mô hình được xây dựng với Lasso không chỉ có độ chính xác cao hơn mà còn có khả năng giải thích tốt hơn về mối quan hệ giữa các biến. Các chỉ số thống kê như MSE (Mean Squared Error) và R-squared cho thấy rằng mô hình Lasso đạt được kết quả tốt hơn so với OLS trong nhiều trường hợp. Điều này chứng minh rằng Lasso là một công cụ hữu ích trong phân tích hồi quy, đặc biệt trong các bài toán có nhiều biến giải thích.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của kinh tế, tài chính và quản trị, việc ứng dụng các phương pháp phân tích dữ liệu và mô hình hóa ngày càng trở nên phổ biến. Theo báo cáo ngành, việc lựa chọn biến số phù hợp trong mô hình hồi quy và phân loại là một thách thức lớn, ảnh hưởng trực tiếp đến độ chính xác và khả năng dự báo của mô hình. Phương pháp ước lượng Lasso (Least Absolute Shrinkage and Selection Operator) được xem là một giải pháp hiệu quả trong việc chọn biến, giúp xây dựng mô hình thưa, giảm phương sai và cải thiện khả năng dự báo. Nghiên cứu tập trung vào việc xây dựng khung lý thuyết toán học cho phương pháp Lasso, đồng thời ứng dụng thực nghiệm trên dữ liệu ngành tài chính - ngân hàng Việt Nam trong giai đoạn 2009-2019. Mục tiêu chính là so sánh hiệu quả của Lasso với các phương pháp truyền thống như OLS trong hồi quy và hồi quy Logistic trong phân loại, đồng thời đề xuất mô hình đánh giá tín dụng SMOTE-Lasso-Logistic nhằm giải quyết vấn đề mất cân bằng dữ liệu và nâng cao hiệu quả phân loại. Nghiên cứu có ý nghĩa quan trọng trong việc cung cấp công cụ phân tích chính xác hơn, giúp các ngân hàng cải thiện quản trị rủi ro và nâng cao hiệu quả hoạt động tín dụng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Phương pháp Lasso dựa trên cơ sở toán học của hàm lồi và tối ưu lồi, trong đó hàm mục tiêu kết hợp giữa hàm tổn thất và một tham số phạt chuẩn L1 của các hệ số mô hình. Lasso thực hiện chọn biến bằng cách ép một số hệ số về 0, tạo ra mô hình thưa giúp giảm phương sai và tránh quá khớp. Thuật toán giảm chiều (Coordinate Descent) được sử dụng để tìm lời giải tối ưu cho bài toán Lasso. Ngoài ra, nghiên cứu còn áp dụng mô hình hồi quy Logistic và mở rộng thành Lasso-Logistic cho bài toán phân loại nhị phân, trong đó hàm mục tiêu là hàm âm log-likelihood cộng với tham số phạt L1. Các khái niệm chính bao gồm: hàm lồi, chuẩn L1, thuật toán giảm chiều, mô hình hồi quy Logistic, và kỹ thuật tái chọn mẫu SMOTE để xử lý dữ liệu mất cân bằng.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp phân tích tổng hợp tài liệu để xây dựng cơ sở lý thuyết về Lasso, đồng thời áp dụng phương pháp định lượng trên bộ dữ liệu thực tế của 10 ngân hàng thương mại cổ phần Việt Nam giai đoạn 2009-2019 với 110 quan sát cho bài toán hồi quy và bộ dữ liệu tín dụng gồm 11.124 quan sát cho bài toán phân loại. Dữ liệu được chuẩn hóa và phân chia thành tập huấn luyện và tập kiểm tra theo tỷ lệ 80%-20%. Thuật toán giảm chiều kết hợp thủ tục xác thực chéo được sử dụng để chọn tham số phạt tối ưu. Các mô hình được xây dựng và ước lượng trên ngôn ngữ lập trình R. Đối với bài toán phân loại, kỹ thuật SMOTE được áp dụng để cân bằng dữ liệu huấn luyện trước khi thực hiện Lasso-Logistic. Quá trình nghiên cứu kéo dài trong khoảng thời gian từ năm 2020 đến 2021.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Ứng dụng Lasso trong hồi quy: Kết quả ước lượng trên tập kiểm tra cho thấy sai số trung bình bình phương (MSE) của mô hình Lasso thấp hơn so với OLS, với MSE lần lượt là khoảng 2.366 và 2.478, chứng tỏ Lasso cải thiện khả năng dự báo. Các biến ảnh hưởng mạnh nhất đến tỷ suất sinh lợi ROA và ROE gồm tỷ lệ cho vay trên tổng tài sản (LOAN), quy mô ngân hàng (SIZE) và mức tăng trưởng vốn chủ sở hữu (EQU). Biến sở hữu nhà nước (STATE) và đòn bẩy tài chính (FLE) không có ảnh hưởng đáng kể.

2. Hiệu quả mô hình SMOTE-Lasso-Logistic trong phân loại tín dụng: Trên bộ dữ liệu gồm 11.124 quan sát với tỷ lệ mất cân bằng 12:1 giữa khách hàng tốt và xấu, mô hình SMOTE-Lasso-Logistic đạt giá trị AUC là 0.781 và KS là 0.435, vượt trội hơn so với các mô hình hồi quy Logistic truyền thống và Cây quyết định kết hợp các kỹ thuật tái chọn mẫu khác. Mô hình có khả năng phân loại đúng 83% khách hàng trên tập kiểm tra, trong đó tỷ lệ phát hiện đúng khách hàng xấu đạt 73%.

3. Các đặc điểm quan trọng trong đánh giá tín dụng: Mô hình SMOTE-Lasso-Logistic chỉ ra các biến có ảnh hưởng mạnh đến xác suất vỡ nợ như loại sản phẩm vay, giới tính, thu nhập, lãi suất vay, thời gian và thời hạn vay, chi nhánh ngân hàng và mục đích vay. Ví dụ, khách hàng nữ có xác suất vỡ nợ thấp hơn nam; lãi suất vay trên 16% làm tăng nguy cơ vỡ nợ; thời hạn vay trên 42 tháng cũng làm tăng rủi ro.

4. So sánh các kỹ thuật tái chọn mẫu: Kỹ thuật SMOTE cho hiệu quả tốt hơn so với lấy mẫu quá mức ngẫu nhiên (ROS) và lấy mẫu dưới mức ngẫu nhiên (RUS) khi kết hợp với các mô hình phân loại, giúp cải thiện độ chính xác và giảm hiện tượng quá khớp.

Thảo luận kết quả

Nguyên nhân chính của việc Lasso cải thiện hiệu quả dự báo là do khả năng chọn lọc biến tự động, loại bỏ các biến không có ý nghĩa, từ đó giảm phương sai và tránh quá khớp. Kết quả này phù hợp với các nghiên cứu trước trong lĩnh vực kinh tế và tài chính. Mô hình SMOTE-Lasso-Logistic giải quyết hiệu quả vấn đề mất cân bằng dữ liệu, vốn là thách thức lớn trong đánh giá tín dụng, bằng cách tạo ra các mẫu nhân tạo cho nhóm thiểu số, giúp mô hình học tốt hơn đặc điểm của khách hàng xấu. So sánh với các mô hình truyền thống, SMOTE-Lasso-Logistic không chỉ nâng cao độ chính xác phân loại mà còn cung cấp khả năng giải thích rõ ràng về ảnh hưởng của từng biến, điều mà các mô hình học máy phức tạp như SVM hay ANN khó thực hiện. Dữ liệu có thể được trình bày qua biểu đồ đường cong ROC và phân bố mẫu MSE để minh họa sự vượt trội của Lasso và SMOTE-Lasso-Logistic.

Đề xuất và khuyến nghị

1. Áp dụng rộng rãi phương pháp Lasso trong phân tích tài chính: Các tổ chức tài chính nên tích hợp Lasso vào quy trình phân tích dữ liệu để xây dựng các mô hình hồi quy và phân loại hiệu quả hơn, giảm thiểu sai số dự báo, trong vòng 6-12 tháng tới.

2. Triển khai mô hình SMOTE-Lasso-Logistic trong đánh giá tín dụng: Ngân hàng và các tổ chức tín dụng cần áp dụng mô hình này để nâng cao khả năng phát hiện khách hàng rủi ro, giảm thiểu tổn thất tín dụng, ưu tiên triển khai trong 1 năm tới với sự phối hợp của bộ phận quản trị rủi ro và công nghệ thông tin.

3. Đào tạo nhân sự về kỹ thuật tái chọn mẫu và Lasso: Tổ chức các khóa đào tạo chuyên sâu cho đội ngũ phân tích dữ liệu và quản trị rủi ro nhằm nâng cao năng lực ứng dụng các kỹ thuật hiện đại, dự kiến thực hiện trong 6 tháng.

4. Phát triển hệ thống phần mềm hỗ trợ tự động hóa: Đầu tư phát triển hoặc mua sắm các phần mềm tích hợp thuật toán Lasso và SMOTE để tự động hóa quá trình phân tích và đánh giá tín dụng, giảm thiểu sai sót do con người, kế hoạch thực hiện trong 12-18 tháng.

Đối tượng nên tham khảo luận văn

1. Chuyên gia phân tích dữ liệu và nhà khoa học dữ liệu: Nghiên cứu cung cấp kiến thức sâu về thuật toán Lasso và ứng dụng thực tiễn, giúp họ nâng cao kỹ năng xây dựng mô hình dự báo và phân loại chính xác.

2. Nhà quản trị rủi ro tín dụng tại các ngân hàng: Luận văn giúp hiểu rõ các yếu tố ảnh hưởng đến rủi ro tín dụng và cách áp dụng mô hình SMOTE-Lasso-Logistic để cải thiện quy trình đánh giá khách hàng.

3. Giảng viên và sinh viên ngành kinh tế, tài chính, ngân hàng: Tài liệu là nguồn tham khảo quý giá về phương pháp chọn biến hiện đại và ứng dụng trong lĩnh vực tài chính, hỗ trợ nghiên cứu và giảng dạy.

4. Nhà phát triển phần mềm và công nghệ tài chính (Fintech): Thông tin về thuật toán và quy trình xây dựng mô hình giúp phát triển các sản phẩm công nghệ hỗ trợ phân tích tín dụng và quản lý rủi ro.

Câu hỏi thường gặp

1. Phương pháp Lasso khác gì so với OLS truyền thống?
   Lasso bổ sung tham số phạt chuẩn L1 giúp loại bỏ các biến không quan trọng, tạo mô hình thưa, giảm phương sai và tránh quá khớp, trong khi OLS sử dụng tất cả biến mà không chọn lọc.

2. Tại sao cần xử lý dữ liệu mất cân bằng trong đánh giá tín dụng?
   Dữ liệu mất cân bằng khiến mô hình thiên về nhóm chiếm đa số, làm giảm khả năng phát hiện nhóm thiểu số (khách hàng xấu), dẫn đến rủi ro tín dụng cao.

3. SMOTE hoạt động như thế nào trong xử lý mất cân bằng?
   SMOTE tạo ra các mẫu nhân tạo cho nhóm thiểu số bằng cách nội suy giữa các điểm dữ liệu gần nhau, giúp cân bằng dữ liệu mà không lặp lại dữ liệu cũ, giảm hiện tượng quá khớp.

4. Mô hình SMOTE-Lasso-Logistic có ưu điểm gì so với các mô hình khác?
   Mô hình này vừa xử lý tốt dữ liệu mất cân bằng, vừa chọn lọc biến hiệu quả, nâng cao độ chính xác phân loại và cung cấp khả năng giải thích rõ ràng về ảnh hưởng của từng biến.

5. Làm thế nào để chọn tham số phạt trong Lasso?
   Tham số phạt được chọn thông qua thủ tục xác thực chéo (cross-validation), nhằm tối ưu hóa độ chính xác dự báo trên tập kiểm tra, tránh chọn tham số quá lớn hoặc quá nhỏ.

Kết luận

• Nghiên cứu đã xây dựng và phổ biến khung lý thuyết toán học vững chắc cho phương pháp ước lượng Lasso trong hồi quy và phân loại.
• Ứng dụng thực nghiệm trên dữ liệu ngân hàng Việt Nam cho thấy Lasso cải thiện khả năng dự báo so với OLS và hồi quy Logistic truyền thống.
• Mô hình SMOTE-Lasso-Logistic giải quyết hiệu quả vấn đề mất cân bằng dữ liệu trong đánh giá tín dụng, nâng cao các chỉ số AUC và KS.
• Các kỹ thuật tái chọn mẫu như SMOTE, ROS và RUS đều cải thiện hiệu quả mô hình, trong đó SMOTE cho kết quả tốt nhất.
• Đề xuất triển khai rộng rãi phương pháp Lasso và mô hình SMOTE-Lasso-Logistic trong thực tiễn tài chính, đồng thời phát triển hệ thống hỗ trợ tự động hóa và đào tạo nhân sự chuyên môn.

Các tổ chức tài chính nên bắt đầu thử nghiệm và áp dụng mô hình SMOTE-Lasso-Logistic trên dữ liệu thực tế, đồng thời phối hợp với các chuyên gia phân tích dữ liệu để tối ưu hóa quy trình đánh giá tín dụng.

Trích đoạn nội dung tài liệu

PHẦN MỞ ĐẦU 1. Lý do chọn đề tài Ngày nay, trong lĩnh vực kinh tế, tài chính và quản trị, các nghiên cứu được thực hiện thông qua phân tích dữ liệu và mô hình ngày càng phổ biến. Kết quả các nghiên cứu bằng phương pháp định lượng này bị ảnh hưởng bởi các yếu tố đầu vào như độ tin cậy của dữ liệu, tần suất lấy dữ liệu, các biến số trong mô hình, định dạng mô hình… Trong đó, lựa chọn biến số có liên quan là vấn đề quan trọng hàng đầu, đặc biệt đối với bài toán hồi quy (regression) và bài toán phân loại (classification). Lựa chọn biến (variable selection) được hiểu là lựa chọn tập con gồm các biến tốt nhất cho mô hình.

Xét mô hình thống kê như sau: ( ) với ( ) (1) Ký hiệu: ̂ ̂( ) là ước lượng của Khi đó, trung bình bình phương sai số ước lượng (mean squared error) của mô hình được phân tích thành: độ chệch (biasness), phương sai (variance) và sai số (Hastie, Tibshirani & Friedman, 2017). ( ̂) [ ( ) ̂ ( )] , ( ̂( ) ( )- , ( ) ( ̂( )- ( ) Độ chệch Phương sai Phương sai sai số Trong đó, thành phần sai số là thành phần không thể tránh khỏi trong mọi mô hình. Thành phần độ chệch và phương sai phụ thuộc vào sự phức tạp của mô hình. Khi mô hình có ít biến giải thích, ̂( ) có độ chệch lớn và phương sai nhỏ.

Ngược lại, khi mô hình nhiều biến giải thích, tính phức tạp vì thế tăng lên, ̂( ) có độ chệch nhỏ nhưng phương sai lớn. Ý tưởng lựa chọn biến nhằm tối ưu hóa sự đánh đổi giữa độ chệch và phương sai của ̂( ). Các phương pháp thường được sử dụng trong lựa chọn biến là Chọn lựa tập con tốt nhất (The best subset selection), Tiếp cận từng bước (Stepwise approach) và Lasso (Roncalli, 2020). 1 Phương pháp ước lượng Lasso (The Least Absolute Shrinkage and Selection Operator) là một trong những phương pháp chọn biến được sử dụng rộng rãi trong lĩnh vực học máy (Tibshirani, 1996).

Nội dung của phương pháp Lasso như sau: Tìm ước lượng ̂ ̂( ) (̂ ) sao cho: ̂ {. (̂ )/} { (2) ‖̂‖ Trong đó:  ( ) là tham số của mô hình; ̂ (̂ ̂ ) là ước lượng của β.  ‖̂ ‖ ∑ | | là chuẩn trong không gian metric.  là tham số điều chỉnh.

Khi tham số khá bé, một số giá trị ̂ bằng 0. Lúc đó, các biến giải thích có liên quan đến ̂ được loại bỏ khỏi mô hình. Chức năng loại biến của Lasso dẫn đến một mô hình ít biến hơn, gọi là mô hình thưa (sparse model). Khi đó, mô hình này có độ chệch tăng nhưng phương sai giảm so với mô hình đầy đủ các biến.

Phương sai của mô hình ước lượng ̂( ) giảm, dẫn đến những suy diễn thống kê chính xác hơn đồng thời có thể cải thiện khả năng dự báo của mô hình (Tibshirani, 1996). Cách lựa chọn biến của Lasso tiết kiệm thời gian tính toán so với phương pháp Chọn lựa tập con tốt nhất và có thể sử dụng trong trường hợp kích thước mẫu bé hơn số biến giải thích của mô hình (Hastie & ctg, 2017). Mặt khác, với xu hướng xét lại các thủ tục kiểm định giả thuyết thống kê, các công cụ phân tích cổ điển như mô hình hồi quy tuyến tính sử dụng phương pháp ước lượng OLS (Ordinary Least Squares, OLS), mô hình hồi quy Logistic đang đứng trước những thách thức vì nếu không sử dụng p-value (hoặc các thủ tục kiểm định giả thuyết thống kê), không thể trả lời được câu hỏi thường gặp nhất 2 trong quá trình phân tích mô hình: “Những biến độc lập nào là quan trọng nhất, thể hiện sự ảnh hưởng mạnh lên biến phụ thuộc trong mô hình hồi quy?” Khi đó, phương pháp Cách tiếp cận từng bước không thể được sử dụng. Phương pháp ước lượng Lasso là một lựa chọn thay thế hợp lý nhất.

Gần đây, một số nghiên cứu thuộc lĩnh vực kinh tế, tài chính, ngân hàng đã áp dụng Lasso và đạt được một số kết quả đáng lưu ý (Bui & Nguyen, 2021; Nguyễn Đức Trung, Lê Hoàng Anh, Đinh Thị Phương Anh, 2021). Tuy vậy, các nghiên cứu này chỉ dừng lại ở mức độ ứng dụng Lasso trên bài toán hồi quy. Một khung kiến thức cơ sở toán học của Lasso chưa được trình bày một cách chặt chẽ. Bên cạnh đó, phương pháp Lasso còn có thể được ứng dụng trong bài toán phân loại.

Hiện tại chưa có nghiên cứu thực nghiệm tại Việt Nam áp dụng Lasso cho bài toán phân loại. Nghiên cứu sẽ cung cấp một khung phân tích về cơ sở toán học, phương pháp tính toán và tình huống thực nghiệm áp dụng Lasso trong lĩnh vực tài chính, ngân hàng cho bài toán hồi quy và phân loại. Nghiên cứu đồng thời so sánh Lasso với phương pháp ước lượng OLS trong bài toán hồi quy; so sánh mô hình Lasso-Logistic với mô hình hồi quy Logistic trong bài toán phân loại. Mục đích nghiên cứu Nghiên cứu được thực hiện nhằm các mục đích sau:  Giới thiệu một khung lý thuyết về phương pháp ước lượng Lasso.

 Giới thiệu các tình huống thực nghiệm với bộ dữ liệu Việt Nam bằng cách áp dụng phương pháp ước lượng Lasso. Qua đó, chứng minh khả năng cải thiện dự báo của Lasso so với phương pháp ước lượng OLS trong bài toán hồi quy và so với mô hình hồi quy Logistic trong bài toán phân loại. Đối tƣợng và phạm vi nghiên cứu Đối tượng nghiên cứu: Cơ sở lý thuyết và ứng dụng của phương pháp ước lượng Lasso trong bài toán hồi quy và phân loại. Phạm vi nghiên cứu: 3  Cơ sở toán học cho lời giải của phương pháp Lasso, các thuật toán tìm lời giải Lasso, tính chất của các ước lượng từ phương pháp Lasso.

 Ứng dụng Lasso trong lĩnh vực Tài chính – Ngân hàng trên bài toán hồi quy và phân loại. Phƣơng pháp nghiên cứu  Nghiên cứu sử dụng phương pháp phân tích, tổng hợp các tài liệu (sách, bài báo) có liên quan đến phương pháp ước lượng Lasso để rút ra những vấn đề liên quan như: Thuật toán tìm ước lượng Lasso, cơ sở toán học của thuật toán, các tính chất của ước lượng Lasso.  Đối với nội dung ứng dụng Lasso, nghiên cứu sử dụng phương pháp định lượng với các mô hình phân tích hồi quy, mô hình phân loại dữ liệu. Các ước lượng mô hình được thực hiện trên ngôn ngữ lập trình R.

Những đóng góp mới của đề tài Phổ biến một phương pháp chọn biến của mô hình hồi quy và phân loại trong phân tích kinh tế, tài chính, ngân hàng. Phương pháp này vừa có khả năng xây dựng một mô hình đơn giản, ít biến giải thích, đồng thời có thể cải thiện khả năng dự báo so với các phương pháp truyền thống. Thông qua ví dụ ứng dụng Lasso cho bài toán phân loại, nghiên cứu đề xuất một mô hình đánh giá tín dụng có hiệu quả cao hơn các phương pháp phân loại phổ biến. CƠ SỞ LÝ THUYẾT CỦA PHƢƠNG PHÁP LASSO 1.

Các kiến thức liên quan 1. Hàm lồi và các tính chất Tập lồi. Một tập được gọi là tập lồi nếu với mọi và với mọi số thực , - ( ). Hàm số được gọi là hàm lồi nếu tập xác định của là tập lồi và với mọi thuộc miền xác định của , với mọi số thực ( ), ( ( ) ) ( ) ( ) ( ) Nếu với mọi bất đẳng thức trong định nghĩa trên là dấu bất đẳng thức chặt (<) thì hàm số được gọi là lồi chặt.

Đồ thị hàm lồi (a) và không lồi (b) Nguồn: Hastie & ctg (2017) Hình 1 minh họa đồ thị hàm lồi (a) và không lồi (b). Theo định nghĩa hàm lồi, mọi đoạn thẳng nối hai điểm ( ( )) ( ( )) luôn nằm trên hoặc trùng với phần đồ thị hàm số trên khoảng ( ) Hơn nữa, nếu đường thẳng nối ( ( )) ( ( )) luôn nằm trên thì hàm số là lồi chặt. Đồ thị (a) là đồ thị của một hàm lồi chặt. Ví dụ 1: Trên , các hàm ( ) ( ) | | là hàm lồi.

Trong đó, ( ) là hàm lồi chặt; ( ) | | là hàm lồi nhưng không chặt. 5 Ví dụ 2: Trên , các chuẩn là những hàm lồi, trong đó chuẩn Euclide là hàm lồi chặt, chuẩn là hàm lồi không chặt. Điều kiện cần và đủ để hàm lồi đạt cực tiểu. Các kiến thức về tối ưu lồi sau đây bỏ qua phần chứng minh, mọi chi tiết có thể được tham khảo qua các tài liệu về tối ưu lồi.

Nhắc lại một số khái niệm và tính chất: * Gradient (bậc nhất) của hàm số thực biến tại kí hiệu là ( ), được định nghĩa như sau: ( ) ( ( ) ( )) với ( ) là đạo hàm riêng của theo biến tại * Subgradient của hàm số thực biến tại là vectơ thoả: ( ) ( ) 〈 〉 Với 〈 〉 là ký hiệu tích vô hướng của Tập tất cả các subgradient của tại là một tập lồi trên , ký hiệu là ( ) Khi hàm số khả vi tại thì ( ) * ( )+ Ví dụ: Xét hàm số ( ) | |, khi đó: * + nếu ( ) {* + nếu , - nếu Ta thường dùng kí hiệu ( ) để chỉ ( ) của hàm giá trị tuyệt đối của * Tính chất cực tiểu của hàm lồi. Giả sử là một hàm lồi, nếu đạt cực tiểu địa phương tại thì là điểm cực tiểu toàn cục của Nếu là hàm lồi chặt và có cực tiểu thì điểm cực tiểu là toàn cục và duy nhất. 6 * Điều kiện cần và đủ của cực tiểu toàn cục. Xét hàm lồi và tập ràng buộc đối với biến số là tập lồi.

Xét bài toán tối ưu: ( ) sao cho i) Giả sử khả vi tại. Điều kiện cần và đủ để là điểm cực tiểu toàn cục của trên là 〈 ( ) 〉 Trường hợp , bài toán trở thành tối ưu không có điều kiện ràng buộc. Khi đó, điều kiện cần và đủ để là điểm cực tiểu toàn cục của là ( ). ii) Xét và không khả vi tại , điều kiện cần và đủ để là điểm cực tiểu toàn cục của là ( ) 1.

Phƣơng pháp Lasso cho mô hình hồi quy tuyến tính 1.1 Bài toán tổng quát Xét mô hình hồi quy tổng thể có dạng: (3) Trong đó là biến được giải thích (biến phụ thuộc), ( ) là các biến giải thích (biến độc lập), là sai số ngẫu nhiên với kỳ vọng bằng 0. Một số ký hiệu sử dụng ngôn ngữ vector – ma trận được sử dụng trong bài viết như sau.