Chuyên đề thực tập: Kỹ thuật phân nhóm dữ liệu theo WOE trong bài toán phân loại sử dụng mô hình Logistic và thuật toán học máy

• Tác giả: Nguyễn Thị Thu Hà
• Người hướng dẫn: Ths. Nguyễn Thị Liên
• Trường học: Đại học Kinh tế Quốc dân
• Chuyên ngành: Toán Tài chính
• Đề tài: Hiệu quả của kỹ thuật phân nhóm dữ liệu theo WOE (Weight of Evidence) trong bài toán phân loại sử dụng mô hình Logistic và thuật toán học máy
• Loại tài liệu: chuyên đề thực tập
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

• LỜI CẢM ƠN
• LỜI MỞ ĐẦU
• 1.1. Lý do lựa chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Phương pháp nghiên cứu
• 1.4. Phạm vi và dữ liệu
• 1.5. Dự kiến kết quả
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT VÀ TỔNG QUAN NGHIÊN CỨU
• 1.1. Cơ sở lý thuyết về bài toán phân loại
• 1.2. Các phương pháp sử dụng trong bài toán phân loại
• 1.2.1. Phương pháp mô hình Logistic
• 1.2.2. Phương pháp Goldberger (196⁄‡)
• 1.2.3. Phương pháp Berkson (1953)
• 1.2.4. Ưu nhược điểm của mô hình Logistic
• 1.2.5. Phương pháp học máy
• 1.2.5.1. Một số thuật toán học máy
• 1.3. Kỹ thuật phân nhóm theo WOE
• 1.3.1. Giới thiệu về kỹ thuật WOE
• 1.3.2. Phương pháp phân nhóm theo kỹ thuật WOE
• 1.3.3. Ưu nhược điểm của kỹ thuật WOE
• 1.3.4. Mô hình Logistic kết hợp kỹ thuật WOE
• 1.4. Đặc điểm mô hình
• 1.5. Đánh giá mô hình
• 1.5.1. Mục đích của việc đánh giá mô hình
• 1.5.2. Các chỉ tiêu đánh giá mô hình
• 1.5.3. Công thức tính điểm từ kết quả mô hình
• 2. CHƯƠNG 2: THỰC TRẠNG MỘT SỐ LĨNH VỰC KINH TẾ XÃ HỘI
• 2.1. Tổng quan quy trình xây dựng thẻ điểm ngân hàng
• 2.2. Sự cần thiết của thẻ điểm ngân hàng
• 2.3. Quy trình xây dựng thẻ điểm cơ bản của Ngân hàng
• 2.4. Lập kế hoạch xây dựng mô hình
• 2.5. Xem xét dữ liệu và thông số dự án
• 2.6. Tạo lập cơ sở dữ liệu
• 2.7. Phát triển mô hình
• 2.8. Hậu kiểm mô hình
• 2.9. Sự cần thiết của bài toán dự báo trong y học
• 2.10. Sự cần thiết của bài toán dự báo khả năng rời bỏ của khách hàng
• 3. CHƯƠNG 3: XÂY DỰNG MÔ HÌNH LOGISTIC GIẢI QUYẾT MỘT SỐ BÀI TOÁN PHÂN LOẠI
• 3.1. Xây dựng mô hình Logistic với bài toán chấm điểm khách hàng
• 3.2. Xây dựng mô hình Logistic với dữ liệu phân nhóm WOE
• 3.2.1. Phân tích thống kê mô tả và kết quả nhóm dữ liệu WOE
• 3.2.2. Phân tích kết quả hồi quy
• 3.2.3. Kiểm định mô hình
• 3.3. Xây dựng mô hình Logistic với dữ liệu gốc
• 3.4. Xây dựng mô hình Logistic với bài toán dự báo ung thư
• 3.4.1. Mô tả dữ liệu
• 3.4.2. Xây dựng mô hình Logistic với dữ liệu phân nhóm WOE
• 3.4.3. Phân tích thống kê mô tả và kết quả nhóm dữ liệu WOE
• 3.4.4. Phân tích tương quan
• 3.4.5. Phân tích kết quả hồi quy
• 3.4.6. Kiểm định mô hình
• 3.4.7. Xây dựng mô hình Logistic với tập dữ liệu gốc
• 3.5. Xây dựng mô hình Logistic với bài toán dự báo khả năng rời bỏ của khách hàng
• 3.5.1. Mô tả dữ liệu
• 3.5.2. Xây dựng mô hình Logistic với tập dữ liệu phân nhóm WOE
• 3.5.3. Phân tích thống kê mô tả và kết quả nhóm dữ liệu WOE
• 3.5.4. Phân tích tương quan
• 3.5.5. Phân tích kết quả hồi quy
• 3.5.6. Kiểm định mô hình
• 3.5.7. Xây dựng mô hình Logistic với tập dữ liệu gốc
• 3.5.8. So sánh kết quả dự báo từ mô hình Logistic để giải quyết ba bài toán phân loại
• 4. CHƯƠNG 4: SỬ DỤNG THUẬT TOÁN HỌC MÁY GIẢI QUYẾT MỘT SỐ BÀI TOÁN PHÂN LOẠI
• 4.1. Kết quả dự báo từ thuật toán học máy với dữ liệu phân nhóm WOE
• 4.2. Kết quả dự báo từ thuật toán học máy với dữ liệu gốc
• 4.3. So sánh kết quả dự báo giữa phương pháp mô hình Logistic và phương pháp học máy
• 5. CHƯƠNG 5: KẾT LUẬN VÀ KHUYẾN NGHỊ
• 5.1. Kết luận chung về đề tài
• 5.2. Những hạn chế của đề tài
• 5.3. Chính sách khuyến nghị
• DANH MỤC TÀI LIỆU THAM KHẢO
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC BẢNG
• DANH MỤC HÌNH VẼ

I. Hướng dẫn thực tập hiệu quả

Hướng dẫn thực tập hiệu quả là một phần quan trọng trong quá trình học tập và nghiên cứu của sinh viên. Đề tài này tập trung vào việc áp dụng kỹ thuật phân nhóm dữ liệu bằng WOE trong các bài toán phân loại sử dụng Logistic Regression và Machine Learning. Mục tiêu chính là giúp sinh viên hiểu rõ cách thức phân tích và xử lý dữ liệu thực tế, từ đó nâng cao kỹ năng thực hành và ứng dụng trong các lĩnh vực như ngân hàng, y tế, và viễn thông.

1.1. Phân nhóm dữ liệu

Phân nhóm dữ liệu là bước đầu tiên trong quá trình xử lý dữ liệu. Kỹ thuật WOE (Weight of Evidence) được sử dụng để chia dữ liệu thành các nhóm có đặc tính tương đồng. Phương pháp này giúp giảm thiểu các vấn đề như thiếu dữ liệu, giá trị ngoại lai, và biến rời rạc, từ đó tăng độ chính xác của mô hình. Ví dụ, trong ngân hàng, WOE có thể được áp dụng để phân loại khách hàng dựa trên khả năng thanh toán nợ.

1.2. Bài toán phân loại

Bài toán phân loại là một trong những bài toán phổ biến trong Machine Learning và Logistic Regression. Mục tiêu là phân loại dữ liệu vào các nhóm dựa trên các đặc điểm cụ thể. Trong đề tài này, bài toán phân loại được áp dụng trong các lĩnh vực như dự đoán khả năng rời bỏ dịch vụ của khách hàng trong viễn thông, hoặc phân loại khối u lành tính và ác tính trong y sinh.

II. Phương pháp WOE và ứng dụng

Phương pháp WOE là một kỹ thuật tiền xử lý dữ liệu hiệu quả, giúp cải thiện độ chính xác của các mô hình phân loại. Phương pháp này đặc biệt hữu ích khi làm việc với dữ liệu có nhiều biến rời rạc hoặc giá trị ngoại lai. Trong đề tài, WOE được áp dụng để phân nhóm dữ liệu trong các bài toán phân loại, từ đó so sánh hiệu quả giữa Logistic Regression và Machine Learning.

2.1. Kỹ thuật phân nhóm WOE

Kỹ thuật phân nhóm WOE giúp chuyển đổi các biến rời rạc thành các nhóm có giá trị đại diện. Phương pháp này không chỉ giúp giảm thiểu các vấn đề về dữ liệu mà còn tăng cường khả năng dự đoán của mô hình. Ví dụ, trong ngân hàng, WOE có thể được sử dụng để phân loại khách hàng dựa trên các yếu tố như thu nhập, nghề nghiệp, và lịch sử tín dụng.

2.2. Ứng dụng trong thực tế

Ứng dụng của WOE trong thực tế rất đa dạng, từ ngân hàng đến y tế và viễn thông. Trong ngân hàng, WOE giúp đánh giá rủi ro tín dụng của khách hàng. Trong y tế, phương pháp này được sử dụng để phân loại bệnh nhân dựa trên các chỉ số y tế. Trong viễn thông, WOE giúp dự đoán khả năng rời bỏ dịch vụ của khách hàng.

III. So sánh Logistic Regression và Machine Learning

Trong đề tài, Logistic Regression và Machine Learning được so sánh về hiệu quả dự đoán khi sử dụng dữ liệu đã được phân nhóm bằng WOE. Kết quả cho thấy, Machine Learning thường đưa ra dự đoán chính xác hơn so với Logistic Regression, đặc biệt khi làm việc với dữ liệu phức tạp và đa chiều.

3.1. Logistic Regression

Logistic Regression là một phương pháp phân loại phổ biến, đặc biệt hiệu quả khi làm việc với dữ liệu có biến phụ thuộc nhị phân. Tuy nhiên, phương pháp này có thể gặp khó khăn khi xử lý dữ liệu có nhiều biến rời rạc hoặc giá trị ngoại lai. WOE giúp cải thiện hiệu quả của Logistic Regression bằng cách phân nhóm dữ liệu một cách hợp lý.

3.2. Machine Learning

Machine Learning là một phương pháp mạnh mẽ trong việc giải quyết các bài toán phân loại phức tạp. Các thuật toán như Random Forest, Light GBM, và XGBoost được sử dụng trong đề tài để so sánh hiệu quả với Logistic Regression. Kết quả cho thấy, Machine Learning thường đưa ra dự đoán chính xác hơn, đặc biệt khi làm việc với dữ liệu đã được phân nhóm bằng WOE.