Chuyên đề thực tập hiệu quả của kỹ thuật phân nhóm dữ liệu theo woe weight of evidence trong bài toán phân loại sử dụng mô hình logistic và thuật toán học máy

Khám phá hiệu quả của kỹ thuật phân nhóm dữ liệu theo WOE trong bài toán phân loại, ứng dụng mô hình Logistic và thuật toán học máy.

Trường đại học

Đại học Kinh tế Quốc dân

Chuyên ngành

Toán Tài chính

Người đăng

Ẩn danh

Thể loại

chuyên đề thực tập

2022

101
9
0

Phí lưu trữ

35 Point

Mục lục chi tiết

LỜI CẢM ƠN

LỜI MỞ ĐẦU

1.1. Lý do lựa chọn đề tài

1.2. Mục tiêu nghiên cứu

1.3. Phương pháp nghiên cứu

1.4. Phạm vi và dữ liệu

1.5. Dự kiến kết quả

1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT VÀ TỔNG QUAN NGHIÊN CỨU

1.1. Cơ sở lý thuyết về bài toán phân loại

1.2. Các phương pháp sử dụng trong bài toán phân loại

1.2.1. Phương pháp mô hình Logistic

1.2.2. Phương pháp Goldberger (196⁄‡)

1.2.3. Phương pháp Berkson (1953)

1.2.4. Ưu nhược điểm của mô hình Logistic

1.2.5. Phương pháp học máy

1.2.5.1. Một số thuật toán học máy

1.3. Kỹ thuật phân nhóm theo WOE

1.3.1. Giới thiệu về kỹ thuật WOE

1.3.2. Phương pháp phân nhóm theo kỹ thuật WOE

1.3.3. Ưu nhược điểm của kỹ thuật WOE

1.3.4. Mô hình Logistic kết hợp kỹ thuật WOE

1.4. Đặc điểm mô hình

1.5. Đánh giá mô hình

1.5.1. Mục đích của việc đánh giá mô hình

1.5.2. Các chỉ tiêu đánh giá mô hình

1.5.3. Công thức tính điểm từ kết quả mô hình

2. CHƯƠNG 2: THỰC TRẠNG MỘT SỐ LĨNH VỰC KINH TẾ XÃ HỘI

2.1. Tổng quan quy trình xây dựng thẻ điểm ngân hàng

2.2. Sự cần thiết của thẻ điểm ngân hàng

2.3. Quy trình xây dựng thẻ điểm cơ bản của Ngân hàng

2.4. Lập kế hoạch xây dựng mô hình

2.5. Xem xét dữ liệu và thông số dự án

2.6. Tạo lập cơ sở dữ liệu

2.7. Phát triển mô hình

2.8. Hậu kiểm mô hình

2.9. Sự cần thiết của bài toán dự báo trong y học

2.10. Sự cần thiết của bài toán dự báo khả năng rời bỏ của khách hàng

3. CHƯƠNG 3: XÂY DỰNG MÔ HÌNH LOGISTIC GIẢI QUYẾT MỘT SỐ BÀI TOÁN PHÂN LOẠI

3.1. Xây dựng mô hình Logistic với bài toán chấm điểm khách hàng

3.2. Xây dựng mô hình Logistic với dữ liệu phân nhóm WOE

3.2.1. Phân tích thống kê mô tả và kết quả nhóm dữ liệu WOE

3.2.2. Phân tích kết quả hồi quy

3.2.3. Kiểm định mô hình

3.3. Xây dựng mô hình Logistic với dữ liệu gốc

3.4. Xây dựng mô hình Logistic với bài toán dự báo ung thư

3.4.1. Mô tả dữ liệu

3.4.2. Xây dựng mô hình Logistic với dữ liệu phân nhóm WOE

3.4.3. Phân tích thống kê mô tả và kết quả nhóm dữ liệu WOE

3.4.4. Phân tích tương quan

3.4.5. Phân tích kết quả hồi quy

3.4.6. Kiểm định mô hình

3.4.7. Xây dựng mô hình Logistic với tập dữ liệu gốc

3.5. Xây dựng mô hình Logistic với bài toán dự báo khả năng rời bỏ của khách hàng

3.5.1. Mô tả dữ liệu

3.5.2. Xây dựng mô hình Logistic với tập dữ liệu phân nhóm WOE

3.5.3. Phân tích thống kê mô tả và kết quả nhóm dữ liệu WOE

3.5.4. Phân tích tương quan

3.5.5. Phân tích kết quả hồi quy

3.5.6. Kiểm định mô hình

3.5.7. Xây dựng mô hình Logistic với tập dữ liệu gốc

3.5.8. So sánh kết quả dự báo từ mô hình Logistic để giải quyết ba bài toán phân loại

4. CHƯƠNG 4: SỬ DỤNG THUẬT TOÁN HỌC MÁY GIẢI QUYẾT MỘT SỐ BÀI TOÁN PHÂN LOẠI

4.1. Kết quả dự báo từ thuật toán học máy với dữ liệu phân nhóm WOE

4.2. Kết quả dự báo từ thuật toán học máy với dữ liệu gốc

4.3. So sánh kết quả dự báo giữa phương pháp mô hình Logistic và phương pháp học máy

5. CHƯƠNG 5: KẾT LUẬN VÀ KHUYẾN NGHỊ

5.1. Kết luận chung về đề tài

5.2. Những hạn chế của đề tài

5.3. Chính sách khuyến nghị

DANH MỤC TÀI LIỆU THAM KHẢO

DANH MỤC TỪ VIẾT TẮT

DANH MỤC BẢNG

DANH MỤC HÌNH VẼ

Tóm tắt

I. Hướng dẫn thực tập hiệu quả

Hướng dẫn thực tập hiệu quả là một phần quan trọng trong quá trình học tập và nghiên cứu của sinh viên. Đề tài này tập trung vào việc áp dụng kỹ thuật phân nhóm dữ liệu bằng WOE trong các bài toán phân loại sử dụng Logistic RegressionMachine Learning. Mục tiêu chính là giúp sinh viên hiểu rõ cách thức phân tích và xử lý dữ liệu thực tế, từ đó nâng cao kỹ năng thực hành và ứng dụng trong các lĩnh vực như ngân hàng, y tế, và viễn thông.

1.1. Phân nhóm dữ liệu

Phân nhóm dữ liệu là bước đầu tiên trong quá trình xử lý dữ liệu. Kỹ thuật WOE (Weight of Evidence) được sử dụng để chia dữ liệu thành các nhóm có đặc tính tương đồng. Phương pháp này giúp giảm thiểu các vấn đề như thiếu dữ liệu, giá trị ngoại lai, và biến rời rạc, từ đó tăng độ chính xác của mô hình. Ví dụ, trong ngân hàng, WOE có thể được áp dụng để phân loại khách hàng dựa trên khả năng thanh toán nợ.

1.2. Bài toán phân loại

Bài toán phân loại là một trong những bài toán phổ biến trong Machine LearningLogistic Regression. Mục tiêu là phân loại dữ liệu vào các nhóm dựa trên các đặc điểm cụ thể. Trong đề tài này, bài toán phân loại được áp dụng trong các lĩnh vực như dự đoán khả năng rời bỏ dịch vụ của khách hàng trong viễn thông, hoặc phân loại khối u lành tính và ác tính trong y sinh.

II. Phương pháp WOE và ứng dụng

Phương pháp WOE là một kỹ thuật tiền xử lý dữ liệu hiệu quả, giúp cải thiện độ chính xác của các mô hình phân loại. Phương pháp này đặc biệt hữu ích khi làm việc với dữ liệu có nhiều biến rời rạc hoặc giá trị ngoại lai. Trong đề tài, WOE được áp dụng để phân nhóm dữ liệu trong các bài toán phân loại, từ đó so sánh hiệu quả giữa Logistic RegressionMachine Learning.

2.1. Kỹ thuật phân nhóm WOE

Kỹ thuật phân nhóm WOE giúp chuyển đổi các biến rời rạc thành các nhóm có giá trị đại diện. Phương pháp này không chỉ giúp giảm thiểu các vấn đề về dữ liệu mà còn tăng cường khả năng dự đoán của mô hình. Ví dụ, trong ngân hàng, WOE có thể được sử dụng để phân loại khách hàng dựa trên các yếu tố như thu nhập, nghề nghiệp, và lịch sử tín dụng.

2.2. Ứng dụng trong thực tế

Ứng dụng của WOE trong thực tế rất đa dạng, từ ngân hàng đến y tế và viễn thông. Trong ngân hàng, WOE giúp đánh giá rủi ro tín dụng của khách hàng. Trong y tế, phương pháp này được sử dụng để phân loại bệnh nhân dựa trên các chỉ số y tế. Trong viễn thông, WOE giúp dự đoán khả năng rời bỏ dịch vụ của khách hàng.

III. So sánh Logistic Regression và Machine Learning

Trong đề tài, Logistic RegressionMachine Learning được so sánh về hiệu quả dự đoán khi sử dụng dữ liệu đã được phân nhóm bằng WOE. Kết quả cho thấy, Machine Learning thường đưa ra dự đoán chính xác hơn so với Logistic Regression, đặc biệt khi làm việc với dữ liệu phức tạp và đa chiều.

3.1. Logistic Regression

Logistic Regression là một phương pháp phân loại phổ biến, đặc biệt hiệu quả khi làm việc với dữ liệu có biến phụ thuộc nhị phân. Tuy nhiên, phương pháp này có thể gặp khó khăn khi xử lý dữ liệu có nhiều biến rời rạc hoặc giá trị ngoại lai. WOE giúp cải thiện hiệu quả của Logistic Regression bằng cách phân nhóm dữ liệu một cách hợp lý.

3.2. Machine Learning

Machine Learning là một phương pháp mạnh mẽ trong việc giải quyết các bài toán phân loại phức tạp. Các thuật toán như Random Forest, Light GBM, và XGBoost được sử dụng trong đề tài để so sánh hiệu quả với Logistic Regression. Kết quả cho thấy, Machine Learning thường đưa ra dự đoán chính xác hơn, đặc biệt khi làm việc với dữ liệu đã được phân nhóm bằng WOE.

21/02/2025

Trích đoạn nội dung tài liệu

Chương 1: Cơ sở lý thuyết và tong quan nghiên cứu Chương 2: Thực trạng một số lĩnh vực kinh tế xã hội cần thiết Chương 3: Xây dựng mô hình Logistic giải quyết một số bài toán phân loại Chương 4: Sử dụng thuật toán học máy giải quyết một số bài toán phân loại Chương 5: Kết luận và khuyến nghị Sinh viên thực hiện: Nguyễn Thị Thu Hà 5 CHUYEN ĐÈ THUC TẬP - CHUYÊN NGÀNH TOÁN TÀI CHÍNH &) CHUONG 1: CO SO LY THUYET VA TONG QUAN NGHIEN CUU Trong chương này trình bày về co sở lý thuyết của bài toán phân loại, một số phương pháp giải quyết bài toán phân loại (cụ thể là phương pháp mô hình Logistic và phương pháp thuật toán học máy). Bên cạnh đó, chương này cung cấp lý thuyết tong quan về đặc điểm, điều kiện áp dụng, công thức, ưu nhược điểm của một kỹ thuật tiền xử lý dữ liệu trước khi tiễn hành xây dựng mô hình hay huấn luyện thuật toán, đó là kỹ thuật phân nhóm dữ liệu WOE (Weight of Evidence — trọng số băng chứng), đồng thời đưa ra phương pháp áp dụng kỹ thuật này vào mô hình. Cơ sở lý thuyết về bài toán phân loại Mặc dù đến nay vẫn chưa có một khái niệm cụ thé được mọi người cùng chấp thuận, tuy nhiên, kinh tế lượng đã và đang được ứng dụng cho rất nhiều lĩnh vực, và trong mỗi lĩnh vực đó, người ta có một quan niệm khác nhau. Thuật ngữ tiếng Anh “Econometrics” được ghép từ hai gốc từ: “Econo” nghĩa là “kinh tế” va “Metrics” nghĩa là “đo lường”.

Hiểu nôm na, kinh tế lượng là đo lường kinh tế. Đó là sự kết hợp giữa kinh tế học, toán học và thống kê toán nhằm lượng hóa, kiểm định và dự báo các quan hệ kinh tế. Thông qua mô hình kinh tế lượng, các con số trở nên “biết nói” hơn, các nhà kinh tế có một “con mắt mới” dé nghiên cứu các vấn đề kinh tẾ, và từ đó có một cơ sở thực nghiệm để con người áp dụng và đưa ra quyết định trong mọi lĩnh vực: sản xuất kinh doanh, hoạch định chính sách, xây dựng chiến lược kinh tế - xã hội,. “Giá cổ phiếu ngày mai có thé là bao nhiêu?”, “GDP của quốc gia năm tới có khả năng tăng trưởng như thế nào?”, “Ước tính thu nhập của người lao động trong năm nay?”,.

đó là một số bài toán mà kinh tế lượng có thé giải quyết. Một đặc điểm chung của những bài toán này, đó là biến phụ thuộc (biến mục tiêu) cần ước lượng đều là biến liên tục. Tuy nhiên, có nhiều hiện tượng, nhiều quá trình mà khi mô tả bằng mô hình kinh tế lượng, biến phụ thuộc là biến định tính, nhận hai giá trị có thể có là 0 và 1. Sinh viên thực hiện: Nguyễn Thị Thu Hà 6 CHUYEN ĐÈ THUC TẬP - CHUYÊN NGÀNH TOÁN TÀI CHÍNH &) Ngoài ra, cũng có nhiều trường hợp biến phụ thuộc có thé nhận giá trị nguyên, hoặc bị hạn chế trong một khoảng nào đó.

Nhiều bài toán được đặt ra cần giải quyết liên quan đến van dé này, ví dụ như: “Trong nông nghiệp, người nông dân quyết định có canh tác hay không?”; “Trong ngân hàng, ngân hàng và tô chức tín dụng quyết định có cho khách hàng vay không?”; “Trong y học, bệnh nhân có khả năng chuyền biến khối u từ lành tính sang ác tính hay không?”; “Trong quan lý kinh tế, một gia đình có phải hộ nghèo hay không?”;. Như vậy, tóm lại, trong các mô hình kinh tế lượng, có hai bài toán chính, đó là là bài toán dự báo (đối với biến phụ thuộc là biến liên tục) và bài toán phân loại (đối với biến phụ thuộc là biến là rời rạc). Trong các bài toán phân loại, bài toán thường gặp và phô biến nhất là bài toán nhị phân. Phân loại nhị phân là bài toán có biến phụ thuộc gồm hai giá trị là 0 va 1, trong đó quy ước | là nhãn tích cực (positive) va 0 là nhãn tiêu cực (negative).

Nhãn tích cực ở đây mang hàm ý xảy ra sự kiện, còn nhãn tiêu cực thé hiện sự vắng mặt của sự kiện. Mục tiêu của bài toán phân loại nhị phân là ước lượng ra xác suất xuất hiện hay vắng mặt của sự kiện, lần lượt tương ứng với nhãn tích cực và nhãn tiêu cực. Tổng của hai xác suất này bang 1. PŒ = 0|X) + P(Y = 1|X) = 1 Nhận thấy giá tri các xác suất đều nam trong đoạn từ 0 đến 1.

Do đó, sử dụng hàm Sigmoid dé tiến hành dự báo với bài toán phân loại nhị phân. Hàm Sigmoid có dạng: 1 a(x) = 1+e* Ham Sigmoid có dạng đường cong chữ S và tinh đơn điệu tăng. Dé dàng chứng minh được giá trị của hàm Sigmoid nam trong đoạn từ 0 đến 1: Jim, a(x) = im, 1+e* =1 Jim, a(x) ~ Jim, 1+e* =0 Sinh viên thực hiện: Nguyễn Thị Thu Hà 7 CHUYEN ĐÈ THUC TẬP - CHUYÊN NGÀNH TOÁN TÀI CHÍNH &) =10.0 “75 50 25 00 75 50 75 100 Hình 1: Do thị dang hàm Sigmoid Do đó, hàm Sigmoid phù hợp để dự báo xác suất ở những bài toán phân loại, nên còn được gọi là hàm Logistic. Các phương pháp sử dụng trong bài toán phân loại 1.

Phương pháp mô hình Logistic Bài toán phân loại thường sử dung mô hình hồi quy Logistic. Phương pháp Goldberger (1964) Mô hình Logistic (Maddala, 1994), p; được xác định bằng: eXiB Pi ~ 1+eX8 Phương trình nay được gọi là hàm phân bố Logistic. Nhận xét thấy, p; không phải hàm tuyến tính của các biến độc lập. Với mỗi XB €(—œ; +00), thì p; € [0; 1], p; phi tuyến với X và các tham số B, do đó không thê sử dụng ước lượng OLS.

Người ta sử dụng phương pháp ước lượng hợp lý tối đa (MLE - Maximum Likelihood Estimation) dé ước lượng ổ. Do chi có Y = 0 hoặc Y = 1, tức Y có phân bồ nhị thức, nên hàm hợp lý với mẫu kích thước n có dạng như sau: TT. ah b= | [pha-poTM = ar ry se0D) Sinh viên thực hiện: Nguyễn Thi Thu Hà 8 CHUYEN ĐÈ THUC TẬP - CHUYÊN NGÀNH TOÁN TÀI CHÍNH &) Suy ra: InL = HỒ. XY,) — » In(1 + exp(X;B)) Ước lượng Ø bang cách tìm cực trị của hàm số trên.

Sau khi ước lượng được B, tính được: Mã 1 + exp (X;P) Như vậy, thay vì nghiên cứu tính ảnh hưởng trực tiếp của biến độc lập lên biến phụ thuộc, mô hình Logistic xem xét đến ảnh hưởng của các biến độc lập đến xác suất dé biến phụ thuộc nhận giá trị bằng 1. Ảnh hưởng của biến phụ thuộc X„ đến p; được tính như sau: Op; aX, pi(1 — pi) Bx 1. Phuong phap Berkson (1953) Phương pháp này xác định p; bang cách tuyến tính hóa: Ly = In(P) + uy = Bọ + BiX1 + + BX + ty Pi 1— pj Do đó, L không chi tuyến tính với biến số mà còn tuyến tính với tham số. Phương pháp này phù hợp với dữ liệu phân nhóm.

Do chưa biết p; nên sẽ sử dụng ước lượng của p;. Giả sử rằng mỗi mẫu có Ñ, giá trị X;, trong Ñ; quan sát này có n; giá tri Y; = 1. Với mỗi X;, tính được: nN; Bi B= yb = In( ) „tị = N6 — 6) 1—p, Thực hiện biến đồi biến số và dùng OLS, ước lượng mô hình: VwiLi = Bo wi + Bry wi Xi + JWiui Hay: Lj; = Bọ + BX; + vị Sinh viên thực hiện: Nguyễn Thị Thu Hà 9 CHUYEN ĐÈ THUC TẬP - CHUYÊN NGÀNH TOÁN TÀI CHÍNH &) 1. Ưu nhược điểm của mô hình Logistic Về mặt ưu điểm, mô hình Logistic đã cải thiện được vẫn đề của mô hình LPM (mô hình xác suất tuyến tính) là giả thiết xác suất là một hàm tuyến tính của biến độc lập.

Đây là giả thiết không phù hợp với thực tế, dẫn đến các nhược điểm như phương sai không đồng đều, sai số không phân phối chuẩn, ước lượng của biến phụ thuộc nằm ngoài đoạn [0, 1], hệ số xác định thấp. Tuy nhiên, mô hình Logistic cũng tồn tại một số van đề như sau. Một là, cần một lượng mẫu đủ lớn dé phân bồ logistic là phân phối chuẩn, do đó nếu dữ liệu thu thập có giá trị quan sát thiếu, giá trị ngoại lai,. nếu dùng cách loại bỏ chúng sẽ giảm kích thước mẫu, mô hình không là tốt nhất có thẻ.

Hai là, mô hình Logistic thuần túy chỉ sử dụng được các biến độc lập là các biến liên tục. Tuy nhiên, ứng dụng của mô hình Logistic là rộng trong hầu hết các lĩnh vực, việc không tận dụng được các biến rời rac là một tôn thất. Khi đó, cần sử dụng các kỹ thuật khác dé khắc phục nhược điểm này. Phương pháp học máy 1.

Học máy là gì? Những năm trở lại đây, trí tuệ nhân tao (Artificial Intelligance — AT) đã và dang nhanh chóng phát triển, có khả năng tạo ra nhiều sự hình thành theo những phương pháp bất ngờ, đưa ra nhiều cơ hội và thách thức mới. Thuật ngữ AI được sử dụng lần đầu bởi John McCarthy — một nhà khoa học máy tính của Đại học Stanford (Hoa Kỳ). Ngoài việc phát triển và cách mạng hóa các lĩnh vực như hàng không, giáo dục, y tế, giao thông vận tải, robot,. AI cũng ngày càng được sử dụng nhiều trong các ngành tài chính — ngân hàng dé khai thác dit liệu, phân tích thị trường, quan lý tài sản, xác định các mô hình và đưa ra dự đoán chính xác cho tương lai, từ đó đạt được mục tiêu quản lý của con người.

Không thể phủ định rằng, AI là nhân tố cốt lõi trong các hệ thống công nghệ cao, được ứng dụng trong hau hết các lĩnh vực đời sống hiện tại. Theo Simon, khái niệm “học” (learning) được mô tả là quá trình cải thiện hành vi thông qua việc tìm hiểu, khám phá và tích lũy những kiến thức mới theo thời gian. Sinh viên thực hiện: Nguyễn Thị Thu Hà 10 CHUYEN ĐÈ THUC TẬP - CHUYÊN NGÀNH TOÁN TÀI CHÍNH &) Nhu vậy, việc học được thực hiện băng các thiết bị máy, được gọi là “học máy”, hay chính là Machine Learning — ML. Có thé coi hoc máy là một tập con cua trí tuệ nhân tạo.

Học máy và các phương pháp tiếp xan dựa trên bộ dir liệu đang dan trở nên quan trọng trong nhiều lĩnh vực. Trong ngân hàng và các tô chức tài chính, ML được sử dụng dé xác định dữ liệu quan trong và ngăn chặn gian lận,.; đối với chính phủ, việc tận dụng ML có thể khai thác nhiều nguồn dữ liệu hơn dé tăng hiệu quả các phương pháp vi mô, phòng ngừa và ngăn chặn hành vi đánh cắp thông tin,.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Hướng dẫn thực tập hiệu quả: Phân nhóm dữ liệu bằng WOE trong bài toán phân loại với Logistic và Machine Learning là tài liệu chuyên sâu hướng dẫn cách áp dụng phương pháp Weight of Evidence (WOE) để phân nhóm dữ liệu trong các bài toán phân loại, kết hợp với Logistic Regression và Machine Learning. Tài liệu này không chỉ giải thích chi tiết về lý thuyết mà còn cung cấp các bước thực hành cụ thể, giúp người đọc nắm vững kỹ thuật và ứng dụng hiệu quả trong thực tế. Đặc biệt, nó nhấn mạnh vai trò của WOE trong việc cải thiện độ chính xác của mô hình và giảm thiểu rủi ro trong dự đoán.

Để mở rộng kiến thức về các phương pháp phân tích dữ liệu, bạn có thể tham khảo thêm Luận văn thạc sĩ khoa học máy tính phân lớp dữ liệu chuỗi thời gian dựa vào mạng nơron tích chập CNN, tài liệu này sẽ giúp bạn hiểu sâu hơn về cách xử lý dữ liệu chuỗi thời gian. Ngoài ra, Luận văn Advanced Data Mining Techniques cung cấp các kỹ thuật khai thác dữ liệu nâng cao, phù hợp để bổ trợ kiến thức về Machine Learning. Cuối cùng, Luận văn thạc sĩ khoa học máy tính khai phá cụm hướng thời gian trên dữ liệu giáo dục sẽ giúp bạn khám phá thêm về ứng dụng phân cụm dữ liệu trong lĩnh vực giáo dục.