Khóa luận tốt nghiệp: Phân tích mô hình học máy và dữ liệu khách hàng rời bỏ dịch vụ viễn thông

Nghiên cứu mô hình học máy giúp phân tích nguyên nhân khách hàng rời bỏ dịch vụ viễn thông, từ đó cải thiện chiến lược giữ chân khách hàng.

• Tác giả: Phạm Phương Linh
• Người hướng dẫn: ThS. Trần Chung Thủy
• Trường học: Trường Đại Học Kinh Tế Quốc Dân
• Chuyên ngành: Toán Kinh Tế
• Đề tài: Đọc Hiểu Một Số Mô Hình Học Máy Và Thử Nghiệm Xử Lý Dữ Liệu Về Trạng Thái Khách Hàng Rời Bỏ Dịch Vụ Viễn Thông
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• MỞ ĐẦU
• 0.1. Lý do chọn đề tài
• 0.2. Mục tiêu nghiên cứu
• 0.3. Đối tượng và phương pháp nghiên cứu
• 0.4. Phạm vi nghiên cứu
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT
• 1.1. Tổng quan về Học Máy
• 1.1.1. Định nghĩa và phân loại
• 1.1.2. Bài toán tổng quát
• 1.2. Mô hình Hồi quy Logistic
• 1.2.1. Bài toán tổng quát
• 1.2.2. Chỉ số đánh giá mô hình
• 1.3. Vấn đề rời bỏ của khách hàng
• 1.3.1. Một số khái niệm cơ bản
• 2. CHƯƠNG 2: TRỰC QUAN HÓA VÀ KHAI PHÁ DỮ LIỆU
• 2.1. Tổng quan về bộ dữ liệu
• 2.1.1. Mô tả bộ dữ liệu
• 2.1.2. Tương quan giữa các dữ liệu
• 2.2. Khám phá dữ liệu
• 2.2.1. Dữ liệu về thông tin cá nhân của khách hàng
• 2.2.2. Các thông tin liên quan đến hồ sơ đăng kí dịch vụ của khách hàng
• 3. CHƯƠNG 3: VẬN DỤNG XỬ LÝ DỮ LIỆU BẰNG CÁC THUẬT TOÁN
• 3.1. Chuẩn bị dữ liệu
• 3.2. Xây dựng và đánh giá mô hình
• 3.2.1. Mô hình Hồi quy Logistic
• 3.2.2. Mô hình COX
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu và lý do chọn đề tài

Khóa luận tốt nghiệp này tập trung vào việc đọc hiểu và áp dụng các mô hình học máy để xử lý dữ liệu liên quan đến trạng thái khách hàng rời bỏ trong lĩnh vực dịch vụ viễn thông. Lĩnh vực viễn thông đóng vai trò quan trọng trong nền kinh tế hiện đại, đặc biệt là trong bối cảnh cách mạng công nghiệp 4.0. Các doanh nghiệp viễn thông đang đối mặt với sự cạnh tranh gay gắt, trong đó việc giữ chân khách hàng hiện tại được coi là chiến lược tối ưu hóa hiệu quả nhất. Học máy và phân tích dữ liệu trở thành công cụ quan trọng để dự đoán và giảm thiểu tình trạng khách hàng rời bỏ.

1.1. Mục tiêu nghiên cứu

Mục tiêu chính của nghiên cứu là xác định các yếu tố quyết định tỷ lệ rời bỏ của khách hàng, đánh giá ảnh hưởng của các yếu tố này, và dự đoán khoảng thời gian khách hàng có thể rời bỏ dịch vụ. Nghiên cứu sử dụng các mô hình học máy như Hồi quy Logistic và mô hình Cox Proportional-Hazards để phân tích dữ liệu khách hàng và đưa ra các dự đoán chính xác.

1.2. Phạm vi nghiên cứu

Nghiên cứu tập trung vào việc áp dụng hai mô hình Hồi quy Logistic và Cox Proportional-Hazards để xử lý dữ liệu về trạng thái khách hàng rời bỏ trong ngành viễn thông. Các mô hình này được sử dụng để thử nghiệm và đánh giá hiệu quả trong việc dự đoán hành vi khách hàng.

II. Cơ sở lý thuyết

Chương này cung cấp cơ sở lý thuyết về học máy và các mô hình được sử dụng trong nghiên cứu. Học máy là một nhánh của trí tuệ nhân tạo, tập trung vào việc sử dụng dữ liệu và thuật toán để đưa ra các dự đoán chính xác. Nghiên cứu phân loại học máy thành học có giám sát và học không giám sát, trong đó Hồi quy Logistic và mô hình Cox thuộc nhóm học có giám sát.

2.1. Tổng quan về học máy

Học máy được định nghĩa là quá trình sử dụng dữ liệu để huấn luyện các thuật toán nhằm đưa ra các dự đoán hoặc phân loại. Các phương pháp học máy bao gồm học có giám sát (như Hồi quy Logistic) và học không giám sát (như phân cụm dữ liệu). Các mô hình này được sử dụng rộng rãi trong phân tích dữ liệu và dự đoán hành vi khách hàng.

2.2. Mô hình Hồi quy Logistic

Hồi quy Logistic là một mô hình học máy được sử dụng để dự đoán biến phụ thuộc nhị phân. Trong nghiên cứu này, mô hình được áp dụng để dự đoán xác suất khách hàng rời bỏ dịch vụ. Công thức của mô hình dựa trên logit và odds ratio, giúp đánh giá ảnh hưởng của các biến độc lập lên biến phụ thuộc.

2.3. Mô hình Cox Proportional Hazards

Mô hình Cox là một phương pháp phân tích sống sót, được sử dụng để ước tính thời gian khách hàng rời bỏ dịch vụ. Mô hình này dựa trên hàm rủi ro và hàm sống sót, giúp đánh giá ảnh hưởng của các yếu tố lên thời gian rời bỏ của khách hàng.

III. Phương pháp nghiên cứu và kết quả

Nghiên cứu sử dụng các phương pháp học máy để phân tích dữ liệu khách hàng và dự đoán tình trạng khách hàng rời bỏ. Các mô hình được đánh giá dựa trên các chỉ số như accuracy, precision, recall, và AUC. Kết quả cho thấy các mô hình này có khả năng dự đoán chính xác hành vi khách hàng, giúp các doanh nghiệp viễn thông tối ưu hóa dịch vụ và giảm thiểu tỷ lệ khách hàng rời bỏ.

3.1. Chuẩn bị dữ liệu

Dữ liệu được thu thập từ các thông tin cá nhân và hồ sơ đăng ký dịch vụ của khách hàng. Quá trình chuẩn bị dữ liệu bao gồm làm sạch dữ liệu, xử lý các giá trị thiếu, và chuẩn hóa dữ liệu để phù hợp với các mô hình học máy.

3.2. Đánh giá mô hình

Các mô hình được đánh giá dựa trên confusion matrix, precision, recall, và AUC. Kết quả cho thấy Hồi quy Logistic và mô hình Cox đều có hiệu suất cao trong việc dự đoán hành vi khách hàng, với AUC gần 1, cho thấy khả năng phân loại chính xác của mô hình.

IV. Kết luận và ứng dụng thực tiễn

Nghiên cứu đã chứng minh hiệu quả của các mô hình học máy trong việc dự đoán trạng thái khách hàng rời bỏ trong ngành viễn thông. Các kết quả này có thể được áp dụng để tối ưu hóa dịch vụ, cải thiện chất lượng dịch vụ, và giảm thiểu chi phí liên quan đến việc mất khách hàng. Nghiên cứu cũng mở ra hướng phát triển mới trong việc ứng dụng học máy và phân tích dữ liệu trong các lĩnh vực khác.

4.1. Giá trị thực tiễn

Nghiên cứu cung cấp các công cụ hiệu quả để các doanh nghiệp viễn thông dự đoán và quản lý hành vi khách hàng. Việc áp dụng các mô hình học máy giúp doanh nghiệp tối ưu hóa dịch vụ, tăng cường sự hài lòng của khách hàng, và nâng cao hiệu quả kinh doanh.

4.2. Hướng phát triển

Nghiên cứu đề xuất hướng phát triển trong việc tích hợp các mô hình học máy với các công nghệ mới như AI và Big Data để nâng cao hiệu quả phân tích và dự đoán hành vi khách hàng trong tương lai.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh bùng nổ của cuộc Cách mạng công nghiệp 4.0 và xu thế chuyển đổi số toàn cầu, ngành viễn thông đóng vai trò hạ tầng thông tin cốt lõi, cung cấp các phương tiện truyền dẫn như internet, mạng di động 4G, điện thoại và dịch vụ vệ tinh phục vụ đời sống xã hội cũng như hoạt động sản xuất kinh doanh. Sự gia tăng nhanh chóng về số lượng nhà cung cấp dịch vụ trên thị trường đã đẩy mức độ cạnh tranh giữa các doanh nghiệp viễn thông lên mức rất cao.

Để duy trì tăng trưởng doanh thu, doanh nghiệp viễn thông thường xem xét ba chiến lược chính:

1. Thu hút khách hàng mới;
2. Bán thêm dịch vụ/sản phẩm cho khách hàng hiện tại;
3. Gia tăng thời gian giữ chân khách hàng hiện tại.

Xét trên khía cạnh tỷ suất hoàn vốn đầu tư (ROI), chi phí để duy trì một khách hàng hiện hữu thấp hơn đáng kể so với chi phí tiếp thị để tìm kiếm khách hàng mới, đồng thời việc giữ chân khách hàng cũng khả thi hơn so với nỗ lực bán thêm sản phẩm. Do đó, việc kiểm soát và giảm thiểu tỷ lệ khách hàng rời bỏ mạng (customer churn) trở thành mục tiêu sống còn. Khóa luận tiếp cận bài toán này dưới góc độ định lượng và học máy nhằm giải quyết 3 mục tiêu nghiên cứu cụ thể:

1. Xác định các yếu tố quyết định đến tỷ lệ rời bỏ của khách hàng viễn thông;
2. Đánh giá và phân tích mức độ ảnh hưởng của từng yếu tố đến xác suất rời bỏ dịch vụ;
3. Dự đoán khoảng thời gian gắn bó cũng như thời điểm có nguy cơ rời bỏ dịch vụ của khách hàng.

Đối tượng nghiên cứu của đề tài là các yếu tố tác động đến quyết định rời bỏ dịch vụ của khách hàng và các thuật toán học máy xử lý dữ liệu phân loại, phân tích sống sót. Phạm vi nghiên cứu tập trung vào hai mô hình gồm Hồi quy Logistic (Logistic Regression) và Mô hình rủi ro tỷ lệ Cox (Cox Proportional Hazards), thực nghiệm trên bộ dữ liệu khách hàng viễn thông tại bang California (Hoa Kỳ) trong Quý 3/2019.

Cơ sở lý thuyết và phương pháp

Khóa luận được xây dựng dựa trên sự kết hợp giữa lý thuyết quản trị quan hệ khách hàng (CRM) và các phương pháp thống kê - học máy ứng dụng trong kinh tế.

Về mặt khái niệm quản trị, đề tài làm rõ định nghĩa khách hàng, hệ thống CRM và chỉ số tỷ lệ rời bỏ (Customer Churn Rate) – đo lường bằng tỷ lệ phần trăm giữa số khách hàng hủy hợp đồng trong một kỳ so với tổng số khách hàng ở đầu kỳ. Quy trình phân tích dữ liệu khách hàng được chia thành hai nhánh chính: phân tích nhân khẩu học (Demographic Analysis) và phân tích hành vi (Behavioral Analysis) xuyên suốt ba giai đoạn (trước mua, trong khi sử dụng, và sau khi kết thúc giao dịch).

Về mặt toán học và phương pháp học máy, tác giả sử dụng hai phương pháp định lượng cốt lõi:

• Hồi quy Logistic (Logistic Regression): Đóng vai trò là mô hình phân loại có giám sát (Supervised Learning - Classification) để ước lượng xác suất biến cố nhị phân $Y \in {0, 1}$ (với $Y=1$ là khách hàng rời bỏ, $Y=0$ là ở lại). Mô hình sử dụng hàm Logit để liên kết các biến độc lập với xác suất rời bỏ thông qua tỉ số Odds (Odds Ratio - OR): $$\text{logit}(p_i) = \log\left(\frac{p_i}{1-p_i}\right) = \alpha + \beta_1 X_{1i} + \beta_2 X_{2i} + \dots + \beta_p X_{pi}$$ Tham số mô hình được ước lượng bằng phương pháp hợp lý cực đại (Maximum Likelihood Estimation - MLE).
• Mô hình rủi ro tỷ lệ Cox (Cox Proportional Hazards Model): Đóng vai trò là phương pháp phân tích sống sót (Survival Analysis) để mô hình hóa thời gian gắn bó (Tenure) đến khi sự kiện rời bỏ xảy ra. Hàm rủi ro tức thời tại thời điểm $t$ có dạng: $$h(t \mid X) = h_0(t) \exp(\beta_1 X_1 + \beta_2 X_2 + \dots + \beta_p X_p)$$ Trong đó $h_0(t)$ là hàm rủi ro cơ sở, $\text{HR} = \exp(\beta)$ biểu thị tỷ lệ rủi ro nguy hiểm tương đối của từng thuộc tính.
• Phương pháp đánh giá: Sử dụng ma trận nhầm lẫn (Confusion Matrix) với các chỉ số Accuracy, Precision, Recall, True Negative Rate (Specificity), False Positive Rate, đường cong ROC và diện tích dưới đường cong AUC để xác định ngưỡng phân loại tối ưu (Cutoff). Ngoài ra, hàm sống sót tích lũy phi tham số được ước lượng qua đường cong Kaplan-Meier.

Nguồn dữ liệu sử dụng là bộ dữ liệu công khai Telco Customer Churn trên nền tảng Kaggle, thu thập thông tin dịch vụ viễn thông của 7.043 khách hàng.

Nội dung chính theo từng chương

Chương I: Cơ sở lý thuyết

Chương I hệ thống hóa khung lý luận từ tổng quan học máy đến chi tiết các mô hình định lượng và nghiệp vụ khách hàng:

• Khái niệm và phân loại Học máy: Trình bày định nghĩa theo IBM Cloud Education (2020), phân biệt học có giám sát (hồi quy, phân loại với các thuật toán như Logistic Regression, Random Forest, SVM, Naive Bayes, Neural Networks) và học không giám sát (phân cụm K-means, giảm chiều dữ liệu PCA, SVD). Thiết lập bài toán tổng quát $y = F(x)$ và tối thiểu hóa hàm mất mát $L(w)$.
• Cơ chế mô hình Logistic Regression: Trình bày cơ sở toán học của Odds, Odds Ratio, hàm Logit, chuyển đổi dạng hàm tuyến tính và cách phiên giải hệ số $\beta$ sang $\text{OR} = e^{\beta}$.
• Bộ chỉ số đánh giá phân loại: Trình bày chi tiết công thức tính toán và ý nghĩa của Ma trận nhầm lẫn (True Positive, True Negative, False Positive, False Negative), phân tích sự đánh đổi giữa Precision và Recall trong các bài toán mất cân bằng mẫu, cùng nguyên lý đường cong ROC/AUC.
• Mô hình phân tích sống sót Cox: Định nghĩa hàm mật độ xác suất $f(t)$, hàm phân phối tích lũy $F(t)$, hàm sống sót $S(t) = P(T > t)$ và hàm rủi ro $h(t)$, thiết lập công thức toán học ước lượng tỷ số rủi ro Hazard Ratio.
• Nghiệp vụ Churn và Phân tích khách hàng: Trình bày vai trò của CRM, công thức tính toán Churn Rate, lợi ích chi phí của việc giữ chân khách hàng, các tiêu chí phân tích nhân khẩu học và hành vi tiêu dùng qua từng giai đoạn giao dịch.

Chương II: Trực quan hóa và khai phá dữ liệu

Chương II tập trung vào phân tích khám phá dữ liệu (EDA) trên 7.043 quan sát và 21 trường biến số:

Nhóm biến	Danh sách trường thông tin	Đặc điểm dữ liệu
Mục tiêu	Churn	Nhị phân (Yes/No), đo lường trạng thái khách hàng
Nhân khẩu học	customerID, gender, SeniorCitizen, Partner, Dependents	Giới tính phân bố cân bằng (50% Nam / 50% Nữ); 16% là người cao tuổi; 50% có bạn đời; 30% có người phụ thuộc
Hồ sơ hợp đồng & Dịch vụ viễn thông	tenure, PhoneService, MultipleLines, InternetService, OnlineSecurity, OnlineBackup, DeviceProtection, TechSupport, StreamingTV, StreamingMovies, Contract, PaperlessBilling, PaymentMethod	tenure tập trung nhiều ở mốc 1 tháng và 70 tháng; hợp đồng Month-to-month chiếm ưu thế; dịch vụ mạng gồm DSL, Fiber optic, Không có mạng
Chi phí dịch vụ	MonthlyCharges, TotalCharges	MonthlyCharges có phân phối biến động theo gói dịch vụ; TotalCharges có 11 giá trị khuyết thiếu

Thông qua phân tích tương quan ma trận Pearson Heatmap và biểu đồ phân phối, chương này rút ra các phát hiện:

• Hệ số tương quan tuyến tính giữa các biến độc lập đều có giá trị tuyệt đối $< 0.5$, cho thấy nguy cơ xảy ra hiện tượng đa cộng tuyến là rất thấp.
• Yếu tố nhân khẩu học: Giới tính không tác động đến việc rời bỏ. Người cao tuổi có tỷ lệ rời bỏ tương đối cao hơn người trẻ. Nhóm khách hàng chưa kết hôn và không có người phụ thuộc có xu hướng rời bỏ dịch vụ cao hơn.
• Yếu tố dịch vụ và hợp đồng: Khách hàng ký hợp đồng hàng tháng (Month-to-month) rời bỏ cao vượt trội so với hợp đồng 1 năm hoặc 2 năm. Khách hàng dùng cáp quang (Fiber optic) rời bỏ nhiều hơn khách hàng dùng DSL. Nhóm không sử dụng các dịch vụ giá trị gia tăng (OnlineSecurity, OnlineBackup, DeviceProtection, TechSupport) có xu hướng rời bỏ cao hơn.
• Yếu tố thanh toán và chi phí: Khách hàng dùng hóa đơn điện tử (PaperlessBilling) và thanh toán bằng séc điện tử (Electronic check) có tỷ lệ rời bỏ cao nhất. Khách hàng rời bỏ có mức cước phí hàng tháng (MonthlyCharges) trung bình cao hơn nhưng tổng cước thanh toán tích lũy (TotalCharges) thấp hơn (do thời gian gắn bó ngắn).

Chương III: Vận dụng xử lý dữ liệu bằng các thuật toán

Chương III thực hiện quy trình tiền xử lý, huấn luyện và kiểm thử mô hình thực nghiệm:

• Chuẩn bị dữ liệu: Loại bỏ biến định danh customerID; xử lý 11 dòng dữ liệu khuyết thiếu của biến TotalCharges và ép kiểu dữ liệu từ object sang float; mã hóa biến mục tiêu Churn thành nhị phân $(0, 1)$; chuyển đổi các biến phân loại bằng biến giả (One-hot encoding); chuẩn hóa thang đo (scaling) các biến liên tục (tenure, MonthlyCharges, TotalCharges) về phân phối chuẩn có kỳ vọng bằng 0 và độ lệch chuẩn bằng 1; phân chia tập dữ liệu theo tỷ lệ 80% huấn luyện (Training dataset - 5.634 quan sát) và 20% kiểm thử (Test dataset - 1.409 quan sát).
• Thực nghiệm Hồi quy Logistic:
  • Sau bước loại bỏ các biến không có ý nghĩa thống kê ($p$-value $> 0.05$), mô hình được ước lượng lại với hệ số chặn $\text{const} = -1.0526$. Biến MonthlyCharges có hệ số $\beta = 0.98798$, tương ứng $\text{OR} = e^{0.98798} \approx 2.686$.
  • Ma trận nhầm lẫn trên tập Training: $\text{TP} = 3280$, $\text{TN} = 674$, $\text{FN} = 355$, $\text{FP} = 613$. Các chỉ số đạt được: Accuracy = 0.7967 (79.67%), Precision = 0.6550, Recall = 0.5237, True Negative Rate = 0.9023, Negative Predictive Value = 0.8425.
  • Phân tích ngưỡng cắt (Cutoff): Dựa trên giao điểm của đường cong Precision - Recall, ngưỡng xác suất tối ưu được xác định là $0.42$. Khách hàng có xác suất dự báo $> 0.42$ được xếp vào nhóm có nguy cơ rời bỏ.
  • Kết quả trên tập Test: Accuracy đạt 0.7796 (77.96%), Recall đạt 0.5893, True Negative Rate đạt 0.8480.
• Thực nghiệm Mô hình Cox PH:
  • Đường cong sống sót Kaplan-Meier toàn bộ khách hàng chỉ ra rằng trong 12–24 tháng đầu, tỷ lệ duy trì khách hàng đạt 80–90%, nhưng giảm dần đều xuống còn khoảng 60% ở mốc 70 tháng.
  • Mô hình Cox ước lượng trên 5.634 quan sát với 1.482 biến cố rời bỏ (Log-likelihood ratio test = 4.765,237 trên 22 bậc tự do). Các biến có ý nghĩa thống kê cao ($p < 0.05$) gồm PaperlessBilling, InternetService (Fiber optic), Contract (One year, Two year), PaymentMethod và TotalCharges.
  • Hệ số tác động: Biến Partner_Yes có $\text{coef} = -0.216$, $\exp(\text{coef}) = 0.806$, cho thấy khi khách hàng có bạn đời, tỷ lệ nguy cơ rời bỏ giảm $19.4%$ ($1 - 0.806$), tương ứng tỷ lệ duy trì gắn bó tăng $24.1%$. Hợp đồng 1 năm và 2 năm có hệ số âm rất lớn ($\text{coef} = -1.966$ và $-3.276$), chứng minh tác dụng kìm hãm nguy cơ rời bỏ dịch vụ.
  • Tác giả ứng dụng hàm sống sót có điều kiện $P(T > t \mid T > s) = \frac{S(t)}{S(s)}$ để dự báo xác suất tồn tại cho từng khách hàng cụ thể (ví dụ khách hàng số 12 đã dùng 58 tháng), đồng thời ước lượng thời gian trung bình còn lại tại mốc xác suất sống sót $50%$ để tính toán giá trị doanh thu còn lại ($\text{Remaining Value} = \text{MonthlyCharges} \times (\text{Tenure}{50%} - \text{Tenure}{\text{hiện tại}})$).

Kết quả và đóng góp

Kết quả chính từ thực nghiệm dữ liệu

Phương pháp / Mô hình	Chỉ số / Tham số quan trọng	Kết quả định lượng trích xuất từ văn bản
Hồi quy Logistic (Tập Train)	Accuracy / Precision / Recall	Accuracy = 79.67%, Precision = 65.50%, Recall = 52.37%, TNR = 90.23%
Hồi quy Logistic (Tập Test)	Accuracy / Recall / Cutoff	Accuracy = 77.96%, Recall = 58.93%, Ngưỡng tối ưu Cutoff = 0.42
Phân tích sống sót Kaplan-Meier	Tỷ lệ duy trì theo thời gian	12–24 tháng: giữ chân 80–90%; 70 tháng: giảm còn 60%
Mô hình Cox PH	Quy mô mẫu / Số biến cố rời bỏ	$n = 5634$, số sự kiện $= 1482$, Log-likelihood test = 4765.237
Mô hình Cox PH	Hệ số và Tỷ lệ rủi ro (HR)	Partner_Yes: $\exp(\text{coef}) = 0.806$ (nguy cơ giảm 19.4%); Hợp đồng 1-2 năm giảm mạnh rủi ro (coef từ -1.966 đến -3.276)

Giải pháp và kiến nghị của tác giả

• Chính sách hợp đồng và gói cước: Khuyến khích khách hàng chuyển đổi từ hợp đồng hàng tháng sang hợp đồng kỳ hạn dài (1 năm, 2 năm) bằng các ưu đãi giảm giá hoặc tích điểm thành viên, do nhóm hợp đồng dài hạn có tỷ lệ rời bỏ thấp nhất.
• Nâng cao dịch vụ giá trị gia tăng: Tăng cường tư vấn và tích hợp các gói an toàn như bảo mật trực tuyến (OnlineSecurity), sao lưu dữ liệu (OnlineBackup), bảo vệ thiết bị (DeviceProtection) và hỗ trợ kỹ thuật (TechSupport), vì dữ liệu chứng minh nhóm không có các dịch vụ này có tỷ lệ churn cao vượt bậc.
• Can thiệp theo vòng đời khách hàng: Đặc biệt tập trung vào nhóm khách hàng trong năm đầu tiên (dưới 12 tháng) và nhóm khách hàng tiệm cận mốc 70 tháng (khoảng 6 năm – khi tỷ lệ sống sót có điều kiện giảm xuống dưới 50%) để có các chương trình chăm sóc khách hàng thân thiết phù hợp.
• Điều chỉnh phương thức thanh toán: Rà soát lại trải nghiệm dịch vụ của khách hàng sử dụng mạng cáp quang (Fiber optic) và hình thức thanh toán séc điện tử (Electronic check), tìm nguyên nhân gây bất tiện nhằm cải thiện độ hài lòng.

Đóng góp của đề tài

• Kết hợp song song hai cách tiếp cận: vừa phân loại chính xác khả năng rời bỏ tại một thời điểm (Logistic Regression), vừa dự báo được dòng thời gian gắn bó và thời điểm xảy ra biến cố trong tương lai (Cox PH).
• Đưa ra công thức ước tính giá trị doanh thu còn lại (Remaining Value) của khách hàng dựa trên xác suất sống sót có điều kiện kết hợp với cước phí hàng tháng, giúp doanh nghiệp lượng hóa giá trị thiệt hại tài chính nếu khách hàng rời bỏ.

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế: Nghiên cứu mới thực hiện thử nghiệm trên hai thuật toán cơ bản là Logistic Regression và Cox Proportional Hazards; phạm vi dữ liệu dừng lại ở bộ dữ liệu thứ cấp mô phỏng một công ty viễn thông tại California trong Quý 3/2019 mà chưa so sánh đối chiếu trên nhiều nguồn dữ liệu viễn thông thực tế khác hoặc các ngành nghề khác.
• Hướng nghiên cứu tiếp: Tác giả đề xuất mở rộng thử nghiệm, so sánh hiệu năng dự báo với các thuật toán học máy phức tạp hơn và các mô hình học sâu (Deep Learning); đồng thời áp dụng quy trình xử lý dữ liệu này trên các bộ dữ liệu từ các doanh nghiệp và lĩnh vực kinh doanh khác để kiểm chứng tính tổng quát của mô hình.

Giá trị tham khảo

• Đối tượng sử dụng: Khóa luận là tài liệu tham khảo phù hợp cho sinh viên, học viên chuyên ngành Toán Kinh tế, Phân tích dữ liệu kinh doanh, Hệ thống thông tin quản lý và Thống kê ứng dụng đang nghiên cứu đề tài dự báo hành vi khách hàng viễn thông hoặc tài chính.
• Nội dung giá trị: Phần đáng tham khảo nhất là quy trình tiền xử lý dữ liệu mất cân bằng (xác định ngưỡng Cutoff qua ROC và Precision-Recall), cùng việc thiết lập bài toán phân tích sống sót ứng dụng mô hình Cox để tính toán giá trị khách hàng còn lại (Customer Remaining Lifetime Value).

Câu hỏi thường gặp

1. Tại sao đề tài sử dụng song song mô hình Hồi quy Logistic và mô hình Cox PH thay vì chỉ dùng một mô hình phân loại?

Mô hình Hồi quy Logistic chỉ dự báo được biến cố nhị phân tại một thời điểm (khách hàng có rời bỏ hay không với xác suất $p$), nhưng không trả lời được câu hỏi khi nào khách hàng sẽ rời đi. Mô hình Cox PH bổ sung chiều thời gian (Tenure), cho phép ước lượng hàm sống sót có điều kiện $S(t \mid X)$ và dự đoán thời điểm khách hàng có khả năng rời bỏ trong tương lai.

2. Dữ liệu thực nghiệm có bao nhiêu biến quan sát và cách tác giả xử lý các dữ liệu khuyết thiếu như thế nào?

Bộ dữ liệu gồm 7.043 dòng và 21 cột. Tác giả đã loại bỏ biến định danh customerID, phát hiện 11 giá trị khuyết thiếu tại biến TotalCharges, chuyển đổi kiểu dữ liệu của biến này từ dạng object sang float, đồng thời mã hóa các biến định tính thành biến giả (Dummy variables) và chuẩn hóa thang đo các biến định lượng.

3. Ngưỡng phân loại (Cutoff) tối ưu của mô hình Hồi quy Logistic trong bài được xác định là bao nhiêu và đạt độ chính xác thế nào trên tập Test?

Ngưỡng Cutoff tối ưu được xác định tại mức $0.42$ (dựa trên giao điểm giữa đường cong Precision và Recall). Khi áp dụng trên tập kiểm thử (Test dataset gồm 20% dữ liệu), mô hình đạt độ chính xác tổng thể (Accuracy) là $77.96%$, độ nhạy (Recall) là $58.93%$ và tỷ lệ phân loại đúng nhóm không rời bỏ (True Negative Rate) là $84.80%$.

4. Những yếu tố dịch vụ nào có ảnh hưởng lớn nhất làm giảm nguy cơ rời bỏ mạng của khách hàng?

Theo kết quả từ mô hình Cox PH và thống kê khám phá, các yếu tố kìm hãm mạnh nhất nguy cơ rời bỏ là: ký hợp đồng dài hạn (1 năm hoặc 2 năm, hệ số $\beta$ lần lượt là $-1.966$ và $-3.276$), khách hàng có bạn đời ($\exp(\text{coef}) = 0.806$, giảm $19.4%$ nguy cơ), và việc đăng ký sử dụng các dịch vụ giá trị gia tăng như bảo mật trực tuyến, sao lưu trực tuyến, bảo vệ thiết bị và hỗ trợ kỹ thuật.

Kết luận

Khóa luận của tác giả Phạm Phương Linh đã ứng dụng thành công kỹ thuật phân loại bằng Hồi quy Logistic và phân tích sống sót bằng Mô hình rủi ro tỷ lệ Cox trên tập dữ liệu khách hàng viễn thông gồm 7.043 quan sát. Nghiên cứu chỉ ra vai trò then chốt của thời hạn hợp đồng, dịch vụ giá trị gia tăng và phương thức thanh toán đối với hành vi duy trì dịch vụ của khách hàng. Kết quả thực nghiệm cung cấp cơ sở định lượng để các nhà quản trị viễn thông thiết kế chính sách giữ chân khách hàng mục tiêu, ước lượng giá trị doanh thu còn lại và tối ưu hóa chi phí vận hành doanh nghiệp.

Trích đoạn nội dung tài liệu

CHƯƠNG I: CƠ SỞ LÝ THUYÊTT.- 2 2 25 E+£E££E££E£E££EE£EE+Exerxerxered 3 1.1 Tổng quan về Học Máy.1 Định nghĩa và PNan ÏOQÌ.2 Bài toán tONG qHÁI.-e-csescc<ce<cecseesEseEsetestsEtstsetsetsstsrsesesrssrsrssse 4 1.3 Mô hình HỒi quy LogiSfÏ€.2 Vấn đề rời bỏ của khách hàng .1 Một số khái niệm CO DEN esessrecssscrecssecressnecrsssnscssssnsssssensessssnsessseneesses 11 1.2 Uu điểm của việc tinh toán tỉ lệ rời bỏ của khách hàng.3 Tính toán tỉ lệ rời bỏ bằng cách phân tích dữ liệu khách hàng.13 CHƯƠNG II: TRUC QUAN HOA VÀ KHAI PHA DU LIỆU.1 Tổng quan về bộ dữ liệu.--- 2 2 2 SE £E££Et2E2EE2EEerxrrxrrkree 18 2.1 Mô tả bộ dit liỆu .------ees©ee©ces+esetseEeeetseEteetsertesreertssrssersee 18 2.2 Tương quan giữa các ĐÏỄH.2 Khám phá dữ liệu. 2-2 2© £+SE+EEE£EECEEEEEEEEEEEEEEEEErkerrkrrkrrrkee 21 2.1 Dữ liệu về thông tin cá nhân của khách hàng .2 Các thông tin liên quan đến hồ sơ đăng kí dịch vụ của khách hàng ——-.,ôÔỎ 23 CHƯƠNG III: VẬN DỤNG XỬ LY DU LIEU BANG CÁC THUẬT TOAN 30 3.1 Chuẩn bị dit liệu.2 Xây dựng và đánh giá mô hình.1 Mô hình Hồi quy L.2 Mô hình COX.-- se s°sess+seevseSseEvseEseEtetssttsetssersssssersee 36 3.40 TÀI LIEU THAM KHẢO.- 56 t+StSE‡EEEEEEE+EEEEEEEEEEEEEEEEEEESEerkrrerkererkrre 42 MỞ DAU 1. Lý do chọn đề tài Lĩnh vực viễn thông đã trở thành một trong những ngành công nghiệp chính ở không chỉ các nước phát triển nói chung và cả ở Việt Nam nói riêng. Doanh nghiệp viễn thông là những doanh nghiệp cung cấp phương tiện truyền dẫn thông tin liên lạc qua một khoảng cách dia lý (điện tử viễn thông, điện thoại, internet, 4G, vệ tinh,.

Vai trò của ngành đóng góp rất lớn trong cuộc sông xã hội hiện đại, tạo điều kiện cung cấp mọi thông tin cơ bản cần thiết cho sản xuất và thúc đây các hoạt động sản xuất kinh doanh. Bên cạnh làn sóng cách mạng công nghiệp 4.0 đang diễn ra mạnh mẽ, thời gian sắp tới sẽ chứng kiến những bước tiến vượt bậc của những doanh nghiệp trong ngành viễn thông tại Việt Nam khi tận dụng cơ hội từ xu thế chuyền đôi số đang lan rộng khắp toàn cau. Tiến bộ kỹ thuật và số lượng nhà cung cấp ngày càng tăng đã lam tăng mức độ cạnh tranh cho các doanh nghiệp. Các công ty viễn thông đang nỗ lực để tồn tại trong thị trường cạnh tranh này tùy thuộc vào nhiều chiến lược.

Ba chiến lược chính được đề xuất dé tạo thêm doanh thu là: (1) thu hút khách hàng mới, (2) bán thêm cho khách hàng hiện tại và (3) tăng thời gian giữ chân khách hàng. Tuy nhiên, khi so sánh các chiến lược này có tính đến giá trị lợi tức đầu tư (Rol) của từng chiến lược đã chỉ ra rằng chiến lược thứ ba là chiến lược có lợi nhất, chứng tỏ rằng chi phí giữ chân một khách hàng hiện tại thấp hơn nhiều so với việc thu hút thêm một khách hàng mới, bên cạnh đó chiến lược này cũng được coi là đễ dàng hơn rất nhiều so với chiến lược bán thêm các sản phẩm cho khách hàng hiện tại. Dé có thé áp dung được chiến lược thứ ba, các công ty phải ưu tiên giảm khả năng rời bỏ khách hàng, hay nói cách khác là giảm “sự đi chuyên của khách hàng từ nhà cung cấp này sang nhà cung cấp khác”. Cùng với sự phát triển của khoa học đữ liệu, các mô hình dự báo dựa trên phương pháp định lượng đang dan trở thành những công cụ tối ưu thay thé cho con người trong việc đánh giá không chỉ với từng khách hàng mà là trên một tập khách hàng rất lớn.

Các mô hình học máy là một trong các công cụ ấy và đang dan trở thành xu hướng trọng tâm, nồi bật, đã và đang được nghiên cứu, ứng dụng rộng rãi trong ngành tài chính nói chung và lĩnh vực công nghệ tài chính nói riêng, tạo ra những bứt phá mạnh mẽ về tính hiệu quả, kịp thời, chính xác trong công tác giám sát, dự báo. Sức mạnh của một mô hình có tác động rất lớn đến kết quả hoạt động kinh doanh của một doanh nghiệp. Một mô hình có mức độ chuẩn xác cao giúp các tổ chức dự đoán được hành vi rời bỏ của khách hàng, từ đó đề ra những chiến lược phù hợp đề giữ chân khách hàng, đưa ra các chính sách sản phẩm tốt hơn qua thời gian và cải thiện chất lượng dịch vụ, từ đó tối thiểu hóa chỉ phí và tối đa hóa doanh thu. Mục tiêu nghiên cứu e Xác định các yếu tố quyết định tỷ lệ rời bỏ của khách hàng.

e Đánh giá, phân tích ảnh hưởng của các yếu tô đến tỷ lệ rời bỏ của khách hàng. e Du đoán khoảng thời gian rời bỏ của khách hàng. Đối tượng và phương pháp nghiên cứu e_ Các yếu tô có ảnh hưởng đến quyết định rời bỏ dịch vụ của khách hang e_ Mô hình học máy xếp hang (Classification): Logistics Regression và mô hình phân tích sống sót Cox Proportional-Hazards 4. Pham vi nghiên cứu „ Chuyên dé trình bày hai mô hình Logistic và mô hình Cox theo quan điêm của phương pháp học máy.

Từ đó áp dụng xử lý dữ liệu trạng thái khách hàng rời bỏ dịch vụ viễn thông dé thử nghiệm chương trình xử ly dit liệu theo phương pháp học máy. CHUONG I: CƠ SỞ LÝ THUYET 1.1 Tông quan về Học Máy 1.1 Định nghĩa và phân loạt Theo IBM Cloud Education (2020), Học máy hay Machine Learning (ML) là một nhánh của Trí tuệ nhân tạo (AT) và khoa học máy tính, tập trung vào việc sử dụng dữ liệu và thuật toán dé bắt chước cách con người học, dan dan cải thiện độ chính xác của nó. Học máy là một thành phần quan trọng của lĩnh vực khoa học đữ liệu đang phát triển. Thông qua việc sử dụng các phương pháp thống kê, các thuật toán được đảo tạo để đưa ra các phân loại hoặc dự đoán và khám phá những thông tin chỉ tiết chính (key insights) trong các dự án khai thác dit liệu.

Các quyết định được đưa ra là kết quả của những thông tin này này tác động mạnh mẽ đến các chỉ số tăng trưởng chính trong các ứng dụng và doanh nghiệp. Machine learning bao gồm Học có giám sát (Supervised Learning) và Học không giám sát (Unsupervised Learning). Supervised Learning được định nghĩa bằng cách sử dụng các tập dit liệu được gắn nhãn dé huấn luyện các thuật toán phân loại dit liệu hoặc dự đoán kết quả một cách chính xác. Supervised Learning được phân loại thành Regression (Bài toán hồi quy) và Classification (Bài toán phân loại).

Một số phương pháp được sử dụng trong Supervised machine learning bao gồm: logistic regression, neural networks, linear regression, naive bayes, random forest, và support vector machine (SVM). Unsupervised machine learning là phương pháp sử dụng các thuật toán may hoc dé phan tích va phan cụm các tập dữ liệu không được gắn nhãn. Không cần sự can thiệp của con người, các thuật toán này có thể phát hiện ra các mau hoặc nhóm dữ liệu an. Khả năng phát hiện ra những điểm tương đồng và khác biệt trong thông tin của phương pháp này khiến nó trở nên lý tưởng cho việc phân tích dữ liệu khám phá, chiến lược bán chéo (cross-sell), phân khúc khách hàng cũng như nhận dạng hình ảnh và mẫu.

Unsupervised machine learning cũng được sử dụng dé giảm số lượng các tính năng trong một mô hình thông qua quá trình giảm kích thước. Phân tích thành phần chính (PCA) và phân tích giá trị đơn lẻ (SVD) là hai cách tiếp cận phổ biến cho việc này. Unsupervised Learning Algorithm cũng được chia thành 2 nhóm là: e Clustering: hướng dén viéc phân nhóm, phân đoạn dữ liệu từ tap dữ liệu ban đầu. Vi dụ ta có một tập | triệu Gen, cần phải tìm ra cách tự động phân nhóm cho những gen này dựa trên đặc điểm về vòng đời, vị trí, vài trò,.

« Non-clustering: tìm các structure ân trong dữ liệu. Các thuật toán khác được sử dụng trong học tập không giám sát bao gồm: k- means clustering, neural networks, và probabilistic clustering methods.2 Bài toán tong quat Nguyên tac chung cơ sở cho mọi thuật toán hoc máy đó là với biên đâu vào x ta cần dự đoán biến đầu ra y thông qua hàm mục tiêu F sao cho y = F(x). Tuy nhiên trong thực tế, biến đầu vào x thường là dữ liệu nhiều chiều và khó kiểm soát nên rất phức tạp dé có thé nhìn ra mối quan hệ giữa x và y, chính vì vậy ta thường không thé đưa ra một công thức phân tích cụ thé dé biểu diễn x và y, hay chính là dang hàm F. Chính vì vậy, ta chỉ có thé thu thập tập dữ diệu D là tập hợp các cặp quan sát (x!,y') sao choy = F(x)),.

Tuy nhiên do không biết mối quan hệ giữa x! và yÍ nên ta cần mô phỏng hàm ƒ„ sao cho 9 = ƒ„(x,w*) là hàm ước lượng tốt nhất của hàm F và điều chỉnh tham số w* sao cho hàm mat mát £(w) đạt giá trị nhỏ nhất. Hàm mat mát này sẽ khác nhau tùy thuộc vào mỗi mô hình hàm f,,.3 Mô hình Hải quy Logistic Hồi quy tuyến tính được sử dụng dé ước tính mối quan hệ tuyến tính giữa một biến phụ thuộc và một tập hợp các biến độc lập. Tuy nhiên, hồi quy tuyến tính không phù hợp khi biến mục tiêu là biến nhị phân. Đối với các biến phụ thuộc nhị phân, hồi quy Logistic (LR) là một mô hình phù hợp dé đánh giá hồi quy.

LR tương tự như hồi quy tuyến tính tuy nhiên hồi quy tuyến tính cung cấp một dau ra liên tục còn LR cho đầu ra nhị phân (0 hoặc 1).1 Bài toán tổng quát ; Ta có khái nệm Odds: thê hiện khả năng một su kiện có thé xảy ra băng cach lây xác suât biên cô xảy ra chia cho xác suât biên cô không xảy ra. Odds =—F— 1—p Nhu vay, Odds là biến liên tục, khi p=0. Odds(1) Odds ratio = 777500) Lay log của odds ta được Logit. logit(p) = log c—) p-1 Mặt khác, ta có biến Y là biến nhị phân chi nhận hai giá tri 0 hoặc 1.