Luận văn: Phân tích dữ liệu thuê bao di động dự báo rời mạng viễn thông

Luận văn thạc sĩ phân tích dữ liệu thuê bao di động, dự báo thuê bao rời mạng viễn thông 04. Nghiên cứu chuyên sâu về churn prediction.

• Tác giả: Nguyễn Thị Như Ngọc
• Người hướng dẫn: Ts. Phan Xuân Hiếu
• Trường học: Trường Đại Học Công Nghệ
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phân tích dữ liệu thuê bao di động hướng đến dự đoán thuê bao rời mạng viễn thông
• Loại tài liệu: Luận văn thạc sỹ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• MỤC LỤC
• DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG BIỂU
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ THUÊ BAO RỜI MẠNG
• 1.1. Thị trường thông tin di động Việt Nam
• 1.2. Khái niệm “churn”
• 1.3. Phân loại “churn”
• 1.4. Các nghiên cứu liên quan
• 1.5. Mục tiêu và phạm vi đề tài
• 2. KHAI PHÁ DỮ LIỆU THUÊ BAO DI ĐỘNG
• 2.1. Lý thuyết khai phá dữ liệu
• 2.2. Tại sao cần khai phá dữ liệu
• 2.3. Khái niệm khai phá dữ liệu
• 2.4. Các bài toán khai phá dữ liệu điển hình
• 2.5. Mô hình kho dữ liệu di động
• 2.6. Một số ứng dụng khai phá dữ liệu di động
• 2.6.1. Phân tích và dự đoán nhu cầu sử dụng các sản phẩm, dịch vụ
• 2.6.2. Nhận dạng và dự đoán các biểu hiện gian lận
• 2.6.3. Phân tích dự đoán thuê bao rời mạng
• 2.6.4. Dự đoán nhu cầu tăng dung lượng đường truyền
• 3. BÀI TOÁN PHÂN LỚP DỮ LIỆU THUÊ BAO RỜI MẠNG
• 3.1. Phát biểu bài toán
• 3.2. Phân lớp dữ liệu thuê bao rời mạng
• 3.3. Lựa chọn thuộc tính
• 3.4. Cây quyết định C4
• 3.5. Support Vector Machines
• 3.6. Mô hình đánh giá hiệu năng
• 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Dữ liệu thực nghiệm
• 4.2. Phân lớp dữ liệu sử dụng cây quyết định C4
• 4.3. Phân lớp sử dụng thuật toán Naïve Bayes
• 4.4. Phân lớp sử dụng thuật toán SVM
• 4.5. Phân lớp sử dụng thuật toán Neural Networks
• 4.6. Đánh giá hiệu năng
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Dự Đoán Thuê Bao Rời Mạng Tại Sao Quan Trọng

Thị trường viễn thông Việt Nam đang chứng kiến sự cạnh tranh khốc liệt giữa các nhà mạng. Việc thu hút khách hàng mới ngày càng khó khăn và tốn kém hơn nhiều so với việc giữ chân khách hàng hiện tại. Do đó, việc dự đoán churn prediction và triển khai các chiến lược giữ chân khách hàng hiệu quả trở thành yếu tố sống còn. Churn rate cao không chỉ ảnh hưởng trực tiếp đến doanh thu mà còn làm suy giảm uy tín và vị thế cạnh tranh của nhà mạng. Trong bối cảnh này, phân tích dữ liệu di động đóng vai trò then chốt, cung cấp những hiểu biết sâu sắc về hành vi và xu hướng của khách hàng, từ đó giúp nhà mạng chủ động ngăn chặn tình trạng rời mạng. Theo số liệu thống kê, chi phí để thu hút một khách hàng mới cao gấp 5-10 lần so với chi phí giữ chân một khách hàng hiện tại. Vì vậy, đầu tư vào các giải pháp dự đoán mobile churn prediction là một quyết định chiến lược mang lại lợi ích lâu dài. Phân tích dữ liệu di động không chỉ giúp xác định những khách hàng có nguy cơ rời mạng cao mà còn giúp nhà mạng hiểu rõ nguyên nhân dẫn đến tình trạng này. Từ đó, có thể triển khai các chương trình khuyến mãi, ưu đãi cá nhân hóa hoặc cải thiện chất lượng dịch vụ để đáp ứng tốt hơn nhu cầu của khách hàng và tăng cường customer retention. Các nhà mạng cần chủ động xây dựng hệ thống thu thập và phân tích dữ liệu một cách toàn diện, từ thông tin cá nhân, lịch sử sử dụng dịch vụ, đến các tương tác với bộ phận chăm sóc khách hàng. Việc tích hợp dữ liệu từ nhiều nguồn khác nhau sẽ tạo ra một bức tranh đầy đủ và chính xác hơn về hành vi của khách hàng, giúp nâng cao hiệu quả dự đoán và đưa ra các quyết định kinh doanh sáng suốt.

1.1. Khái niệm Churn và ảnh hưởng đến nhà mạng viễn thông

Thuật ngữ churn dùng để chỉ việc khách hàng chuyển sang sử dụng dịch vụ của nhà cung cấp khác. Tỷ lệ churn rate cao ảnh hưởng trực tiếp đến doanh thu và lợi nhuận của nhà mạng. Theo báo cáo của Bộ TT&TT năm 2012, tổng số thuê bao di động trên toàn quốc là 131.724, cho thấy thị trường đã bão hòa và cạnh tranh gay gắt. Việc mất khách hàng không chỉ đồng nghĩa với việc mất doanh thu trong tương lai mà còn phát sinh chi phí đầu tư để thu hút khách hàng mới.

1.2. Tầm quan trọng của dự đoán thuê bao rời mạng churn prediction

Dự đoán mobile churn prediction cho phép nhà mạng chủ động can thiệp và giữ chân khách hàng. Các chiến lược churn prevention có thể bao gồm các chương trình khuyến mãi, ưu đãi cá nhân hóa, hoặc cải thiện chất lượng dịch vụ. Dự đoán chính xác giúp nhà mạng tiết kiệm chi phí và tăng cường customer retention.

1.3. Phân loại các hình thức rời mạng và cách xử lý

Có nhiều hình thức rời mạng khác nhau, bao gồm rời mạng hoàn toàn, rời mạng ẩn, và rời mạng một phần. Mỗi hình thức đòi hỏi các chiến lược churn management khác nhau. Việc phân loại chính xác giúp nhà mạng triển khai các biện pháp can thiệp phù hợp. Theo nghiên cứu của Nguyễn Thị Như Ngọc, có 3 nhóm rời mạng chính: bị buộc rời mạng, chủ động rời mạng, và rời mạng bất ngờ.

II. Khai Phá Dữ Liệu Di Động Công Cụ Dự Báo Rời Mạng Hiệu Quả Nhất

Khai phá dữ liệu di động là quá trình phân tích dữ liệu lớn từ các nguồn khác nhau để khám phá ra các mẫu và xu hướng có giá trị. Trong bối cảnh dự đoán telecom churn, khai phá dữ liệu giúp xác định các yếu tố ảnh hưởng đến quyết định rời mạng của khách hàng. Các kỹ thuật data mining và machine learning được sử dụng để xây dựng các mô hình dự đoán chính xác. Việc khai thác dữ liệu đòi hỏi sự kết hợp của nhiều lĩnh vực khác nhau, bao gồm hệ thống cơ sở dữ liệu, kho dữ liệu, học máy và thống kê. Quá trình này bao gồm các bước: làm sạch dữ liệu, tích hợp dữ liệu, trích chọn dữ liệu, chuyển đổi dữ liệu, khai phá dữ liệu, ước lượng mẫu và biểu diễn tri thức. Các ứng dụng của khai phá dữ liệu di động rất đa dạng, từ dự đoán nhu cầu sử dụng dịch vụ, nhận dạng gian lận, đến dự đoán nhu cầu tăng dung lượng đường truyền. Tuy nhiên, dự đoán customer churn analysis là một trong những ứng dụng quan trọng nhất, giúp nhà mạng chủ động ngăn chặn tình trạng mất khách hàng và duy trì lợi thế cạnh tranh. Theo Fayyad và cộng sự, việc nghiên cứu, phát triển lĩnh vực khai phá dữ liệu và phát hiện tri thức trong cơ sở dữ liệu (KDD) nhằm giải quyết tình trạng “ngập tràn thông tin mà thiếu thốn tri thức”.

2.1. Các giai đoạn trong quy trình khai phá dữ liệu data mining

Quy trình data mining bao gồm làm sạch dữ liệu, tích hợp dữ liệu, trích chọn dữ liệu, chuyển đổi dữ liệu, khai phá dữ liệu, ước lượng mẫu, và biểu diễn tri thức. Mỗi giai đoạn đóng vai trò quan trọng trong việc đảm bảo chất lượng và độ tin cậy của kết quả phân tích. Việc làm sạch dữ liệu giúp loại bỏ các thông tin nhiễu và không chính xác, trong khi tích hợp dữ liệu giúp hợp nhất thông tin từ nhiều nguồn khác nhau.

2.2. Ứng dụng khai phá dữ liệu trong ngành viễn thông telecom

Khai phá dữ liệu được ứng dụng rộng rãi trong ngành viễn thông, bao gồm dự đoán nhu cầu sử dụng dịch vụ, nhận dạng gian lận, và dự đoán nhu cầu tăng dung lượng đường truyền. Predictive analytics giúp nhà mạng đưa ra các quyết định kinh doanh sáng suốt và tối ưu hóa hoạt động.

2.3. Xây dựng kho dữ liệu di động cho phân tích dự báo Big Data

Kho dữ liệu di động tập hợp thông tin từ nhiều nguồn khác nhau, bao gồm hệ thống HLR, hệ thống Billing, và hệ thống CRM. Dữ liệu được làm sạch, chuẩn hóa, và tích hợp để phục vụ cho mục đích phân tích. Kiến trúc Relational OLAP sever được sử dụng để lưu trữ dữ liệu dưới dạng cơ sở dữ liệu quan hệ.

III. Phương Pháp Machine Learning Dự Đoán Churn Nào Chính Xác Nhất

Các thuật toán machine learning đóng vai trò trung tâm trong việc xây dựng các mô hình dự đoán mobile churn prediction. Các thuật toán phổ biến bao gồm cây quyết định, Naïve Bayes, Support Vector Machines (SVM), và Neural Networks. Mỗi thuật toán có ưu điểm và nhược điểm riêng, và hiệu quả của chúng phụ thuộc vào đặc điểm của dữ liệu. Việc lựa chọn thuật toán phù hợp là yếu tố then chốt để đạt được độ chính xác cao. Theo nghiên cứu của Nguyễn Thị Như Ngọc, các thuật toán cây quyết định C4.5, Naïve Bayes, SVM và Neural Networks có thể được sử dụng để phân lớp dự đoán thuê bao rời mạng viễn thông. Việc đánh giá hiệu năng của các mô hình là rất quan trọng, giúp xác định thuật toán nào phù hợp nhất với dữ liệu và mục tiêu của nhà mạng. Các chỉ số đánh giá bao gồm độ chính xác, độ tin cậy, và khả năng tổng quát hóa. Ngoài ra, feature engineering cũng đóng vai trò quan trọng trong việc cải thiện hiệu quả dự đoán. Bằng cách lựa chọn và biến đổi các thuộc tính phù hợp, có thể tăng cường khả năng phân biệt giữa khách hàng có nguy cơ rời mạng và khách hàng trung thành.

3.1. Ứng dụng các thuật toán phân lớp C4.5 Naïve Bayes SVM Neural Networks

Cây quyết định C4.5, Naïve Bayes, SVM, và Neural Networks là các thuật toán phân lớp phổ biến trong dự đoán telecom churn. Mỗi thuật toán có cách tiếp cận khác nhau và phù hợp với các loại dữ liệu khác nhau. Theo tài liệu gốc, các thuật toán này được sử dụng để phân lớp dự đoán thuê bao rời mạng viễn thông.

3.2. Đánh giá hiệu năng mô hình Precision Recall F1 score

Các chỉ số Precision, Recall, và F1-score được sử dụng để đánh giá hiệu năng của các mô hình dự đoán. Precision đo lường độ chính xác của các dự đoán dương tính, Recall đo lường khả năng phát hiện tất cả các trường hợp dương tính, và F1-score là trung bình điều hòa của Precision và Recall. Bảng ma trận nhầm lẫn đưa ra bốn kết quả khi một lớp được áp dụng trên một tập các trường hợp.

3.3. Tối ưu hóa mô hình bằng feature engineering và lựa chọn thuộc tính

Feature engineering và lựa chọn thuộc tính đóng vai trò quan trọng trong việc cải thiện hiệu quả dự đoán. Bằng cách lựa chọn và biến đổi các thuộc tính phù hợp, có thể tăng cường khả năng phân biệt giữa khách hàng có nguy cơ rời mạng và khách hàng trung thành. Lựa chọn thuộc tính làm giảm số lượng các thuộc tính cho đầu vào các mô hình nhằm làm giảm chi phí thu thập dữ liệu và chi phí tính toán.

IV. Ứng Dụng Thực Tiễn Case Study Phân Tích Dữ Liệu Thuê Bao Rời Mạng

Để minh họa cho các phương pháp dự đoán mobile churn prediction, một case study phân tích dữ liệu thuê bao rời mạng có thể được thực hiện. Dữ liệu được thu thập từ các nhà mạng viễn thông, bao gồm thông tin cá nhân, lịch sử sử dụng dịch vụ, và các tương tác với bộ phận chăm sóc khách hàng. Các thuật toán machine learning được áp dụng để xây dựng các mô hình dự đoán, và hiệu quả của chúng được đánh giá bằng các chỉ số Precision, Recall, và F1-score. Case study này giúp nhà mạng hiểu rõ hơn về các yếu tố ảnh hưởng đến quyết định rời mạng của khách hàng và triển khai các chiến lược giữ chân khách hàng hiệu quả hơn. Việc so sánh hiệu quả của các thuật toán khác nhau trong case study cũng giúp nhà mạng lựa chọn thuật toán phù hợp nhất với dữ liệu và mục tiêu của họ. Theo kinh nghiệm thực tế, các yếu tố như chất lượng dịch vụ, giá cước, và các chương trình khuyến mãi có ảnh hưởng lớn đến quyết định rời mạng của khách hàng. Bằng cách phân tích dữ liệu một cách kỹ lưỡng, nhà mạng có thể xác định các điểm yếu và cải thiện để tăng cường customer retention.

4.1. Thu thập và tiền xử lý dữ liệu thực tế từ nhà mạng MNO

Dữ liệu được thu thập từ các nhà mạng viễn thông, bao gồm thông tin cá nhân, lịch sử sử dụng dịch vụ, và các tương tác với bộ phận chăm sóc khách hàng. Dữ liệu cần được làm sạch và tiền xử lý trước khi đưa vào các thuật toán machine learning. Tiến trình ETL (Extraction, Transformation, and Loading) thực hiện trích xuất, làm sạch, chuẩn hóa theo thiết kế của mô hình kho dữ liệu và tập trung thành một nguồn dữ liệu thống nhất đẩy vào DWH.

4.2. Phân tích các yếu tố ảnh hưởng đến quyết định rời mạng customer churn

Các yếu tố ảnh hưởng đến quyết định rời mạng có thể bao gồm chất lượng dịch vụ, giá cước, các chương trình khuyến mãi, và các tương tác với bộ phận chăm sóc khách hàng. Phân tích dữ liệu giúp xác định các yếu tố quan trọng nhất và tác động của chúng đến churn rate.

4.3. Triển khai các chiến lược giữ chân khách hàng dựa trên kết quả phân tích

Dựa trên kết quả phân tích, nhà mạng có thể triển khai các chiến lược giữ chân khách hàng hiệu quả, bao gồm các chương trình khuyến mãi, ưu đãi cá nhân hóa, cải thiện chất lượng dịch vụ, và tăng cường tương tác với khách hàng. Các yếu tố quan trọng để giữ chân khách hàng là dự đoán khách hàng rời mạng và chiến lược phòng chống khách hàng rời mạng hiệu quả.

V. Kết Luận và Tương Lai Hướng Phát Triển Của Dự Đoán Rời Mạng

Dự đoán mobile churn prediction là một lĩnh vực quan trọng trong ngành viễn thông, giúp nhà mạng chủ động ngăn chặn tình trạng mất khách hàng và duy trì lợi thế cạnh tranh. Các phương pháp data mining và machine learning đóng vai trò trung tâm trong việc xây dựng các mô hình dự đoán chính xác. Trong tương lai, lĩnh vực này sẽ tiếp tục phát triển với sự ra đời của các thuật toán mới và sự gia tăng của lượng dữ liệu sẵn có. Các hướng nghiên cứu tiềm năng bao gồm việc tích hợp dữ liệu từ các nguồn mới, sử dụng các thuật toán machine learning phức tạp hơn, và phát triển các chiến lược giữ chân khách hàng cá nhân hóa hơn. Ngoài ra, việc ứng dụng các kỹ thuật Big Data và điện toán đám mây sẽ giúp nhà mạng xử lý lượng dữ liệu lớn một cách hiệu quả và nhanh chóng. Theo xu hướng hiện nay, các nhà mạng cần tập trung vào việc xây dựng các hệ thống phân tích dữ liệu thời gian thực để có thể phản ứng nhanh chóng với các thay đổi trong hành vi của khách hàng. Việc dự đoán thuê bao rời mạng không chỉ giúp nhà mạng tăng doanh thu và lợi nhuận mà còn giúp cải thiện chất lượng dịch vụ và tăng cường customer retention.

5.1. Tóm tắt các phương pháp và kết quả đạt được

Các phương pháp data mining và machine learning được sử dụng để xây dựng các mô hình dự đoán mobile churn prediction. Các thuật toán phổ biến bao gồm cây quyết định, Naïve Bayes, SVM, và Neural Networks. Hiệu quả của các mô hình được đánh giá bằng các chỉ số Precision, Recall, và F1-score.

5.2. Thách thức và cơ hội trong lĩnh vực dự đoán churn churn prediction

Thách thức trong lĩnh vực dự đoán churn prediction bao gồm việc xử lý lượng dữ liệu lớn, lựa chọn thuật toán phù hợp, và đảm bảo tính chính xác của các dự đoán. Cơ hội bao gồm việc tích hợp dữ liệu từ các nguồn mới, sử dụng các thuật toán machine learning phức tạp hơn, và phát triển các chiến lược giữ chân khách hàng cá nhân hóa hơn.

5.3. Hướng nghiên cứu và phát triển trong tương lai

Hướng nghiên cứu và phát triển trong tương lai bao gồm việc tích hợp dữ liệu từ các nguồn mới, sử dụng các thuật toán machine learning phức tạp hơn, và phát triển các chiến lược giữ chân khách hàng cá nhân hóa hơn. Ngoài ra, việc ứng dụng các kỹ thuật Big Data và điện toán đám mây sẽ giúp nhà mạng xử lý lượng dữ liệu lớn một cách hiệu quả và nhanh chóng.

Nội dung chính

Tổng quan nghiên cứu

Thị trường viễn thông di động Việt Nam đã chứng kiến sự tăng trưởng vượt bậc với hơn 131,72 triệu thuê bao và mật độ đạt 148,33 thuê bao trên 100 dân, đưa Việt Nam vào vị trí thứ 8 trên thế giới theo xếp hạng của Liên minh Viễn thông Quốc tế (ITU). Tuy nhiên, khi thị trường bước vào giai đoạn bão hòa, các doanh nghiệp phải đối mặt với áp lực cạnh tranh gay gắt và hiện tượng khách hàng rời mạng ngày càng gia tăng. Theo các báo cáo quốc tế, tỷ lệ rời mạng hàng năm tại khu vực châu Á lên tới 48%, trong khi mức trung bình của ngành dao động từ 30% đến 50% mỗi năm. Thực tế kinh doanh chứng minh rằng chi phí để phát triển một thuê bao mới cao gấp 5 đến 10 lần so với chi phí giữ chân một khách hàng hiện hữu.

Vấn đề cốt lõi của đề tài là giải quyết bài toán sụt giảm doanh thu do khách hàng chuyển đổi nhà mạng sau các đợt khuyến mại ngắn hạn. Mục tiêu nghiên cứu tập trung vào việc khai thác kho dữ liệu viễn thông, phân tích hành vi tiêu dùng và xây dựng mô hình học máy phân lớp nhằm dự đoán chính xác những thuê bao có nguy cơ rời mạng.

Phạm vi nghiên cứu được xác định cụ thể trên tập dữ liệu thuê bao di động trả sau, sử dụng khung thời gian phân tích lịch sử 3 tháng liên tiếp và khung thời gian quan sát 1 tháng để xác định nhãn rời mạng. Ý nghĩa thực tiễn của nghiên cứu là cung cấp công cụ dự báo định lượng với tỷ lệ phân lớp chính xác trên 60%, hỗ trợ các nhà mạng chuyển dịch từ chiến lược cạnh tranh giá cước thụ động sang chiến lược chăm sóc khách hàng chủ động, bảo vệ thị phần và tối ưu hóa chi phí vận hành.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng quy trình Phát hiện tri thức trong cơ sở dữ liệu (KDD) gồm 7 giai đoạn chuẩn mực: làm sạch dữ liệu, tích hợp dữ liệu, trích chọn, chuyển đổi, khai phá dữ liệu, đánh giá mẫu và biểu diễn tri thức. Hệ thống lưu trữ được thiết kế theo mô hình kho dữ liệu di động 3 tầng: tầng dưới tiếp nhận dữ liệu nguồn từ hệ thống HLR, tổng đài Billing và CRM; tầng giữa sử dụng kiến trúc Relational OLAP lưu trữ đa chiều theo lược đồ hình sao; tầng trên cùng là các ứng dụng khai phá và phân tích dự báo.

Bốn lý thuyết học máy phân lớp chủ đạo được triển khai đối sánh gồm:

• Thuật toán cây quyết định C4.5: Phát triển từ ID3, sử dụng tỷ số độ lợi thông tin (Gain Ratio) dựa trên độ đo Entropy của Claude Shannon để tối ưu hóa việc phân tách nút và xử lý thuộc tính liên tục.
• Bộ phân lớp Naive Bayes: Mô hình xác suất có điều kiện dựa trên định lý Bayes với giả định các thuộc tính độc lập.
• Máy vector hỗ trợ (SVM): Phương pháp xác định siêu phẳng phân tách tối ưu biên (margin) giữa hai lớp nhằm cực tiểu hóa giới hạn lỗi.
• Mạng nơ-ron nhân tạo (Neural Networks): Kiến trúc mạng truyền thẳng nhiều lớp Multilayer Perceptron sử dụng giải thuật lan truyền ngược để tối ưu hóa hàm chi phí.

Nghiên cứu làm rõ ba khái niệm rời mạng: rời mạng hoàn toàn (hủy hợp đồng), rời mạng ẩn (ngừng phát sinh cước trong thời gian dài) và rời mạng một phần (cắt giảm phần lớn dịch vụ).

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được trích xuất từ kho dữ liệu viễn thông ẩn danh, bao gồm thông tin quản lý khách hàng, chi tiết cuộc gọi, lịch sử cước và dữ liệu khuyến mại. Do tỷ lệ thuê bao rời mạng tự nhiên trong tháng chỉ chiếm khoảng 1% (lớp thiểu số) so với 99% thuê bao duy trì hoạt động, hiện tượng mất cân bằng lớp nghiêm trọng đã xuất hiện.

Để khắc phục, nghiên cứu áp dụng kỹ thuật giảm lấy mẫu (undersampling) trên tập dữ liệu không rời mạng theo ba tỷ lệ mẫu: 1/10 (42.603 bản ghi), 1/2 (11.619 bản ghi) và 1/1 (7.746 bản ghi gồm 3.873 mẫu rời mạng và 3.873 mẫu không rời mạng). Tập kiểm thử độc lập được giữ nguyên phân phối thực tế với 138.327 bản ghi (1.226 mẫu rời mạng và 137.101 mẫu không rời mạng).

Phương pháp chọn mẫu kết hợp kỹ thuật lọc đặc trưng Wrapper Model trên công cụ Weka, sàng lọc từ 101 thuộc tính ban đầu xuống 17 thuộc tính tối ưu nhất. 14 thuộc tính dạng tỷ lệ liên tục được rời rạc hóa thành 5 khoảng giá trị (0-19%, 20-39%, 40-59%, 60-79%, 80-100%). Toàn bộ quá trình huấn luyện sử dụng phương pháp kiểm định chéo 10-fold cross-validation nhằm đảm bảo tính khách quan và loại bỏ hiện tượng quá khớp (overfitting).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh 4 thuật toán trên các tập dữ liệu đã chỉ ra những phát hiện định lượng quan trọng:

Thứ nhất, việc điều chỉnh tỷ lệ lấy mẫu có tác động quyết định đến khả năng nhận diện lớp thiểu số. Ở tỷ lệ mất cân bằng 1/10, độ nhạy (Recall) của lớp rời mạng chỉ đạt dưới 20% do thuật toán bị thiên vị về phía lớp đa số. Khi cân bằng tỷ lệ mẫu về mức 1/1, độ chính xác phân loại riêng cho nhóm khách hàng rời mạng tăng vọt và đạt giá trị tối ưu trên tất cả các mô hình.

Thứ hai, thuật toán cây quyết định C4.5 thể hiện sự vượt trội toàn diện về cả hiệu năng lẫn chi phí tính toán. C4.5 chỉ mất 0,19 giây để hoàn thành huấn luyện, nhanh hơn 148 lần so với SVM (28,24 giây) và nhanh hơn 5.000 lần so với Mạng nơ-ron nhân tạo (951,05 giây). Thuật toán Naive Bayes có thời gian xây dựng nhanh nhất (0,01 giây) nhưng độ chính xác phân lớp bị hạn chế do giả định độc lập thuộc tính không phản ánh đúng thực tế hành vi viễn thông.

Thứ ba, trên tập kiểm thử độc lập gồm 138.327 thuê bao thực tế, tất cả các mô hình được huấn luyện từ tỷ lệ 1/1 đều ghi nhận tỷ lệ phân lớp đúng nhóm thuê bao rời mạng đạt trên 60%.

Thứ tư, 17 thuộc tính hành vi được chọn lọc phản ánh rõ nét sự sụt giảm tương tác: tần suất cuộc gọi nội mạng giảm trên 40%, tỷ lệ cuộc gọi ngoại mạng tăng đột biến trong tháng thứ 3 và mức chi tiêu dịch vụ giá trị gia tăng suy giảm là các dấu hiệu sớm nhất báo hiệu nguy cơ rời mạng.

Thảo luận kết quả

Kết quả nghiên cứu khẳng định hành vi rời mạng viễn thông tuân theo quy luật quan hệ nhân quả. Khi khách hàng có ý định chuyển mạng, họ có xu hướng giảm dần các cuộc gọi nội mạng cho người thân, dịch chuyển liên lạc sang các hướng ngoại mạng và giảm tiêu dùng dữ liệu data trước thời điểm cắt hợp đồng từ 30 đến 60 ngày.

Dữ liệu thực nghiệm được biểu diễn trực quan qua ma trận nhầm lẫn (Confusion Matrix) nhằm bóc tách ranh giới giữa độ chính xác (Precision) và độ hồi tưởng (Recall). Biểu đồ so sánh thời gian thực thi cho thấy mạng nơ-ron nhân tạo tiêu tốn tài nguyên quá lớn (951,05 giây) nhưng không mang lại sự vượt trội về độ chính xác so với cây quyết định C4.5.

Mô hình C4.5 không chỉ tối ưu về mặt thuật toán mà còn sinh ra các cây quyết định dạng cây nhị phân trong suốt. Điều này cho phép trích xuất trực tiếp các tập luật nghiệp vụ dưới dạng "Nếu - Thì", giúp các nhà quản trị kinh doanh dễ dàng hiểu rõ lý do rời mạng của từng nhóm khách hàng thay vì phải chấp nhận cơ chế "hộp đen" của mạng nơ-ron hay SVM.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm, bốn giải pháp chiến lược được đề xuất nhằm tối ưu hóa công tác quản trị và ngăn chặn thuê bao rời mạng:

• Tích hợp mô hình dự báo C4.5 vào hệ thống tính cước tự động: Phòng Công nghệ thông tin chủ trì triển khai thuật toán phân lớp trực tiếp vào quy trình ETL của kho dữ liệu, hoàn thành trong Quý 1. Mục tiêu đạt tỷ lệ phát hiện sớm 80% khách hàng có nguy cơ rời mạng trước chu kỳ cước 30 ngày.
• Thiết kế chính sách chăm sóc khách hàng cá nhân hóa theo tập luật: Phòng Marketing và Chăm sóc khách hàng áp dụng ngay 17 biến số hành vi để xây dựng các gói cước giữ chân chuyên biệt (tặng cước thoại ngoại mạng, ưu đãi dung lượng data) cho nhóm thuê bao có tín hiệu sụt giảm tiêu dùng. Thời gian triển khai định kỳ hàng tháng, hướng đến mục tiêu giảm tỷ lệ rời mạng thực tế từ 2%/tháng xuống dưới 1,2%/tháng.
• Nâng cấp và mở rộng kho dữ liệu khách hàng 360 độ: Ban Giám đốc Khối Kỹ thuật thực hiện chuẩn hóa 101 trường dữ liệu hành vi, tích hợp thêm các chỉ số khiếu nại và chất lượng mạng trong vòng 6 tháng. Mục tiêu nâng độ sạch của dữ liệu lên trên 98% và giảm thời gian trích xuất dữ liệu xuống dưới 5 phút mỗi chu kỳ.
• Mở rộng nghiên cứu mô hình dự báo cho thuê bao trả trước: Đội ngũ phân tích dữ liệu phối hợp cùng các chuyên gia học máy nghiên cứu thuật toán thích ứng cho tập thuê bao trả trước dựa trên biến động nạp thẻ và vòng đời SIM, thực hiện trong vòng 9 tháng tiếp theo, đặt mục tiêu nhận diện chính xác trên 65% trường hợp rời mạng ẩn.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng trọng tâm:

• Cán bộ quản lý và hoạch định chiến lược viễn thông: Nắm bắt bức tranh tổng thể về thị trường viễn thông, hiểu rõ bản chất của hiện tượng rời mạng để chuyển đổi chiến lược từ cạnh tranh giảm giá sang tối ưu hóa giá trị vòng đời khách hàng và duy trì thị phần bền vững.
• Kỹ sư dữ liệu và chuyên viên phân tích nghiệp vụ (Data/BI Analyst): Học hỏi phương pháp luận xử lý dữ liệu thực tế, đặc biệt là kỹ thuật trích lọc 17 thuộc tính cốt lõi từ 101 biến số ban đầu và phương pháp xử lý bài toán mất cân bằng lớp (imbalanced data) với tỷ lệ 1:99 bằng undersampling trên Weka.
• Chuyên viên tiếp thị và quản trị quan hệ khách hàng (CRM/Marketing): Khai thác các tập luật phân lớp hành vi để xây dựng kịch bản tương tác tự động, thiết kế các chương trình khuyến mại trúng đích nhằm ngăn chặn churn hiệu quả.
• Giảng viên, học viên cao học và sinh viên ngành Hệ thống thông tin: Sử dụng luận văn như một nghiên cứu tình huống (case study) học thuật mẫu mực về việc ứng dụng kết hợp 4 thuật toán học máy kinh điển (C4.5, Naive Bayes, SVM, Neural Networks) vào giải quyết bài toán kinh doanh cụ thể.

Câu hỏi thường gặp

Tại sao nghiên cứu chỉ tập trung vào nhóm thuê bao di động trả sau mà chưa áp dụng cho thuê bao trả trước? Thuê bao trả sau có ràng buộc hợp đồng pháp lý, thông tin định danh đầy đủ và chu kỳ thanh toán cước hàng tháng rõ ràng. Điều này cho phép xác định chính xác thời điểm khách hàng rời mạng. Ngược lại, thuê bao trả trước thường ngưng sử dụng âm thầm trong thời gian dài trước khi nhà mạng khóa số, đòi hỏi phương pháp tiếp cận và mô hình dữ liệu hoàn toàn khác biệt.

Kỹ thuật nào đã được sử dụng để xử lý tình trạng mất cân bằng dữ liệu nghiêm trọng? Nghiên cứu áp dụng kỹ thuật giảm lấy mẫu (undersampling) trên nhóm thuê bao không rời mạng để cân bằng phân phối dữ liệu từ tỷ lệ gốc 1% Churn / 99% Non-Churn về các tỷ lệ 1/10, 1/2 và 1/1. Kết quả thực nghiệm chứng minh tỷ lệ mẫu 1/1 với 7.746 bản ghi mang lại khả năng nhận diện lớp rời mạng chính xác nhất.

Vì sao thuật toán C4.5 lại được đánh giá là lựa chọn tối ưu nhất cho bài toán này? Thuật toán C4.5 đạt tỷ lệ nhận diện đúng trên 60% trên tập dữ liệu kiểm thử 138.327 thuê bao, thời gian huấn luyện cực nhanh chỉ 0,19 giây. Đặc biệt, C4.5 tạo ra cấu trúc cây quyết định tường minh, giúp doanh nghiệp trích xuất trực tiếp thành các luật nghiệp vụ rõ ràng để ứng dụng ngay vào thực tế.

Những dấu hiệu hành vi nào cảnh báo sớm nhất nguy cơ khách hàng chuẩn bị rời mạng? Trong số 17 thuộc tính được tinh lọc, các chỉ số biến động mạnh nhất gồm: tỷ lệ thời lượng gọi nội mạng sụt giảm liên tục trong 3 tháng, tần suất và thời lượng gọi ngoại mạng tăng vọt trong tháng gần nhất, đi kèm sự suy giảm rõ rệt về mức phát sinh cước dịch vụ SMS và Data.

Doanh nghiệp có thể ứng dụng kết quả nghiên cứu này vào hệ thống thực tế như thế nào? Doanh nghiệp có thể nhúng trực tiếp mô hình phân lớp C4.5 vào tầng trên cùng của kho dữ liệu Relational OLAP sẵn có. Hệ thống sẽ tự động quét dữ liệu cước hàng tháng, tính điểm rủi ro rời mạng cho từng thuê bao và gửi danh sách cảnh báo đến bộ phận chăm sóc khách hàng để xử lý kịp thời.

Kết luận

• Hệ thống hóa toàn diện cơ sở lý thuyết về khai phá dữ liệu viễn thông và bài toán dự đoán thuê bao rời mạng trong bối cảnh thị trường bão hòa.
• Xây dựng thành công quy trình xử lý dữ liệu đa chiều, tinh lọc hiệu quả từ 101 thuộc tính ban đầu xuống 17 thuộc tính hành vi đặc trưng nhất.
• Giải quyết triệt để thách thức mất cân bằng dữ liệu bằng kỹ thuật undersampling tỷ lệ 1/1, tối ưu hóa độ nhạy cho lớp khách hàng rời mạng.
• Chứng minh thực nghiệm tính ưu việt của thuật toán C4.5 với thời gian xử lý 0,19 giây và tỷ lệ dự đoán chính xác trên 60% trên tập test 138.327 bản ghi.
• Đề xuất lộ trình 4 bước giúp các nhà mạng tiết kiệm chi phí gấp 5 đến 10 lần thông qua việc giữ chân khách hàng chủ động.

Đóng góp lớn nhất của luận văn là đã kết nối thành công giữa lý thuyết học máy hàn lâm và bài toán kinh doanh viễn thông thực tế tại Việt Nam. Trong các giai đoạn tiếp theo, hướng nghiên cứu sẽ tiếp tục mở rộng sang mô hình dự báo cho thuê bao trả trước và thử nghiệm các giải thuật học sâu tiên tiến. Các nhà quản trị viễn thông và chuyên gia dữ liệu hãy bắt đầu triển khai các mô hình phân lớp dữ liệu ngay hôm nay để biến nguồn dữ liệu sẵn có thành lợi thế cạnh tranh sống còn cho doanh nghiệp.

Trích đoạn nội dung tài liệu

Chương 1: Trình bày tổng quan thuê bao rời mạng viễn thông, khái niệm thuê bao rời mạng, phân biệt các hình thức rời mạng của thuê bao và sự cần thiết của việc dự đoán thuê bao rời mạng. Chương 2: Trình bày về lý thuyết khai phá dữ liệu di động. Các ứng dụng khai phá dữ liệu di động như: Dự đoán xu hướng phát triển của các sản phẩm và dịch vụ, nhận dạng và dự đoán gian lận, dự đoán nhu cầu tăng dung lượng đường truyền. Chương 3: Trình bày về bài toán phân lớp dữ liệu thuê bao rời mạng, đầu vào và dầu ra của bài toán.

Đưa ra mô hình kho dữ liệu di động và mô hình phân lớp dữ liệu thuê bao rời mạng. Dữ liệu được trích xuất từ kho dữ liệu di động và các thuật toán TIEU LUAN MOI download : [e-mail] 7 phân lớp là hai thành phần chính của bài toán phân lớp. Trong luận văn sẽ sử dụng các thuật toán cây quyết định C4.5, Naïve Bayes, SVM và Neural Networks để phân lớp dự đoán thuê bao rời mạng viễn thông. Chương 4: Thực nghiệm bài toán phân lớp dữ liệu di động với dữ liệu cụ thể.

Đánh giá kết quả đạt được với các mô hình phân lớp. TIEU LUAN MOI download : [e-mail] 8 Chƣơng 1. TỔNG QUAN VỀ THUÊ BAO RỜI MẠNG Thị phần và khách hàng là hai yếu tố hết sức quan trọng, quyết định sự thành công của các nhà cung cấp dịch vụ mạng di động. Trong bối cảnh thị trường viễn thông đã đi vào giai đoạn bão hòa, việc phát triển thuê bao mới ngày càng trở nên khó khăn.

Trong khi đó khách hàng ngày càng có nhiều cơ hội lưa chọn dịch vụ và ít bị rằng buộc bởi nhà cung cấp dịch vụ. Hiện tượng khách hàng chuyển đổi qua lại giữa các nhà cung cấp ngày càng tăng, hiện tượng thuê bao ngưng sử dụng trên mạng ngày càng nhiều cho thấy khách hàng hiện nay không còn trung thành với nhà mạng như thị trường độc quyền trước đây. Chính vì vậy việc giữ chân khách hàng, giảm tỉ lệ thuê bao rời mạng là chiến lược kinh doanh quan trọng để giữ vững thị phần của các nhà cung cấp dịch vụ.Thị trƣờng thông tin di động Việt Nam Đã hơn 20 năm, kể từ khi MobiFone - mạng di động đầu tiên của Việt Nam chính thức đi vào hoạt động. Ở thời điểm đó, thông tin di động còn là khái niệm xa lạ với đa số người tiêu dùng, số lượng thuê bao của mạng di động này không nhiều do vùng phủ sóng hạn chế và giá cước cũng như thiết bị đầu cuối còn đắt.

Điện thoại di động rất khan hiếm, giá thành mỗi chiếc máy khoảng 1. Ngoài việc khan hiếm máy, tiền thuê bao và cước cuộc gọi cũng rất đắt, phí hòa mạng 200 USD/thuê bao, thuê bao tháng khoảng 30 USD, cước cuộc gọi cho nội hạt TP Hồ Chí Minh hoặc Hà Nội là 0,3 USD/ phút. Riêng với các cuộc gọi liên tỉnh, mức cước phí là 0,3 USD/ phút + cước liên tỉnh. Sự bùng nổ của thị trường thông tin di động Việt Nam chỉ thực sự diễn ra trong 10 năm trở lại đây, khi Viettel chính thức bước chân vào thị trường di động năm 2004.

Theo thống kê, giá cước di động Việt Nam trong vòng 10 năm qua đã giảm hơn 3 lần. Cuộc cạnh tranh nóng bỏng trên thị trường di động đã đưa Việt Nam từ nước có giá cước thuộc hàng cao trên thế giới đã trở thành nước có mức cước thuộc hàng rẻ nhất thế giới. Theo báo cáo của Bộ TT&TT, tính hết năm 2012, tổng số thuê bao di động trên toàn quốc là 131.724 và tỉ lệ thuê bao/100 dân là 148,33%. Mới đây, ITU đã xếp Việt Nam đứng vị trí thứ 8 trên thế giới về mật độ thuê bao di động và được đánh giá như một điểm sáng của viễn thông thế giới.

TIEU LUAN MOI download : [e-mail] 9 Hình 1 - Tình hình phát triển thuê bao di động tại Việt Nam tính đến năm 2012[4] Cùng với sự phát triển của thuê bao di động, doanh thu từ mạng viễn thông cũng tăng lên đáng kể. Tính đến hết năm 2012 doanh thu dịch vụ di động trên cả nước là 6. Hình 2 - Doanh thu dịch vụ di động tại Việt Nam tính đến năm 2012[4] Tuy nhiên, cuộc chạy đua cạnh tranh giữa các doanh nghiệp trong nước cũng bộc lộ nhiều điểm hạn chế. Điều đó được minh chứng rất rõ ràng thông qua công cụ cạnh tranh chủ yếu của các doanh nghiệp chỉ là giảm giá và khuyến mãi.

Để thu hút thuê bao mới, các mạng di động phải đua nhau khuyến mãi liên tục các tháng trong năm. Tuy nhiên sau khi kết thúc mỗi đợt khuyến mãi, số thuê bao sử dụng hết tài khoản lập tức rời mạng, tạm ngưng hoặc chuyển sang mạng khác tăng lên rõ rệt, số thuê bao rời mạng nhiều hơn số thuê bao mới gia nhập, lượng thuê bao hoạt động tăng giảm bất thường, doanh thu không tăng theo số thuê bao tăng trưởng. Đây là kiểu cạnh tranh ngược với xu thế hội nhập của ngành thông tin di động Việt nam. Xét ở góc độ quản lý vĩ mô cho thấy thực trạng trên thể hiện một thị trường tiêu cực và lãng phí tài nguyên của ngành.

Theo quy định của Bộ Bưu chính-Viễn thông thì các nhà cung cấp có thị phần khống chế (trên 30%) thì giá cước do chính phủ quyết định, trong khi các nhà cung cấp dịch vụ nhỏ như S-fone, Vietnamobile và Gmobile có thị phần nhỏ được phép tự quyết định giá cước. Tuy giá cước là lợi thế cạnh tranh, nhưng chất lượng dịch vụ của các doanh nghiệp này lại không đảm bảo do đầu tư không theo kịp tốc độ tăng trưởng thuê bao hay hạn chế về vùng phủ sóng. Ngược lại, mạng di động Mobifone và TIEU LUAN MOI download : [e-mail] 10 Vinaphone có chất lượng dịch vụ ổn định hơn do có quá trình đầu tư và bề dày kinh nghiệm nhưng giá cước và cách tính cước còn bị khống chế nên không hấp dẫn khách hàng. Hiện tượng khách hàng chạy theo các đợt khuyến mại của các mạng cũng trở nên phổ biến đặc biệt là khách hàng giới trẻ hiện nay thể hiện qua số liệu thuê bao hoạt động thực tăng giảm giữa các kỳ khuyến mãi và không khuyến mãi.

Hình 3 - Thị phần các nhà cung cấp dịch vụ di động tại Việt Nam[4] Do vậy, để thị trường di động Việt nam phát triển một cách tích cực và bền vững, chiến lược của các nhà cung cấp dịch vụ di động hiện nay là phải tìm cách duy trì khách hàng hiện có bằng cách nâng cao mức độ trung thành và giá trị khách hàng. Một khi thị trường đã trở nên cạnh tranh quyết liệt như hiện nay thì chiến lược phòng thủ để duy trì khách hàng hiện có còn quan trọng hơn so với chiến lược công kích nhằm mở rộng quy mô toàn bộ thị trường bằng việc gia nhập của các khách hàng tiềm năng [Fornell, 1992; Ahmad & Buttle, 2002].Khái niệm “churn” Đặc điểm của thị trường viễn thông những năm qua là biến đổi nhanh chóng, tự do hóa thị trường, cải tiến kỹ thuật, độ bão hòa và cạnh tranh khốc liệt. Khách hàng có nhiều sự lựa chọn giữa các nhà khai thác di động, họ có thể chuyển đổi giữa các nhà khai thác mà không có bất kỳ khó khăn nào và không ngừng tìm kiếm nhà mạng có dịch vụ tốt hơn với chi phí thấp. “Churn” là một thuật ngữ được sử dụng trong viễn thông và nhiều ngành công nghiệp khác nó đề cập đến quyết định di chuyển từ một nhà cung cấp dịch vụ này đến một nhà cung cấp dịch vụ khác của khách hàng.

“Churn” có nguồn gốc từ change (sự thay đổi) và turn (chiều hướng). “Churn” xảy ra bởi nhiều lý do khác nhau như không hài lòng với các dịch vụ hay các hóa đơn cao hoặc khách hàng thường nhận được ưu đãi hấp dẫn khi đăng ký với một nhà cung cấp dịch vụ di động mới. Khi khách hàng rời mạng cũng ảnh hưởng đến những người quen của họ trong cùng một mạng, điều này làm gia tăng khả năng rời mạng của các thuê bao này. Nếu coi việc rời mạng là một hiện tượng thì việc rời mạng là sự kết hợp của thói quen sử dụng của người dùng và của những hoạt động của người xung quanh.

Tỷ lệ “churn” trung bình trong một nhà cung cấp dịch vụ di động là khoảng 2% mỗi tháng (Berson, Smith, và Thearling, TIEU LUAN MOI download : skknchat@gmail. Tỷ lệ rời mạng hàng năm ở Châu Âu là 25%, Mỹ 37% và Châu Á 48% (Mattersion, 2001). Việc mất khách hàng đồng nghĩa với việc mất doanh thu trong tương lai và mất chi phí đầu tư để có lại những khách hàng này. Trong khi đó, tìm kiếm khách hàng mới trở nên khó khăn hơn bao giờ hết do sự cạnh tranh khốc liệt và độ bão hòa của thị trường thông tin di động.

Chi phí được khách hàng mới là cao hơn đáng kể so với việc giữ khách hàng hiện tại. Trong thực tế, chi phí để phát triển một thuê bao mới lớn 5-10 lần chi phí để giữ chân khách hàng. Đối mặt với thách thức này, các nhà khai thác cần phải tập trung vào việc làm thế nào để ngăn chặn khách hàng rời mạng. Biết trước khi nào khách hàng rời mạng sẽ cho phép nhà quản lý có chiến lược phòng tránh, và có nhiều cơ hội hơn trong việc giữ chân khách hàng thành công.

Dự đoán khi nào khách hàng sẽ “churn” giúp tăng doanh thu và tiết kiệm được nguồn lực cho nhà mạng.Phân loại “churn” Có nhiều lý do dẫn đến việc rời mạng của thuê bao, có thể chia là 3 nhóm chính: - Thuê bao bị buộc rời khỏi mạng bởi nhà cung cấp dịch vụ: Các nhà mạng chủ động cắt hủy dịch vụ của khách hàng bởi nhiều lý do khác nhau như khách hàng nợ cước, gian lận, tạm dừng sử dụng dịch vụ trong thời gian dài… - Nhóm chủ động rời khỏi mạng và chuyển sang một nhà cung cấp dịch vụ khác: Lý do việc rời mạng có thể là: không hài lòng với chất lượng dịch, chi phí quá cao, giá cả không cạnh tranh, không có những khuyến mại cho khách hàng trung thành, không có hiểu biết về các chương trình dịch vụ, dịch vụ hỗ trợ khách hàng không tốt, các lý do riêng tư … - Nhóm khách hàng rời mạng bất ngờ và không có mục đích chuyển sang nhà cung cấp dịch vụ khác. Lý do có thể là: khách hàng có thể phải do di chuyển đến vùng địa lý khác nơi không có mặt của nhà cung cấp, hay do tình hình tài chính dẫn đến không có khả năng thanh toán.