Xây Dựng Hệ Thống Hỗ Trợ Dự Báo Khách Hàng Rời Mạng Viễn Thông

Luận văn thạc sĩ nghiên cứu Xây dựng hệ thống hỗ trợ dự báo khách hàng rời mạng viễn thông luận văn thạc sĩ công nghệ thông tin, đánh giá hiện trạng, phân tích vấn đề, đề xuất

• Người hướng dẫn: TS – Giảng Viên Khoa Công Nghệ Thông Tin
• Trường học: Trường Đại Học Lạc Hồng
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Hệ Thống Dự Báo Khách Hàng Rời Mạng Viễn Thông
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2022
• Địa điểm: Đồng Nai

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• TÓM TẮT LUẬN VĂN
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN
• 1.1. Tổng quan sơ về vấn đề cần nghiên cứu trong và ngoài nước
• 1.2. Ý nghĩa của đề tài
• 1.2.1. Ý nghĩa thực tiễn
• 1.2.2. Ý nghĩa khoa học
• 1.3. Mục tiêu đề tài
• 1.4. Đối tượng nghiên cứu
• 1.5. Nội dung nghiên cứu
• 1.6. Phương pháp nghiên cứu
• 1.7. Dự kiến kết quả
• 1.8. Bố cục luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Các khái niệm cơ bản về khai phá dữ liệu, học máy, các kỹ thuật xử lý dữ liệu lớn và phân tích dự báo
• 2.1.1. Khái niệm khai phá dữ liệu và học máy
• 2.1.2. Các khai niệm về xử lý dữ liệu lớn
• 2.1.3. Xử lý dữ liệu phân tán
• 2.1.4. Xử lý dữ liệu Hadoop
• 2.1.5. Xử lý dữ liệu Workload
• 2.1.6. Xử lý dữ liệu theo cụm (cluster)
• 2.2. Các bài toán phân tích dự báo
• 2.2.1. Bài toán phân tích dự báo
• 2.2.2. Các mô hình dự báo cơ bản
• 2.2.3. Mất cân bằng dữ liệu (imbalanced dataset)
• 2.3. Khung thức dự báo thuê bao rời mạng
• 2.3.1. Tổng quan Azue Machine Learning và phần mềm Weka
• 2.3.1.1. Azure Machine Learning
• 2.3.1.2. Giới thiệu chung về Weka
• 3. CHƯƠNG 3: CÔNG TRÌNH LIÊN QUAN VÀ PHƯƠNG PHÁP TIẾP CẬN
• 3.1. Các công trình liên quan
• 3.1.1. Mạng Nơron hỗn hợp (Hybrid Neural Networks)
• 3.1.2. Mô hình hồi quy Logic
• 3.1.3. Mô hình rừng ngẫu nhiên cân bằng cải tiến (IBRF)
• 3.2. Tổng quát giải thuật Cây quyết định tăng cường 2 lớp
• 3.3. Sơ đồ tổng quát của hệ thống
• 3.4. Giải thích sơ đồ trình tự của hệ thống
• 4. CHƯƠNG 4: THỰC NGHIỆM
• 4.1. Môi trường thực nghiệm
• 4.2. Bộ dữ liệu thực nghiệm
• 4.3. Các bước xây dựng và thực nghiệm mô hình dự báo thuê bao rời
• 4.3.1. Phương pháp 1
• 4.3.2. Phương pháp 2
• 4.4. Đánh giá kết quả mô hình sau khi áp dụng hai phương pháp thực nghiệm
• 4.5. Kết luận chương
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết quả đạt được của luận văn
• 5.2. Hướng phát triển
• DANH MỤC HÌNH
• DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT

Tóm tắt

I. Tổng Quan Về Hệ Thống Dự Báo Khách Hàng Rời Mạng Viễn Thông

Bài toán dự báo khách hàng rời mạng là một thách thức lớn đối với các nhà mạng viễn thông. Việc mất khách hàng không chỉ ảnh hưởng đến doanh thu mà còn gây tốn kém chi phí để thu hút khách hàng mới. Chi phí để có một khách hàng mới thường cao hơn nhiều so với việc giữ chân một khách hàng hiện tại. Các nhà mạng trên thế giới liên tục tìm kiếm các giải pháp để xác định và dự đoán sớm những khách hàng có khả năng rời mạng, từ đó đưa ra các biện pháp can thiệp kịp thời. Thị trường viễn thông cạnh tranh gay gắt, việc mất khách hàng tiềm năng gây ra thiệt hại lớn về doanh thu. Các công ty viễn thông đầu tư mạnh vào mở rộng kinh doanh, do đó việc thu hồi vốn và tạo lợi nhuận trong thời gian ngắn là rất quan trọng. Churn prediction viễn thông giúp các nhà mạng đưa ra quyết định kinh doanh hiệu quả hơn. Theo Chandar, Laha, & Krishna [1], khách hàng rời mạng là khi họ ngừng sử dụng dịch vụ của một công ty và chuyển sang nhà mạng khác.

1.1. Tầm Quan Trọng Của Việc Giữ Chân Khách Hàng Viễn Thông

Việc giữ chân khách hàng viễn thông là yếu tố then chốt để duy trì và phát triển doanh nghiệp. Doanh thu từ khách hàng hiện tại, đặc biệt là khách hàng lâu năm, thường cao hơn so với khách hàng mới. VNPT Đồng Nai thống kê doanh thu bình quân của thuê bao trước ngày 31/12/2020 là 169.952 VNĐ, trong khi thuê bao phát triển mới năm 2021 là 123.000 VNĐ. Các chính sách khuyến mãi, giảm giá cước cho khách hàng lâu năm giúp tạo dựng lòng tin và giảm thiểu chi phí phát triển thuê bao mới. Việc dự đoán và ngăn chặn churn giúp các nhà mạng tối ưu hóa chi phí và tăng cường lợi nhuận.

1.2. Các Phương Pháp Tiếp Cận Quản Lý Churn Trong Viễn Thông

Có hai cách tiếp cận chính để quản lý churn trong ngành viễn thông. Thứ nhất là tiếp cận không mục tiêu, tập trung vào sản phẩm nổi trội và truyền thông rộng rãi để tăng lòng trung thành. Thứ hai là tiếp cận có mục tiêu, xác định khách hàng có khả năng rời mạng và cung cấp các ưu đãi trực tiếp. Tiếp cận có mục tiêu lại chia thành bị động (chờ khách hàng hủy dịch vụ) và chủ động (dự đoán trước nguy cơ). Cách tiếp cận chủ động mang lại lợi ích về chi phí khuyến khích thấp hơn, nhưng đòi hỏi độ chính xác cao trong dự đoán để tránh lãng phí nguồn lực. Các nghiên cứu tập trung vào tìm ra yếu tố ảnh hưởng đến churn và xây dựng mô hình dự đoán.

II. Thách Thức Trong Dự Báo Khách Hàng Rời Mạng Viễn Thông

Thị trường viễn thông Việt Nam đang chứng kiến sự cạnh tranh khốc liệt giữa các nhà mạng lớn như VNPT, FPT và Viettel. Theo số liệu của Cục Viễn thông, đến cuối năm 2021, Viettel chiếm 48.96% thị phần internet cáp quang, VNPT đứng thứ hai với 32.31%, và FPT là 18.5%. Việc cạnh tranh thu hút và giữ chân khách hàng ngày càng trở nên gay gắt. Mặc dù một số Viễn thông tỉnh, thành phố đã xây dựng hệ thống dự báo churn cho dịch vụ di động, nhưng việc áp dụng cho dịch vụ Fiber vẫn còn hạn chế. Viễn thông Đồng Nai hiện đang phân tích số liệu thủ công, dựa vào báo cáo thống kê từ các hệ thống cũ, dẫn đến dự báo chậm trễ và kém chính xác.

2.1. Hạn Chế Của Các Phương Pháp Dự Báo Churn Truyền Thống

Các phương pháp dự báo churn truyền thống thường dựa trên phân tích thủ công và các chỉ số thống kê từ hệ thống điều hành sản xuất kinh doanh (ĐHSXKD) và hệ thống BI cũ. Điều này dẫn đến việc dự báo không nhanh chóng, thiếu chính xác và tốn nhiều thời gian. Các yếu tố ảnh hưởng đến quyết định rời mạng của khách hàng, như độ hài lòng về lắp đặt, sửa chữa, thanh toán đúng hạn, và độ ổn định dịch vụ, thường không được xem xét đầy đủ. Việc thiếu một hệ thống cơ sở dữ liệu khách hàng toàn diện và khả năng phân tích dữ liệu phức tạp là một thách thức lớn.

2.2. Yêu Cầu Về Một Hệ Thống Dự Báo Churn Hiện Đại

Để giải quyết những hạn chế trên, cần xây dựng một hệ thống cơ sở dữ liệu khách hàng toàn diện, thu thập lịch sử các thuộc tính ảnh hưởng đến churn. Hệ thống này cần tích hợp dữ liệu từ nhiều nguồn khác nhau và áp dụng các kỹ thuật machine learning để phân tích dữ liệu và dự đoán khả năng rời mạng của khách hàng. Mục tiêu là cung cấp thông tin dự báo nhanh chóng, chính xác, giúp các nhà mạng đưa ra các biện pháp can thiệp kịp thời và hiệu quả. Hệ thống cần có khả năng tự động hóa quy trình phân tích và dự báo, giảm thiểu sự can thiệp thủ công.

III. Phương Pháp Xây Dựng Mô Hình Dự Báo Churn Bằng Machine Learning

Luận văn này tập trung vào việc cải tiến thời gian thực thi và đánh giá độ chính xác bằng cách sử dụng kỹ thuật khai phá dữ liệu hỗn hợp (Hybrid Data Mining Techniques) với mô hình Cây quyết định tăng cường hai lớp (Two-Class Boosted Decision Tree). Mô hình này hoạt động bằng cách sử dụng cây quyết định thứ nhất để dự báo và cây quyết định thứ hai để sửa lỗi cho cây thứ nhất. Kết quả dự đoán dựa trên toàn bộ nhóm cây, giúp tăng độ chính xác. Ứng dụng AI trong dự báo churn là một xu hướng quan trọng trong ngành viễn thông.

3.1. Ứng Dụng Cây Quyết Định Tăng Cường Hai Lớp Two Class Boosted Decision Tree

Mô hình Cây quyết định tăng cường hai lớp là một phương pháp hiệu quả để dự đoán khách hàng rời mạng bằng machine learning. Cây quyết định thứ nhất thực hiện dự báo ban đầu, trong khi cây quyết định thứ hai tập trung vào việc sửa các lỗi của cây thứ nhất. Quá trình này lặp lại nhiều lần, với mỗi cây quyết định mới được huấn luyện để giảm thiểu sai sót của các cây trước đó. Kết quả cuối cùng là sự kết hợp của tất cả các cây, tạo ra một mô hình dự đoán mạnh mẽ và chính xác hơn. Phương pháp này đặc biệt hữu ích khi xử lý dữ liệu phức tạp và có nhiều yếu tố ảnh hưởng đến churn.

3.2. Quy Trình Xây Dựng Mô Hình Dự Báo Churn Bằng Machine Learning

Quy trình xây dựng mô hình dự báo churn bằng machine learning bao gồm các bước chính sau: (1) Thu thập và tiền xử lý dữ liệu: Thu thập dữ liệu từ các nguồn khác nhau, làm sạch dữ liệu, xử lý các giá trị thiếu và chuyển đổi dữ liệu về định dạng phù hợp. (2) Lựa chọn thuộc tính: Chọn các thuộc tính quan trọng nhất ảnh hưởng đến churn. (3) Chia dữ liệu thành tập huấn luyện và tập kiểm tra: Sử dụng tập huấn luyện để huấn luyện mô hình và tập kiểm tra để đánh giá hiệu suất của mô hình. (4) Huấn luyện mô hình: Sử dụng thuật toán machine learning để huấn luyện mô hình trên tập huấn luyện. (5) Đánh giá mô hình: Đánh giá hiệu suất của mô hình trên tập kiểm tra bằng các chỉ số như độ chính xác, độ phủ, và AUC. (6) Tinh chỉnh mô hình: Tinh chỉnh các tham số của mô hình để cải thiện hiệu suất. (7) Triển khai mô hình: Triển khai mô hình vào hệ thống thực tế để dự đoán churn.

IV. Thực Nghiệm Và Đánh Giá Hiệu Quả Mô Hình Dự Báo Churn

Luận văn thực hiện thực nghiệm mô hình dự báo churn trên bộ dữ liệu thực tế. Môi trường thực nghiệm sử dụng các công cụ và nền tảng phù hợp. Quá trình thực nghiệm bao gồm các bước xây dựng và thực nghiệm mô hình dự báo churn bằng hai phương pháp: trên tập dữ liệu thô và trên tập dữ liệu đã qua tiền xử lý và trích lọc thuộc tính. Kết quả được đánh giá dựa trên các chỉ số hiệu suất như độ chính xác và thời gian thực thi.

4.1. Môi Trường Và Bộ Dữ Liệu Thực Nghiệm

Môi trường thực nghiệm bao gồm các công cụ và nền tảng cần thiết để xây dựng và đánh giá mô hình dự báo churn. Bộ dữ liệu thực nghiệm được thu thập từ các hệ thống CSDL của Viễn thông Đồng Nai, bao gồm thông tin về khách hàng, dịch vụ, thanh toán, và tương tác với khách hàng. Dữ liệu được tiền xử lý để loại bỏ các giá trị thiếu, xử lý các giá trị ngoại lai, và chuyển đổi dữ liệu về định dạng phù hợp. Quá trình tiền xử lý dữ liệu là rất quan trọng để đảm bảo chất lượng và độ tin cậy của mô hình dự báo.

4.2. Đánh Giá Kết Quả Và So Sánh Các Phương Pháp

Kết quả thực nghiệm được đánh giá dựa trên các chỉ số hiệu suất như độ chính xác, độ phủ, và AUC. So sánh hiệu suất của mô hình trên tập dữ liệu thô và trên tập dữ liệu đã qua tiền xử lý và trích lọc thuộc tính. Phân tích các yếu tố ảnh hưởng đến hiệu suất của mô hình, như chất lượng dữ liệu, lựa chọn thuộc tính, và thuật toán machine learning. Đưa ra các khuyến nghị để cải thiện hiệu suất của mô hình và triển khai vào hệ thống thực tế. Việc đánh giá kết quả một cách khách quan và toàn diện là rất quan trọng để đảm bảo tính khả thi và hiệu quả của mô hình dự báo.

V. Kết Luận Và Hướng Phát Triển Của Hệ Thống Dự Báo Churn

Luận văn đã xây dựng thành công mô hình dự báo churn bằng kỹ thuật khai phá dữ liệu hỗn hợp và mô hình Cây quyết định tăng cường hai lớp. Kết quả thực nghiệm cho thấy mô hình có độ chính xác cao và thời gian thực thi nhanh chóng. Hệ thống dự báo churn có tiềm năng ứng dụng rộng rãi trong ngành viễn thông, giúp các nhà mạng giảm thiểu tỷ lệ churn và tăng cường lợi nhuận. Giải pháp giảm churn hiệu quả là mục tiêu quan trọng của nghiên cứu.

5.1. Tóm Tắt Các Kết Quả Đạt Được

Luận văn đã đạt được các kết quả chính sau: (1) Xây dựng hệ thống cơ sở dữ liệu khách hàng toàn diện, tích hợp dữ liệu từ nhiều nguồn khác nhau. (2) Phát triển mô hình dự báo churn bằng kỹ thuật khai phá dữ liệu hỗn hợp và mô hình Cây quyết định tăng cường hai lớp. (3) Đánh giá hiệu suất của mô hình trên bộ dữ liệu thực tế và so sánh các phương pháp khác nhau. (4) Đưa ra các khuyến nghị để cải thiện hiệu suất của mô hình và triển khai vào hệ thống thực tế. Các kết quả này đóng góp vào việc giải quyết bài toán dự báo khách hàng rời mạng trong ngành viễn thông.

5.2. Các Hướng Nghiên Cứu Và Phát Triển Trong Tương Lai

Trong tương lai, có thể tiếp tục nghiên cứu và phát triển hệ thống dự báo churn theo các hướng sau: (1) Nghiên cứu các thuật toán machine learning khác để cải thiện độ chính xác của mô hình. (2) Tích hợp thêm các nguồn dữ liệu mới, như dữ liệu từ mạng xã hội và dữ liệu về trải nghiệm khách hàng. (3) Phát triển các công cụ trực quan hóa dữ liệu để giúp các nhà quản lý dễ dàng theo dõi và phân tích churn. (4) Xây dựng hệ thống khuyến nghị tự động để đưa ra các biện pháp can thiệp phù hợp cho từng khách hàng có nguy cơ rời mạng. (5) Nghiên cứu các yếu tố tâm lý và hành vi ảnh hưởng đến churn để xây dựng các chiến lược giữ chân khách hàng hiệu quả hơn.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh ngành viễn thông ngày càng cạnh tranh gay gắt, việc giữ chân khách hàng hiện hữu trở thành bài toán sống còn đối với các nhà mạng. Theo số liệu tại VNPT Đồng Nai, doanh thu bình quân của thuê bao lâu năm đạt khoảng 169.952 VNĐ, cao hơn đáng kể so với thuê bao mới chỉ đạt 123 VNĐ. Chi phí phát triển một thuê bao mới ước tính khoảng 50.135 VNĐ, trong khi chi phí duy trì thuê bao hiện hữu thấp hơn nhiều. Tỷ lệ khách hàng rời mạng trong ngành viễn thông dao động từ 20% đến 40% mỗi năm, gây thiệt hại lớn về doanh thu và ảnh hưởng đến lợi thế cạnh tranh của doanh nghiệp.

Mục tiêu nghiên cứu của luận văn là xây dựng hệ thống hỗ trợ dự báo khách hàng có khả năng rời mạng cao trong dịch vụ Fiber Vnn tại Viễn thông Đồng Nai, nhằm giúp doanh nghiệp chủ động trong việc giữ chân khách hàng và tối ưu hóa chi phí. Nghiên cứu tập trung vào việc áp dụng kỹ thuật khai phá dữ liệu và mô hình máy học, đặc biệt là mô hình Cây quyết định tăng cường hai lớp (Two-Class Boosted Decision Tree), để cải thiện độ chính xác và thời gian thực thi dự báo. Phạm vi nghiên cứu bao gồm dữ liệu khách hàng từ năm 2017 đến 2020 với hơn 238.000 thuê bao, tập trung tại khu vực Đồng Nai. Kết quả dự báo chính xác sẽ giúp doanh nghiệp giảm thiểu tỷ lệ rời mạng, tăng doanh thu và nâng cao hiệu quả kinh doanh trong kỷ nguyên số.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Khai phá dữ liệu (Data Mining): Quá trình trích xuất thông tin giá trị từ khối lượng lớn dữ liệu thô, bao gồm các bước tiền xử lý, trích lọc, phân tích và đánh giá mẫu dữ liệu. Đây là nền tảng để phát hiện các mẫu hành vi khách hàng rời mạng.

• Học máy (Machine Learning): Phân thành học giám sát và không giám sát, trong đó học giám sát được sử dụng để xây dựng mô hình dự báo dựa trên dữ liệu có nhãn. Các thuật toán phổ biến gồm cây quyết định, mạng nơron, hồi quy logic.

• Mô hình Cây quyết định tăng cường hai lớp (Two-Class Boosted Decision Tree): Phương pháp học tập tổng hợp, trong đó cây quyết định thứ hai sửa lỗi cho cây thứ nhất, giúp tăng độ chính xác dự báo. Mô hình này phù hợp với bài toán phân lớp nhị phân như dự báo khách hàng rời mạng.

• Xử lý mất cân bằng dữ liệu (Imbalanced Dataset): Do tỷ lệ khách hàng rời mạng thấp hơn nhóm khách hàng duy trì, các kỹ thuật như SMOTE, ADASYN, under-sampling và over-sampling được áp dụng để cân bằng dữ liệu, tránh sai lệch trong dự báo.

• Các chỉ số đánh giá mô hình: AUC, Precision, Recall, F1-score được sử dụng để đánh giá hiệu quả mô hình, đặc biệt trong trường hợp mất cân bằng dữ liệu.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Sử dụng bộ dữ liệu lịch sử của 238.700 thuê bao Fiber Vnn tại Viễn thông Đồng Nai, thu thập đến tháng 12/2020, gồm 14 thuộc tính liên quan đến hành vi khách hàng và trạng thái rời mạng.

• Phương pháp phân tích:

  • Tiền xử lý dữ liệu bao gồm làm sạch, chuẩn hóa (feature scaling) và trích lọc thuộc tính quan trọng bằng phần mềm Weka.
  • Áp dụng thuật toán K-means để phân cụm nguyên nhân ảnh hưởng đến khách hàng rời mạng.
  • Xây dựng mô hình dự báo bằng thuật toán Cây quyết định tăng cường hai lớp trên nền tảng Microsoft Azure Machine Learning.
  • So sánh hai phương pháp huấn luyện: trên dữ liệu thô và dữ liệu đã qua tiền xử lý.

• Timeline nghiên cứu:

  • Thu thập và chuẩn bị dữ liệu: 3 tháng.
  • Phát triển và huấn luyện mô hình: 4 tháng.
  • Đánh giá và tối ưu mô hình: 2 tháng.
  • Triển khai hệ thống và báo cáo kết quả: 1 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác mô hình: Mô hình Cây quyết định tăng cường hai lớp đạt độ chính xác (accuracy) 98.2% và AUC 0.995 trên tập dữ liệu thô, cho thấy khả năng phân biệt tốt giữa khách hàng rời mạng và duy trì.

2. Ảnh hưởng của tiền xử lý dữ liệu: Sau khi áp dụng tiền xử lý, chuẩn hóa và trích lọc thuộc tính, tỷ lệ khách hàng rời mạng trong dữ liệu được cân bằng hơn (tăng từ 28.13% lên khoảng 40%), giúp mô hình dự báo chính xác hơn và giảm thiểu sai lệch do mất cân bằng dữ liệu.

3. Các thuộc tính quan trọng: Các yếu tố như số lần báo hỏng, số lần gọi kiểm hài lòng/không hài lòng, số lần tạm ngưng, tuổi đời thuê bao và giá cước đăng ký được xác định là những nhân tố ảnh hưởng lớn đến khả năng rời mạng.

4. Hiệu quả so sánh hai phương pháp: Phương pháp huấn luyện trên dữ liệu đã qua tiền xử lý cho kết quả dự báo ổn định hơn, giảm thời gian huấn luyện và tăng độ tin cậy so với phương pháp sử dụng dữ liệu thô.

Thảo luận kết quả

Nguyên nhân chính dẫn đến khách hàng rời mạng bao gồm sự không hài lòng về chất lượng dịch vụ (số lần báo hỏng, phản hồi không hài lòng), các vấn đề tài chính (số lần tạm ngưng, gia hạn đặt cọc) và giá trị gói cước không phù hợp. Kết quả này tương đồng với các nghiên cứu trong ngành viễn thông quốc tế, đồng thời khẳng định tính hiệu quả của mô hình Cây quyết định tăng cường hai lớp trong việc xử lý bài toán phân lớp mất cân bằng.

Việc áp dụng kỹ thuật tiền xử lý dữ liệu và trích lọc thuộc tính giúp giảm thiểu hiện tượng overfitting, tăng tốc độ huấn luyện và nâng cao độ chính xác dự báo. Dữ liệu có thể được trình bày qua biểu đồ ROC để minh họa hiệu suất mô hình, hoặc bảng so sánh các chỉ số Precision, Recall giữa hai phương pháp huấn luyện.

Kết quả nghiên cứu có ý nghĩa thực tiễn lớn, giúp Viễn thông Đồng Nai chủ động phát hiện sớm khách hàng có nguy cơ rời mạng, từ đó xây dựng các chính sách chăm sóc và giữ chân hiệu quả, giảm thiểu tổn thất doanh thu.

Đề xuất và khuyến nghị

1. Triển khai hệ thống dự báo tự động: Xây dựng hệ thống dự báo khách hàng rời mạng tích hợp mô hình Cây quyết định tăng cường hai lớp trên nền tảng đám mây Azure, nhằm cập nhật dữ liệu và dự báo theo thời gian thực. Thời gian thực hiện: 6 tháng. Chủ thể: Phòng CNTT và Phòng Kinh doanh Viễn thông Đồng Nai.

2. Tăng cường thu thập và làm sạch dữ liệu: Định kỳ thu thập dữ liệu khách hàng, đặc biệt các biến liên quan đến chất lượng dịch vụ và tài chính, đồng thời áp dụng các kỹ thuật tiền xử lý để đảm bảo dữ liệu đầu vào chính xác và đầy đủ. Thời gian: liên tục hàng quý. Chủ thể: Bộ phận Chăm sóc khách hàng và Phòng Dữ liệu.

3. Xây dựng chính sách chăm sóc khách hàng cá nhân hóa: Dựa trên kết quả dự báo, thiết kế các chương trình khuyến mãi, giảm giá hoặc nâng cấp dịch vụ phù hợp với từng nhóm khách hàng có nguy cơ rời mạng cao nhằm tăng sự hài lòng và giữ chân khách hàng. Thời gian: 3 tháng sau khi có dữ liệu dự báo. Chủ thể: Phòng Marketing và Kinh doanh.

4. Đào tạo nhân viên và nâng cao nhận thức: Tổ chức các khóa đào tạo về kỹ thuật khai phá dữ liệu và ứng dụng mô hình dự báo cho đội ngũ nhân viên kinh doanh và chăm sóc khách hàng để nâng cao hiệu quả sử dụng hệ thống. Thời gian: 2 tháng. Chủ thể: Phòng Đào tạo và Phòng CNTT.

Đối tượng nên tham khảo luận văn

1. Các nhà quản lý doanh nghiệp viễn thông: Giúp hiểu rõ về tầm quan trọng của dự báo khách hàng rời mạng và áp dụng các giải pháp công nghệ để nâng cao hiệu quả kinh doanh.

2. Chuyên viên phân tích dữ liệu và khoa học dữ liệu: Cung cấp kiến thức chuyên sâu về kỹ thuật khai phá dữ liệu, xử lý mất cân bằng dữ liệu và xây dựng mô hình dự báo trong lĩnh vực viễn thông.

3. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin, Kinh tế: Là tài liệu tham khảo quý giá về ứng dụng học máy trong thực tiễn, đặc biệt trong bài toán phân lớp và dự báo khách hàng.

4. Phòng Marketing và Chăm sóc khách hàng: Hỗ trợ xây dựng chiến lược giữ chân khách hàng dựa trên phân tích dữ liệu và dự báo chính xác, từ đó tối ưu hóa chi phí và nâng cao trải nghiệm khách hàng.

Câu hỏi thường gặp

1. Mô hình Cây quyết định tăng cường hai lớp có ưu điểm gì so với các mô hình khác?
   Mô hình này kết hợp nhiều cây quyết định để sửa lỗi lẫn nhau, giúp tăng độ chính xác và giảm sai số dự báo. Ví dụ, trong nghiên cứu, mô hình đạt AUC 0.995, vượt trội so với các mô hình đơn lẻ như mạng nơron hay hồi quy logic.

2. Làm thế nào để xử lý dữ liệu mất cân bằng trong bài toán dự báo khách hàng rời mạng?
   Các kỹ thuật như SMOTE, ADASYN, under-sampling và over-sampling được sử dụng để cân bằng tỷ lệ giữa nhóm khách hàng rời mạng và duy trì, giúp mô hình không bị thiên lệch và dự báo chính xác hơn.

3. Tại sao cần tiền xử lý và trích lọc thuộc tính trước khi huấn luyện mô hình?
   Tiền xử lý giúp làm sạch và chuẩn hóa dữ liệu, còn trích lọc thuộc tính loại bỏ các biến không quan trọng, giảm kích thước dữ liệu, tăng tốc độ huấn luyện và nâng cao độ chính xác mô hình.

4. Mô hình dự báo có thể áp dụng cho các dịch vụ viễn thông khác ngoài Fiber Vnn không?
   Có thể, tuy nhiên cần điều chỉnh và huấn luyện lại mô hình với dữ liệu đặc thù của từng dịch vụ để đảm bảo độ chính xác và phù hợp với đặc điểm khách hàng.

5. Làm thế nào để đánh giá hiệu quả mô hình dự báo khách hàng rời mạng?
   Sử dụng các chỉ số như AUC, Precision, Recall, F1-score để đánh giá khả năng phân loại chính xác giữa khách hàng rời mạng và duy trì. Ví dụ, mô hình trong nghiên cứu đạt Precision 97% và AUC 0.995, cho thấy hiệu quả cao.

Kết luận

• Luận văn đã xây dựng thành công mô hình dự báo khách hàng rời mạng sử dụng thuật toán Cây quyết định tăng cường hai lớp với độ chính xác trên 98%.
• Tiền xử lý dữ liệu và trích lọc thuộc tính đóng vai trò quan trọng trong việc cải thiện hiệu suất mô hình, đặc biệt trong xử lý dữ liệu mất cân bằng.
• Các thuộc tính như số lần báo hỏng, phản hồi hài lòng, số lần tạm ngưng và giá cước là những nhân tố chính ảnh hưởng đến hành vi rời mạng.
• Hệ thống dự báo được đề xuất có thể hỗ trợ doanh nghiệp viễn thông chủ động giữ chân khách hàng, giảm thiểu tổn thất doanh thu và nâng cao lợi thế cạnh tranh.
• Các bước tiếp theo bao gồm triển khai hệ thống dự báo tự động, mở rộng thu thập dữ liệu và xây dựng chính sách chăm sóc khách hàng cá nhân hóa nhằm tối ưu hóa hiệu quả kinh doanh.

Hành động ngay hôm nay để ứng dụng mô hình dự báo khách hàng rời mạng, nâng cao hiệu quả kinh doanh và giữ vững vị thế trên thị trường viễn thông!

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan. Chương này giới thiệu tổng quan về đề tài, mục tiêu nghiên cứu, phương pháp nghiên cứu của đề tài, nội dung nghiêng cứu, kết quả của đề tài và bố cục tổng thể của luận văn. Chương 2: Cơ sở lý thuyết. Chương này trình bày các nội dung lý thuyết liên quan đến đề tài như: khai phá dữ liệu, học máy, các kỹ thuật phân tích dự báo và khung thức dự báo thuê bao rời bỏ nhà mạng.

Chương 3: Phương pháp tiếp cận. Chương này giới thiệu hướng tiếp cận của luận văn. Chương 4: Thực nghiệm. Chương này sẽ trình bày phương pháp hiện thực bài toán dự báo thuê bao rời mạng bằng mô hình cây quyết định tăng cường hai lớp (Two-Class Boosted Decision Tree) bằng hai phương pháp: Phương pháp 1: trên tập dữ liệu thô chưa qua tiền xử lý và trích lọc thuộc tính.

Phương pháp 2: trên tập dữ liệu đã qua tiền xử lý và trích lọc thuộc tính. Đồng thời, đánh giá hiệu suất sau khi áp dụng hai phương pháp. Chương 5: Kết luận và Hướng phát triển. Chương này trình bày các kết luận quan trọng, các công việc đã làm được và hướng phát triển của luận văn.

8 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT Để giải quyết bài toán xây dựng mô hình dự đoán thuê bao rời mạng thì chúng tôi cần các kiến thức tổng quan và chuyên sâu về khai phá dữ liệu (Data mining) và học máy (Machine learning), các kỹ thuật khai phá dữ liệu, các mô hình máy học mà trong luận văn hướng đến kỹ thuật mô hình cây quyết định để dự báo, các kỹ thuật lựa chọn thuộc tính và trích lọc thuộc tính. Chương này khảo sát các kiến thức liên quan đến cách thức giải bài toán dự báo thuê bao rời mạng dựa vào máy học và đánh giá các ưu, khuyết điểm của các phương pháp đó. Các khái niệm cơ bản về khai phá dữ liệu, học máy, các kỹ thuật xử lý dữ liệu lớn và phân tích dự báo 2. Khái niệm khai phá dữ liệu và học máy Khai phá dữ liệu là quá trình khảo sát và phân tích khối lượng lớn các dữ liệu được lưu trữ trong các cơ sở dữ liệu, kho dữ liệu… để từ đó trích xuất ra các thông tin quan trọng, có giá trị tiềm ẩn bên trong.

Do nhu cầu nghiệp vụ cần có cách nhìn thông tin trên quy mô toàn hệ thống và phải ứng dụng được để tạo tiền đề cho việc khai phá dữ liệu áp dụng vào doanh nghiệp. Các dữ liệu này được thu từ nhiều nguồn, đa số là từ các phần mềm nghiệp vụ như: phần mềm tài chính kế toán, các hệ thống điều hành sản xuất kinh doanh của doanh nghiệp, các hệ thống quản lý khách hàng… Đây là khối dữ liệu khổng lồ nhưng những thông tin mà nó thể hiện ra thì chưa được tinh chỉnh, rất phức tạp, chưa có cấu trúc ổn định và ít thông tin được hiển thị rõ rệt đối với người dùng. Kích thước của khối dữ liệu khổng lồ đó cũng tăng rất nhanh, chiếm nhiều dung lượng và tài nguyên lưu trữ. Khai phá dữ liệu sẽ giúp trích xuất ra các mẫu điển hình có giá trị và biến chúng thành những tri thức hữu ích.

Quá trình này gồm một số bước được thể hiện trong Hình 2. Các bước xây dựng một hệ thống KPDL Ý nghĩa cụ thể của các bước như sau: - Lựa chọn dữ liệu liên quan đến bài toán quan tâm. - Tiền xử lý dữ liệu, làm sạch dữ liệu - Chuyển đổi dữ liệu về dạng phù hợp thuận lợi cho việc khai phá. - KPDL, trích xuất ra các mẫu dữ liệu (mô hình).

- Đánh giá mẫu. - Sử dụng tri thức khai phá được. Các khai niệm về xử lý dữ liệu lớn 2. Xử lý dữ liệu phân tán Xử lý dữ liệu phân tán có liên quan chặt chẽ với xử lý dữ liệu song song trong đó áp dụng cùng một nguyên tắc "chia để trị".

Tuy nhiên, xử lý dữ liệu phân tán luôn đạt được thông qua các máy riêng biệt được nối mạng với nhau thành một cụm.2, một tác vụ được chia thành ba nhiệm vụ sau đó được thực hiện trên ba máy khác nhau chia sẻ một công tắc vật lý [10]. Xử lý dữ liệu Hadoop Hadoop là nền tảng mã nguồn mở để lưu trữ dữ liệu quy mô lớn và xử lý dữ liệu tương thích với phần cứng. Hadoop đã trở thành một nền tảng công nghiệp thực sự cho các giải pháp BigData. Nó có thể được sử dụng như một công cụ trích xuất, chuyển đổi và lưu trữ dữ liệu ETL (Extract, Tranformation, Loading).

Ngoài ra còn là một công cụ phân tích để xử lý một lượng lớn dữ liệu có cấu trúc, bán 10 cấu trúc và không cấu trúc. Hadoop thiết lập cơ chế MapReduce để xử lý dữ liệu [10]. Xử lý dữ liệu Workload Việc xử lý dữ liệu trong BigData được phân biệt theo khối lượng và tính chất của dữ liệu được xử lý trong một khoảng thời gian nhất định. Hiện có 02 hình thức xử lý dữ liệu trong BigData: - Xử lý dữ liệu theo lô (batch processing), còn được gọi là xử lý ngoại tuyến (offline), là việc xử lý dữ liệu với số lượng lớn, có độ trễ xử lý cao.

Hình thức xử lý này thường liên quan đến một lượng lớn dữ liệu với việc đọc/ghi tuần tự hoặc chỉ đọc/chỉ ghi. Các truy vấn có thể phức tạp và liên quan đến nhiều phép nối. Các hệ thống chạy cơ chế OLAP như BI hay các công cụ phân tích được định hướng theo lô vì chúng là các tác vụ đòi hỏi nhiều khả năng đọc với khối lượng dữ liệu lớn. - Xử lý giao dịch (transaction processing) còn được gọi là xử lý trực tuyến (online) là xử lý tương tác dữ liệu có độ trễ thấp.

Hình thức xử lý dữ liệu này liên quan đến một lượng nhỏ dữ liệu với việc đọc và ghi ngẫu nhiên. Khối lượng công việc giao dịch bao gồm đọc/ghi ngẫu nhiên có số phép nối (joins) ít hơn so với xử lý dữ liệu theo lô [5]. Xử lý dữ liệu theo cụm (cluster) Theo cùng cách mà các cụm cung cấp hỗ trợ cần thiết để tạo ra các giải pháp lưu trữ có thể mở rộng theo chiều ngang, các cụm cũng cung cấp cơ chế cho phép xử lý dữ liệu phân tán với khả năng mở rộng tuyến tính. Vì các cụm có khả năng mở rộng cao, chúng cung cấp một môi trường lý tưởng để xử lý Dữ liệu lớn vì các bộ dữ liệu lớn có thể được chia thành các bộ dữ liệu nhỏ hơn và sau đó được xử lý song song theo cách phân tán.

Khi tận dụng một cụm, bộ dữ liệu BigData có thể là chế độ hàng loạt (batch) hoặc chế độ thời gian thực (real time). Một lợi ích bổ sung của các cụm là chúng cung cấp dự phòng và khả năng chịu lỗi vốn có, vì chúng bao gồm các nút riêng biệt về mặt vật lý. Dự phòng và khả năng chịu lỗi cho phép xử lý và phân tích khả năng phục hồi xảy ra nếu xảy ra lỗi mạng hoặc 11 nút. Do sự biến động của nhu cầu xử lý được đặt trong môi trường Dữ liệu lớn, tận dụng các dịch vụ cơ sở hạ tầng máy chủ đám mây hoặc môi trường phân tích sẵn sàng làm xương sống của cụm, có thể cảm nhận được do tính linh hoạt và mô hình tính toán dựa trên tiện ích của nó [10].

Mô hình xử lý dữ liệu theo cụm 2.3 Các khái niệm phân tích dữ liệu và các loại hình phân tích dữ liệu Phân tích dữ liệu (Data Analysis) là quá trình xử lý dữ liệu để tìm ra các sự kiện, các mối quan hệ, mẫu (patterns) dữ liệu, hiểu biết dữ liệu và xu thế. Mục tiêu của phân tích dữ liệu là để hỗ trợ cho việc ra quyết định tốt hơn. Xử lý phân tích dữ liệu (Data Analytics) là một thuật ngữ rộng hơn khái niệm phân tích dữ liệu (Data Analysis). Quá trình này là việc quản lý vòng đời dữ liệu, bao gồm: Thu thập dữ liệu; Làm sạch dữ liệu; Tổ chức dữ liệu; Lưu trữ dữ liệu; Phân tích và quản lý dữ liệu.

Trong lĩnh vực BigData, phân tích dữ liệu còn cho phép phát triển các phương pháp dựa trên nền tảng và công nghệ phân tán có khả năng mở rộng cao. Nó có khả năng phân tích một khối lượng dữ liệu lớn từ các nguồn khác nhau. Giá trị và đô phức tạp tăng từ phân tích mô tả đến đề xuất Phân tích dữ liệu cho phép ra quyết định dựa trên dữ liệu thực tế có khoa học, nó không chỉ đơn thuần dựa vào kinh nghiệm và trực giác trong quá khứ. Có thể phân thành 04 loại phân tích dữ liệu: Phân tích mô tả (descriptive analytics); Phân tích chẩn đoán (diagnostic analytics); Phân tích dự báo (predictive analytics); Phân tích đề xuất (prescriptive analytics) [10].

Phân tích mô tả: Các thống kê cho thấy rằng có khoảng 80% kết quả phân tích được dưới dạng phân tích mô tả. Đây là dạng phân tích có giá trị thấp nhất, chỉ cần yêu cầu kỹ năng phân tích tương đối cơ bản. Phân tích mô tả được thực hiện để trả lời các sự kiện đã xảy ra, các câu hỏi mẫu để phân tích mô tả có dạng như sau: - Doanh số bán hàng trong 12 tháng đã qua là bao nhiêu? - Hoa hồng hàng tháng kiếm được từ mỗi đại lý bán hàng? Phân tích mô tả thường được thực hiện thông qua báo cáo hoặc dưới dạng bảng Dashboard (đồ thị hoặc biểu đồ). Các truy vấn được thực hiện từ kho dữ liệu của doanh nghiệp.

Ví dụ như hệ thống quản lý khách hàng CRM, hệ thống hoạch định nguồn lực ERP [10]. Phân tích chẩn đoán: Phân tích chẩn đoán nhằm xác định nguyên nhân của hiện tượng xảy ra trong quá khứ bằng cách sử dụng các câu hỏi tập trung vào lý do xảy ra sự kiện. Các dạng câu hỏi mẫu như: - Tại sao doanh thu Quý 2 thấp hơn doanh thu Quý 1. - Tại sao có tỷ lệ gia tăng sự cố mạng trong ba tháng qua.

13 Phân tích chẩn đoán cung cấp nhiều thông tin giá trị hơn phân tích mô tả, do vậy nó yêu cầu kỹ năng phân tích cao hơn. Kết quả phân tích chẩn đoán thông qua các công cụ trực quan giúp người dùng xác định được xu thế. Các truy vấn dữ liệu trong phân tích chẩn đoán cũng phức tạp hơn so với phân tích mô tả, nó được thực hiện trên dữ liệu đa chiều được lưu giữ trong các hệ thống phân tích [10]. Phân tích dự báo (dự đoán): Phân tích dự đoán dùng để xác định kết quả của một sự kiện nào đó sẽ xảy ra trong tương lai.