Tổng quan nghiên cứu

Thị trường viễn thông di động Việt Nam đã chứng kiến sự tăng trưởng vượt bậc với mật độ đạt 148,33 thuê bao trên 100 dân và tổng quy mô toàn mạng đạt hơn 131,72 triệu thuê bao vào năm 2012, đưa Việt Nam xếp vị trí thứ 8 trên toàn cầu về mức độ phổ cập dịch vụ di động. Tuy nhiên, sự phát triển nóng cũng đẩy ngành viễn thông bước vào giai đoạn bão hòa sâu sắc, nơi chi phí thu hút một thuê bao mới cao gấp 5 đến 10 lần so với chi phí giữ chân một khách hàng hiện hữu. Bên cạnh đó, tỷ lệ rời mạng trung bình hàng tháng tại các nhà mạng viễn thông duy trì ở mức khoảng 2%, trong khi tỷ lệ rời mạng thường niên tại khu vực Châu Á lên tới 48%. Hiện tượng khách hàng liên tục chuyển đổi mạng hoặc ngưng hợp đồng sau các đợt khuyến mại gây tổn thất nghiêm trọng đến doanh thu và lãng phí hạ tầng tài nguyên mạng lưới.

Đứng trước thách thức cạnh tranh khốc liệt, đề tài tập trung giải quyết bài toán phát hiện sớm hành vi và dự báo nguy cơ rời mạng của nhóm thuê bao trả sau. Mục tiêu cốt lõi của nghiên cứu là xây dựng quy trình khai phá dữ liệu toàn diện từ kho dữ liệu viễn thông, trích xuất các đặc trưng hành vi biến động và ứng dụng các mô hình học máy để phân lớp chính xác khách hàng có xu hướng rời mạng. Phạm vi nghiên cứu được triển khai trên dữ liệu thực tế của mạng di động Việt Nam trong giai đoạn 2012 đến 2014, áp dụng khung thời gian phân tích hành vi 3 tháng liên tiếp và chu kỳ quan sát 1 tháng. Ý nghĩa thực tiễn của nghiên cứu thể hiện qua việc đạt tỷ lệ dự đoán chính xác trên 60%, giúp nhà quản trị chủ động xây dựng chính sách chăm sóc khách hàng cá nhân hóa, giảm thiểu từ 15% đến 20% lượng thuê bao rời mạng hàng năm.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Lý thuyết phát hiện tri thức trong cơ sở dữ liệu và khai phá dữ liệu đóng vai trò nền tảng, định hình quy trình 7 giai đoạn chặt chẽ từ làm sạch, tích hợp, trích chọn, chuyển đổi, khai phá mẫu đến ước lượng và biểu diễn tri thức. Đồng thời, nghiên cứu vận dụng lý thuyết học máy có giám sát cho bài toán phân loại nhị phân nhằm phân tách dữ liệu thành hai nhóm: thuê bao tiếp tục sử dụng và thuê bao rời mạng. Mô hình nghiên cứu so sánh 4 thuật toán kinh điển gồm Cây quyết định C4.5, Naive Bayes, Máy học vecto hỗ trợ và Mạng nơ-ron nhân tạo truyền thẳng. Các khái niệm trung tâm được chuẩn hóa bao gồm: khái niệm rời mạng phản ánh quyết định ngừng sử dụng dịch vụ của khách hàng; mô hình kho dữ liệu viễn thông 3 tầng tích hợp thông tin cước, lưu lượng cuộc gọi và hồ sơ khách hàng; độ đo tỷ lệ tăng thông tin dùng để chọn thuộc tính phân nhánh tối ưu; và siêu phẳng phân tách lề cực đại trong không gian đa chiều của thuật toán máy học vecto hỗ trợ.

Phương pháp nghiên cứu

Dữ liệu nghiên cứu được trích xuất từ kho dữ liệu viễn thông với hồ sơ của khách hàng trả sau trong thời gian phân tích 3 tháng kết hợp 1 tháng quan sát. Bộ dữ liệu ban đầu thu thập 101 thuộc tính phản ánh toàn diện hành vi người dùng, gồm 5 thuộc tính thông tin khách hàng, 62 thuộc tính lưu lượng dịch vụ và 34 thuộc tính hóa đơn cước. Nghiên cứu áp dụng phương pháp lựa chọn thuộc tính dạng bao bọc trên công cụ Weka để chọn ra 17 thuộc tính có độ phân biệt cao nhất, đồng thời tiến hành rời rạc hóa 14 thuộc tính tỷ lệ thành 5 khoảng giá trị từ 0% đến 100%.

Nhằm xử lý triệt để hiện tượng mất cân bằng dữ liệu khi tỷ lệ thuê bao rời mạng trong thực tế chỉ chiếm khoảng 1%, phương pháp giảm lấy mẫu ngẫu nhiên được áp dụng trên nhóm khách hàng duy trì với 3 kịch bản tỷ lệ mẫu rời mạng trên không rời mạng gồm 1/10 với 42.603 mẫu, 1/2 với 11.619 mẫu và 1/1 với 7.746 mẫu. Quy trình phân tích áp dụng phương pháp kiểm định chéo 10 lần trên tập huấn luyện và đánh giá độc lập trên tập kiểm thử gồm 138.327 bản ghi chứa 1.226 thuê bao rời mạng và 137.101 thuê bao duy trì. Lý do lựa chọn 4 thuật toán phân lớp là nhằm đánh giá đa chiều giữa mô hình cây quyết định trực quan, mô hình xác suất điều kiện độc lập, mô hình tối ưu hóa khoảng cách hình học và mô hình phỏng sinh học phi tuyến tính.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm mang lại 4 phát hiện quan trọng trong bài toán dự đoán hành vi thuê bao di động:

Thứ nhất, việc cân bằng tỷ lệ phân bổ mẫu có ảnh hưởng quyết định đến khả năng nhận diện lớp thiểu số. Tại kịch bản tỷ lệ mẫu 1/10, các thuật toán chỉ phát hiện đúng khoảng 10% đến 20% thuê bao rời mạng do thiên vị lớp đa số; tuy nhiên khi cân bằng tỷ lệ mẫu về mức 1/1, độ hồi tưởng của lớp rời mạng ở tất cả các thuật toán đều tăng mạnh lên trên 65%.

Thứ hai, thuật toán Cây quyết định C4.5 mang lại hiệu năng tổng thể vượt trội nhất với tỷ lệ phân lớp đúng đạt 66,20% ở kịch bản tỷ lệ mẫu 1/1, đảm bảo sự cân bằng tối ưu giữa độ chính xác và độ hồi tưởng cho lớp khách hàng rời mạng.

Thứ ba, thời gian xây dựng mô hình có sự chênh lệch rất lớn giữa các giải thuật. Thuật toán Naive Bayes xử lý nhanh nhất với 0,01 giây, C4.5 hoàn thành trong 0,19 giây, thuật toán máy học vecto hỗ trợ mất 28,24 giây và Mạng nơ-ron nhân tạo tiêu tốn thời gian dài nhất lên đến 951,46 giây, chậm hơn C4.5 gần 5.000 lần.

Thứ tư, khi kiểm thử trên tập dữ liệu thực tế quy mô 138.327 thuê bao không qua giảm lấy mẫu, cả 4 mô hình đều duy trì tỷ lệ dự đoán chính xác thuê bao rời mạng đạt mức trên 60%.

Thảo luận kết quả

Nguyên nhân giúp Cây quyết định C4.5 đạt hiệu năng xuất sắc nằm ở khả năng xử lý linh hoạt các biến số liên tục đã rời rạc hóa và cơ chế cắt tỉa cành cây thông minh dựa trên độ đo tỷ lệ tăng thông tin, giúp giảm thiểu hiện tượng quá khớp. Ngược lại, Mạng nơ-ron nhân tạo đòi hỏi tài nguyên tính toán lớn do phải liên tục tối ưu hóa trọng số của các tầng ẩn qua nhiều chu kỳ lặp. So với các công bố quốc tế tại thị trường Châu Á và Châu Âu, nghiên cứu khẳng định sự tương đồng về các dấu hiệu cảnh báo rời mạng, nổi bật là việc suy giảm lưu lượng cuộc gọi nội mạng và gia tăng đột biến cước ngoại mạng trong tháng quan sát cuối cùng.

Để phục vụ công tác quản trị, các kết quả phân tích này có thể được trình bày trực quan thông qua biểu đồ cột so sánh thời gian thực thi của 4 thuật toán, kết hợp ma trận nhầm lẫn dạng bảng 4 ô thể hiện chi tiết số lượng phân lớp đúng và sai. Bên cạnh đó, đường cong đặc trưng hoạt động máy thu ROC và biểu đồ phân bổ 17 thuộc tính quan trọng sẽ giúp các nhà quản trị nhận diện nhanh chóng các nhóm khách hàng có nguy cơ rời mạng cao nhất.

Đề xuất và khuyến nghị

Dựa trên các phát hiện thực nghiệm, 4 giải pháp chiến lược được đề xuất nhằm tối ưu hóa công tác duy trì khách hàng:

Thứ nhất, tích hợp mô hình C4.5 vào hệ thống quản lý quan hệ khách hàng tự động. Trung tâm Công nghệ thông tin của nhà mạng cần chủ trì triển khai hệ thống quét dữ liệu định kỳ 30 ngày một lần, hướng tới mục tiêu giảm tỷ lệ cảnh báo sai xuống dưới 15% trong vòng 6 tháng tới.

Thứ tư, thiết kế các gói cước nội mạng và dịch vụ giá trị gia tăng linh hoạt. Phòng Kinh doanh và Tiếp thị cần căn cứ vào 17 thuộc tính hành vi để ban hành gói ưu đãi cước cho các thuê bao sụt giảm từ 40% lưu lượng gọi trong quý 3, phấn đấu giữ chân thành công 70% lượng khách hàng có nguy cơ rời mạng.

Thứ ba, chuẩn hóa quy trình chăm sóc khách hàng chủ động tại các tổng đài viễn thông. Trung tâm Chăm sóc khách hàng cần xây dựng kịch bản tiếp cận riêng biệt và hoàn thành đào tạo cho 100% nhân viên tư vấn trong thời hạn 3 tháng, đặt mục tiêu nâng mức độ hài lòng của khách hàng sau tương tác lên trên 85%.

Thứ tư, nâng cấp kiến trúc kho dữ liệu thuê bao 3 tầng theo chuẩn phân tích nâng cao. Ban Kỹ thuật mạng lưới cần phối hợp hoàn thiện hạ tầng dữ liệu lớn trong vòng 12 tháng, đảm bảo khả năng trích xuất và tiền xử lý dữ liệu của hơn 100.000 thuê bao diễn ra tự động trong vòng 24 giờ.

Đối tượng nên tham khảo luận văn

Nội dung và phương pháp luận của đề tài mang lại giá trị thiết thực cho 4 nhóm đối tượng chính:

Thứ nhất, chuyên viên phân tích dữ liệu và quản trị hệ thống tại các doanh nghiệp viễn thông, ngân hàng và tài chính. Nhóm này có thể tiếp thu trực tiếp quy trình 7 bước phát hiện tri thức và bộ 17 thuộc tính tinh gọn để triển khai hệ thống cảnh báo sớm, tiết kiệm từ 30% đến 50% thời gian xây dựng mô hình.

Thứ hai, giám đốc kinh doanh và nhà hoạch định chiến lược thị trường. Luận văn cung cấp bằng chứng thực nghiệm về hành vi tiêu dùng viễn thông, giúp tối ưu hóa ngân sách tiếp thị giữ chân khách hàng hiệu quả hơn từ 5 đến 10 lần so với việc tìm kiếm khách hàng mới.

Thứ ba, giảng viên, nghiên cứu sinh và học viên cao học thuộc các ngành Hệ thống thông tin, Khoa học dữ liệu và Trí tuệ nhân tạo. Đề tài là tài liệu học thuật giá trị về kỹ thuật xử lý dữ liệu mất cân bằng từ tỷ lệ 1% lên 1/1 và phương pháp đánh giá chéo 10 lần trên các thuật toán học máy.

Thứ tư, kỹ sư phát triển phần mềm và kiến trúc sư cơ sở dữ liệu. Họ có thể khai thác mô hình kho dữ liệu 3 tầng cùng cấu trúc 10 bảng dữ liệu quan hệ để thiết kế các ứng dụng xử lý phân tích trực tuyến quy mô hàng trăm nghìn bản ghi.

Câu hỏi thường gặp

Câu hỏi 1: Vì sao đề tài chỉ tập trung nghiên cứu dữ liệu của thuê bao trả sau thay vì thuê bao trả trước? Trả lời: Thuê bao trả trước thường rời mạng thụ động bằng cách bỏ sim mà không báo trước, khiến dữ liệu tiêu dùng bị ngắt quãng. Ngược lại, thuê bao trả sau có hợp đồng định danh rõ ràng, phát sinh hóa đơn cước hàng tháng và thực hiện thủ tục thanh lý hợp đồng, tạo điều kiện thu thập 101 thuộc tính dữ liệu hoàn chỉnh trong 3 tháng phân tích.

Câu hỏi 2: Kỹ thuật giảm lấy mẫu có gây mất mát thông tin quan trọng của tập dữ liệu khách hàng không? Trả lời: Việc giảm lấy mẫu ngẫu nhiên trên nhóm thuê bao duy trì giúp loại bỏ sự thiên vị khi tỷ lệ rời mạng chỉ chiếm khoảng 1%. Kết quả thực nghiệm chứng minh khi đưa về tỷ lệ 1/1 với 7.746 mẫu, mô hình C4.5 nâng độ nhận diện lớp rời mạng lên trên 65%, vượt trội so với mức 10% khi chưa giảm mẫu.

Câu hỏi 3: Thuật toán nào mang lại hiệu quả ứng dụng thực tế cao nhất cho doanh nghiệp viễn thông? Trả lời: Cây quyết định C4.5 là lựa chọn tối ưu nhất nhờ độ chính xác phân lớp đạt 66,20% và thời gian xử lý siêu tốc chỉ 0,19 giây. Mô hình này tạo ra các tập luật điều kiện dạng cây phân nhánh trực quan, giúp các nhà quản trị kinh doanh dễ dàng thấu hiểu và ban hành chính sách can thiệp kịp thời.

Câu hỏi 4: Những biến động hành vi nào cảnh báo rõ ràng nhất nguy cơ thuê bao chuẩn bị rời mạng? Trả lời: Trong số 17 thuộc tính cốt lõi, sự suy giảm số phút gọi nội mạng, mức gia tăng cước ngoại mạng và tần suất gọi dịch vụ giá trị gia tăng trong 3 tháng liên tiếp là các biến số cảnh báo mạnh mẽ nhất. Khách hàng giảm trên 40% lưu lượng nội mạng có xác suất rời mạng lên tới trên 60%.

Câu hỏi 5: Mô hình phân lớp của luận văn có thể ứng dụng cho các lĩnh vực kinh doanh khác ngoài viễn thông không? Trả lời: Hoàn toàn có thể mở rộng vì khung quy trình tiền xử lý và kỹ thuật học máy có tính tổng quát cao. Các doanh nghiệp cung cấp dịch vụ định kỳ như bảo hiểm, truyền hình cáp hoặc phần mềm theo gói thuê bao có thể áp dụng mô hình để dự báo nguy cơ hủy dịch vụ, bảo vệ từ 10% đến 20% doanh thu.

Kết luận

Nghiên cứu đã hoàn thành toàn diện bài toán phân tích dữ liệu thuê bao di động nhằm dự báo nguy cơ rời mạng với 5 đóng góp học thuật và thực tiễn nổi bật:

  • Xây dựng thành công quy trình khai phá dữ liệu chuẩn hóa, sàng lọc được 17 thuộc tính đặc trưng từ 101 thuộc tính ban đầu của thuê bao trả sau.
  • Giải quyết triệt để bài toán mất cân bằng dữ liệu bằng kỹ thuật giảm lấy mẫu, nâng cao độ hồi tưởng lớp rời mạng từ 10% lên trên 65%.
  • Xác định thuật toán Cây quyết định C4.5 đạt hiệu năng cao nhất với độ chính xác 66,20% và thời gian huấn luyện vượt trội 0,19 giây.
  • Đánh giá thành công mô hình trên tập kiểm thử độc lập 138.327 thuê bao, đạt tỷ lệ dự báo chính xác thuê bao rời mạng trên 60%.
  • Đề xuất hệ thống giải pháp giữ chân khách hàng thực tiễn, giúp doanh nghiệp tiết kiệm gấp 5 đến 10 lần chi phí so với việc phát triển thuê bao mới.

Trong lộ trình từ 6 đến 12 tháng tới, các hướng nghiên cứu tiếp theo sẽ tập trung mở rộng mô hình cho nhóm thuê bao trả trước và tích hợp các kỹ thuật học sâu tiên tiến. Quý độc giả và các nhà quản trị doanh nghiệp hãy tham khảo chi tiết toàn văn luận văn thạc sĩ để ứng dụng hiệu quả các mô hình học máy vào chiến lược quản trị và duy trì khách hàng.