Tổng quan nghiên cứu

Thị trường viễn thông toàn cầu và Việt Nam đang chứng kiến sự cạnh tranh khốc liệt khi tỷ lệ thâm nhập thuê bao di động đạt ngưỡng bão hòa. Theo thống kê của ngành viễn thông, tỷ lệ rời mạng bình quân hàng năm dao động từ 20% đến 40%, tạo ra áp lực tài chính nặng nề cho các nhà cung cấp dịch vụ. Chi phí thu hút một thuê bao mới trong thực tế cao gấp 5 đến 10 lần so với chi phí giữ chân một khách hàng hiện hữu. Tại Tổng Công ty Viễn thông MobiFone, doanh nghiệp đạt doanh thu trên 40.000 tỷ đồng và phục vụ hơn 20 triệu khách hàng, nhóm thuê bao lâu năm hòa mạng trên 2 năm mang lại mức doanh thu trung bình cao hơn 48% so với nhóm thuê bao mới.

Vấn đề cốt lõi đặt ra là các nhà mạng thường thụ động phát hiện khách hàng rời mạng khi họ đã chuyển sang giai đoạn khóa một chiều hoặc hai chiều, thời điểm mà người dùng hầu như đã ngưng sử dụng sim hoặc tháo bỏ thiết bị. Mục tiêu cụ thể của nghiên cứu là xây dựng giải pháp ứng dụng kỹ thuật khai phá dữ liệu nhằm dự báo sớm nguy cơ rời mạng của nhóm thuê bao trả trước lâu năm ngay khi họ vẫn đang ở giai đoạn hoạt động bình thường, cụ thể là dấu hiệu không phát sinh cước trong vòng một tháng.

Phạm vi nghiên cứu tập trung vào toàn bộ mạng lưới MobiFone tại Việt Nam, sử dụng tập dữ liệu giao dịch thực tế từ tháng 5 đến tháng 7 năm 2015 để dự báo hành vi trong tháng 8 năm 2015. Ý nghĩa của nghiên cứu thể hiện rõ qua việc bảo vệ nguồn doanh thu ổn định, nâng cao giá trị vòng đời khách hàng và tối ưu hóa chi phí tiếp thị có mục tiêu cho doanh nghiệp viễn thông.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên lý thuyết Giá trị vòng đời khách hàng và lý thuyết Quản trị lòng trung thành trong lĩnh vực viễn thông. Khái niệm khách hàng rời mạng được phân thành hai dạng chính: rời mạng chủ động (khách hàng tự nguyện chuyển sang nhà mạng đối thủ hoặc đổi hình thức thuê bao) và rời mạng bị động (nhà mạng cắt dịch vụ do nợ cước hoặc vi phạm chính sách).

Chu trình của thuê bao trả trước gồm 4 giai đoạn rõ rệt: kích hoạt mới, hoạt động bình thường, khóa 1 chiều và khóa 2 chiều. Trong đó, khoảng thời gian chuyển dịch từ giai đoạn hoạt động đến khi hủy hoàn toàn thuê bao có thể kéo dài tới 100 ngày. Nghiên cứu định nghĩa điểm kích hoạt rời mạng là trạng thái thuê bao không phát sinh bất kỳ giao dịch cước nào trong vòng 30 ngày liên tục.

Về mặt công nghệ, nghiên cứu áp dụng khung phân lớp học có giám sát với các giải thuật phổ biến: Cây quyết định C4.5/J48, Mạng nơ-ron nhân tạo, Phân lớp xác suất Naïve Bayes và Luật kết hợp. Trọng tâm thuật toán C4.5 là sử dụng hàm Entropy để đo độ hỗn loạn thông tin kết hợp cùng chỉ số Tỷ số tăng thông tin nhằm triệt tiêu nhược điểm thiên vị các thuộc tính đa giá trị của thuật toán ID3 truyền thống.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được trích xuất trực tiếp từ hệ thống Kho dữ liệu và các bản ghi cước chi tiết của Tổng Công ty Viễn thông MobiFone. Quy trình làm sạch và tiền xử lý đã lọc bỏ các bản ghi khuyết thiếu, khử nhiễu từ các cuộc gọi bất thường và chuẩn hóa 86 trường thông tin liên quan đến doanh thu tài khoản chính, tài khoản khuyến mại, lưu lượng thoại/tin nhắn, số ngày cập nhật tổng đài định vị vị trí và lịch sử nạp thẻ.

Tổng cỡ mẫu thực nghiệm gồm gần 2.000.000 bản ghi dữ liệu lịch sử trong 3 tháng liên tiếp (tháng 5, 6 và 7 năm 2015). Phương pháp chọn mẫu áp dụng là phân tầng hành vi theo 5 nhóm thuê bao:

  • Nhóm 1: Thuê bao trả trước tiêu dùng tài khoản chính dưới 3.000 đồng/tháng.
  • Nhóm 2: Thuê bao trả trước tiêu dùng tài khoản chính từ 3.000 đồng trở lên nhưng không đạt chuẩn 3 ngày có mặt trên mạng.
  • Nhóm 3: Thuê bao chỉ phát sinh tiêu dùng trên tài khoản khuyến mại.
  • Nhóm 4: Thuê bao hoàn toàn không phát sinh cước trong tháng trước đó.
  • Nhóm 5: Thuê bao hoạt động bình thường đạt chuẩn phát sinh doanh thu trên 3.000 đồng và có trên 3 ngày cập nhật mạng.

Tập dữ liệu được chia theo tỷ lệ 66% cho tập huấn luyện và 34% cho tập kiểm chứng độc lập. Lý do lựa chọn thuật toán cây quyết định C4.5 trên môi trường phân tích Weka là nhờ tốc độ tính toán vượt trội, khả năng xử lý tốt các biến liên tục và khả năng sinh luật tường minh dạng điều kiện logic, giúp bộ phận kinh doanh dễ dàng diễn giải và triển khai chính sách thực tế.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa phương pháp chuyên gia hiện tại, giải pháp khai phá dữ liệu nguyên bản và giải pháp khai phá dữ liệu cải tiến đã mang lại những kết quả đột phá:

Thứ nhất, phương pháp phân tích đặc trưng truyền thống dựa trên tập luật tĩnh bộc lộ lỗ hổng lớn khi dự báo nhóm khách hàng mục tiêu quan trọng nhất. Cụ thể, đối với Nhóm 5 (thuê bao đang hoạt động bình thường), phương pháp cũ chỉ đạt độ chính xác 78,4%, tỷ lệ lỗi lên tới 21,6%, độ bao phủ chỉ đạt 49,3% và độ hiệu dụng vỏn vẹn 29,5%.

Thứ hai, việc áp dụng mô hình C4.5 toàn diện với đầy đủ 86 thuộc tính đã nâng vọt hiệu suất dự báo. Độ chính xác tại Nhóm 5 tăng mạnh từ 78,4% lên 98,9%, tức cải thiện 20,5% điểm tuyệt đối. Các nhóm còn lại đều đạt độ chính xác từ 99,4% đến 99,9%. Tuy nhiên, thời gian xây dựng mô hình còn khá cao, mất từ 44 giây đến 96 giây cho một tập dữ liệu nhóm.

Thứ ba, giải pháp cải tiến kết hợp thuật toán đánh giá thuộc tính Tỷ số tăng thông tin đã rút gọn không gian đặc trưng từ 86 biến xuống còn 7 đến 20 thuộc tính tối ưu nhất (Nhóm 1 dùng 15 thuộc tính, Nhóm 2 dùng 10 thuộc tính, Nhóm 3 dùng 12 thuộc tính, Nhóm 4 dùng 20 thuộc tính và Nhóm 5 chỉ cần 7 thuộc tính). Độ chính xác của giải pháp cải tiến vẫn duy trì ở mức tối ưu tuyệt đối: 99,3% ở Nhóm 1, 99,8% ở Nhóm 2, 99,9% ở Nhóm 3, 99,8% ở Nhóm 4 và 98,8% ở Nhóm 5.

Thứ tư, thời gian xử lý và huấn luyện mô hình được cắt giảm ngoạn mục từ 80% đến 90%. Thời gian xây dựng mô hình cho Nhóm 5 giảm từ 68 giây xuống chỉ còn 7 giây; Nhóm 1 giảm từ 86 giây xuống 16 giây; Nhóm 2 giảm từ 16 giây xuống 2 giây. Thời gian thực thi dự báo cho hàng trăm nghìn thuê bao chỉ mất từ 0,05 đến 0,16 giây.

Thảo luận kết quả

Nguyên nhân dẫn đến sự vượt trội của mô hình khai phá dữ liệu cải tiến là khả năng nhận diện các mối tương quan phi tuyến giữa các biến hành vi tiêu dùng phức tạp. Trong khi các quy tắc chuyên gia truyền thống bị giới hạn bởi ngưỡng định tính cố định, thuật toán cây quyết định tự động phân nhánh tối ưu dựa trên biến động của các chỉ số cốt lõi như số ngày phát sinh cước, số ngày cập nhật trạm định vị và tỷ lệ sụt giảm doanh thu thoại/data.

So sánh với các nghiên cứu trước đây trong ngành viễn thông, việc kết hợp bước tiền xử lý lọc đặc trưng trước khi phân lớp không chỉ giữ nguyên độ chính xác dự báo ở mức trên 98,8% mà còn giải quyết triệt để bài toán nghẽn cổ chai tài nguyên tính toán trên dữ liệu lớn.

Dữ liệu thực nghiệm có thể được biểu diễn trực quan qua các biểu đồ so sánh cột:

  • Biểu đồ đánh giá độ chính xác cho thấy sự chênh lệch rõ rệt tại nhóm mục tiêu khi phương pháp truyền thống chỉ đạt 78,4% so với 98,8% của giải pháp đề xuất.
  • Biểu đồ thời gian huấn luyện thể hiện mức sụt giảm mạnh mẽ của trục thời gian từ hàng chục giây xuống dưới 10 giây.
  • Bảng ma trận nhầm lẫn chuẩn hóa khẳng định tỷ lệ dự báo sai lệch được kiểm soát ở mức dưới 1,2% trên toàn bộ tập mẫu thử nghiệm.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, bốn nhóm giải pháp chiến lược được đề xuất nhằm tối ưu hóa công tác quản trị thuê bao rời mạng:

Một là, tích hợp trực tiếp module phân lớp C4.5 cải tiến vào hệ thống Kho dữ liệu viễn thông hiện hữu. Khối Công nghệ thông tin cần chủ trì xây dựng tiến trình trích xuất tự động định kỳ hàng tuần, duy trì thời gian xử lý dự báo dưới 0,1 giây cho mỗi lô dữ liệu 100.000 thuê bao, hoàn thành triển khai trong vòng 3 tháng tới.

Hai là, thiết lập hệ thống cảnh báo sớm và kích hoạt luồng chăm sóc khách hàng tự động đa kênh. Trung tâm Chăm sóc khách hàng phối hợp với Phòng Tiếp thị triển khai kịch bản tương tác chủ động (tin nhắn ưu đãi nạp thẻ, gói cước data cá nhân hóa) ngay khi thuê bao Nhóm 5 xuất hiện dấu hiệu suy giảm 7 thuộc tính then chốt, đặt mục tiêu duy trì tỷ lệ giữ chân thành công trên 85% thuê bao có nguy cơ rời mạng.

Ba là, tái cấu trúc chính sách giữ chân khách hàng từ bị động sang chủ động theo vòng đời. Phòng Quản trị sản phẩm cần hoàn thiện các gói cước tích hợp dài hạn dành riêng cho nhóm khách hàng sử dụng trên 2 năm, hạn chế tối đa việc để thuê bao chuyển dịch sang giai đoạn khóa 1 chiều, giúp tiết kiệm 15% đến 25% ngân sách khuyến mại dàn trải kém hiệu quả trong chu kỳ 6 tháng.

Bốn là, định kỳ đánh giá lại và tái huấn luyện mô hình phân lớp dữ liệu theo quý. Đội ngũ kỹ sư dữ liệu cần liên tục cập nhật các thuộc tính mới phát sinh từ xu hướng tiêu dùng dịch vụ số và dữ liệu gói cước 4G/5G, đảm bảo độ chính xác của toàn hệ thống luôn duy trì ổn định trên mức 98,5%.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị học thuật và ứng dụng thực tiễn sâu sắc cho bốn nhóm đối tượng chính:

Nhóm thứ nhất là Lãnh đạo doanh nghiệp viễn thông và Giám đốc kinh doanh dịch vụ số. Tài liệu cung cấp cơ sở định lượng để chuyển đổi chiến lược chăm sóc khách hàng từ diện rộng sang diện hẹp có mục tiêu, giúp tối ưu hóa ngân sách tiếp thị và bảo vệ doanh thu hàng nghìn tỷ đồng.

Nhóm thứ hai là Chuyên viên phân tích dữ liệu kinh doanh và Quản trị quan hệ khách hàng. Luận văn cung cấp trọn vẹn bộ khung 86 thuộc tính đặc trưng tiêu dùng viễn thông cùng phương pháp phân nhóm thuê bao chuẩn xác, có thể áp dụng trực tiếp vào nghiệp vụ phân khúc thị trường hàng ngày.

Nhóm thứ ba là Kỹ sư Khoa học dữ liệu và Học máy. Đây là tài liệu tham khảo chi tiết về quy trình xử lý dữ liệu lớn mất cân bằng, kỹ thuật chọn lọc đặc trưng bằng thuật toán đo tỷ số tăng thông tin và cách thức tối ưu hóa mô hình cây quyết định trên công cụ mã nguồn mở Weka.

Nhóm thứ tư là Giảng viên, Nghiên cứu sinh và Học viên cao học chuyên ngành Công nghệ thông tin và Hệ thống thông tin. Đề tài đóng vai trò là một ca nghiên cứu điển hình về việc hiện thực hóa các lý thuyết khai phá dữ liệu vào việc giải quyết bài toán kinh tế thực tế của một doanh nghiệp quy mô lớn.

Câu hỏi thường gặp

  1. Tại sao nghiên cứu lại tập trung vào nhóm thuê bao trả trước sử dụng trên 2 năm thay vì thuê bao mới hòa mạng? Thuê bao lâu năm mang lại doanh thu bình quân cao hơn 48% so với thuê bao mới và là nguồn đóng góp lợi nhuận cốt lõi của nhà mạng. Chi phí giữ chân nhóm này thấp hơn nhiều so với việc phát triển mới, trong khi việc để mất họ gây tổn thất doanh thu dài hạn nghiêm trọng cho doanh nghiệp.

  2. Tiêu chí xác định thuê bao rời mạng trong luận văn có điểm gì khác biệt so với cách hiểu thông thường? Thay vì chờ đến khi thuê bao bị khóa liên lạc hoàn toàn, nghiên cứu định nghĩa rời mạng là trạng thái thuê bao không phát sinh bất kỳ cước giao dịch nào trong 30 ngày liên tục dù vẫn đang ở trạng thái hoạt động bình thường, tạo ra khoảng thời gian vàng để nhà mạng can thiệp giữ chân kịp thời.

  3. Việc cắt giảm từ 86 thuộc tính xuống 7 đến 20 thuộc tính có làm suy giảm độ chính xác của dự báo không? Kết quả thực nghiệm chứng minh độ chính xác hầu như không thay đổi, vẫn duy trì ở mức 98,8% đến 99,9% trên các nhóm. Ngược lại, việc giảm số chiều dữ liệu giúp loại bỏ thuộc tính dư thừa, hạn chế hiện tượng quá khớp và tăng tốc độ xử lý lên gấp gần 10 lần.

  4. Vì sao thuật toán cây quyết định C4.5 lại được ưu tiên lựa chọn hơn so với Mạng nơ-ron hay Naïve Bayes trong đề tài này? C4.5 tạo ra các cây phân cấp và tập luật điều kiện dạng logic rất tường minh, dễ hiểu đối với đội ngũ nghiệp vụ kinh doanh. Đồng thời, giải thuật này có thời gian huấn luyện nhanh, xử lý tốt cả dữ liệu liên tục lẫn rời rạc trên quy mô hàng triệu bản ghi cước.

  5. Doanh nghiệp ngoài ngành viễn thông có thể áp dụng mô hình của luận văn này được không? Hoàn toàn có thể. Khung phương pháp luận gồm thu thập dữ liệu giao dịch, phân cụm hành vi, tinh lọc đặc trưng và phân lớp dự báo bằng cây quyết định có thể chuyển giao linh hoạt cho các lĩnh vực như ngân hàng, bảo hiểm, thương mại điện tử và dịch vụ phần mềm định kỳ.

Kết luận

  • Luận văn đã giải quyết triệt để bài toán dự báo thuê bao di động trả trước rời mạng bằng kỹ thuật khai phá dữ liệu hiện đại thay thế phương pháp tập luật thủ công.
  • Mô hình C4.5 cải tiến giúp nâng cao độ chính xác dự báo nhóm thuê bao hoạt động bình thường từ mức 78,4% lên 98,8%, giảm tỷ lệ lỗi xuống dưới 1,2%.
  • Phương pháp lựa chọn đặc trưng đã rút gọn thành công 86 trường dữ liệu xuống còn 7 đến 20 thuộc tính then chốt, tối ưu hóa toàn diện tài nguyên tính toán.
  • Thời gian xây dựng mô hình phân tích giảm mạnh từ 68 giây xuống chỉ còn 7 giây, đáp ứng hoàn hảo yêu cầu xử lý thời gian thực trên hệ thống dữ liệu lớn viễn thông.
  • Kiến trúc giải pháp đề xuất có tính ứng dụng thực tiễn cao, sẵn sàng tích hợp trực tiếp vào hệ thống Kho dữ liệu của các doanh nghiệp cung cấp dịch vụ số.

Các tổ chức viễn thông và doanh nghiệp dịch vụ cần nhanh chóng ứng dụng quy trình khai phá dữ liệu này vào hệ thống quản trị quan hệ khách hàng ngay trong quý tới nhằm tối ưu hóa chi phí vận hành và nâng cao năng lực cạnh tranh bền vững trên thị trường.