Tổng quan nghiên cứu

Thị trường viễn thông Việt Nam ghi nhận quy mô vượt mức 100 triệu thuê bao di động hoạt động cùng sự cạnh tranh khốc liệt giữa các nhà mạng lớn như Viettel, VNPT Vinaphone và MobiFone. Trong bối cảnh doanh thu từ các dịch vụ truyền thống như thoại và tin nhắn SMS thoại sụt giảm dần, các dịch vụ giá trị gia tăng (Value-Added Services - VAS) đã trở thành trụ cột chiến lược đóng góp tỷ trọng lớn vào cơ cấu tổng doanh thu của các doanh nghiệp viễn thông. Điển hình như nhà mạng Viettel đã triển khai danh mục hơn 300 dịch vụ VAS đa dạng từ tiện ích cơ bản, nhạc chờ Imuzik, thanh toán di động BankPlus đến các gói nội dung số trên nền tảng 3G và 4G.

Tuy nhiên, sự bùng nổ về số lượng dịch vụ dẫn tới hiện tượng quá tải thông tin, khiến khách hàng gặp khó khăn trong việc tiếp cận các gói cước phù hợp. Việc quảng bá đại trà thông qua tin nhắn SMS spam hay tổng đài thoại tự động IVRS truyền thống không chỉ đạt tỷ lệ chuyển đổi dưới 5% mà còn gây phiền toái, gia tăng tỷ lệ rời mạng của thuê bao. Đứng trước thách thức đó, đề tài luận văn thạc sĩ chuyên ngành Hệ thống thông tin của tác giả Kiều Xuân Chấn, dưới sự hướng dẫn khoa học của TS. Nguyễn Hoàng Quân tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội năm 2017, tập trung giải quyết bài toán cốt lõi: Nghiên cứu, xây dựng và đánh giá hệ thống khuyến nghị (Recommender System) chuyên biệt cho dịch vụ giá trị gia tăng viễn thông.

Được thực hiện trong thời gian 6 tháng, nghiên cứu hướng tới mục tiêu mô hình hóa hành vi tiêu dùng viễn thông phức tạp, tự động hóa quy trình tư vấn và tối ưu hóa trải nghiệm khách hàng. Luận văn mang ý nghĩa thực tiễn sâu sắc khi cung cấp giải pháp thuật toán giúp giảm thiểu sai số dự đoán RMSE xuống mức tối ưu, góp phần nâng cao doanh thu dịch vụ VAS và tăng mức độ gắn kết của hàng triệu thuê bao di động.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng lý thuyết hệ thống khuyến nghị hiện đại kết hợp với đặc thù vận hành của mạng viễn thông di động:

  • Hệ thống khuyến nghị (Recommender System - RS): Hệ thống lọc thông tin nhằm dự đoán mức độ quan tâm hoặc đánh giá của người dùng đối với các hạng mục dịch vụ cụ thể. Luận văn phân tích ba trường phái tiếp cận chủ đạo: Lọc dựa trên nội dung (Content-based Filtering), Lọc cộng tác (Collaborative Filtering) và Hệ thống lai (Hybrid System). Trong đó, lọc cộng tác dựa trên giả định rằng các thuê bao có hành vi tiêu dùng tương đồng trong quá khứ sẽ có xu hướng lựa chọn các dịch vụ tương tự nhau trong tương lai.
  • Mô hình nhân tố ẩn và Thừa số hóa ma trận (Matrix Factorization - MF): Đây là kỹ thuật lọc cộng tác dựa trên mô hình tiên tiến. Thuật toán phân rã ma trận tương tác gốc giữa người dùng và dịch vụ thành tích của hai ma trận biểu diễn trong không gian nhân tố ẩn $f$ chiều. Mỗi người dùng được đại diện bởi vector $p_u \in \mathbb{R}^f$, mỗi dịch vụ biểu diễn bởi vector $q_i \in \mathbb{R}^f$, giúp ước lượng mức độ quan tâm thông qua tích vô hướng $r_{ui} = q_i^T p_u$.
  • Mô hình thừa số hóa ma trận có xét độ lệch (Biased Matrix Factorization): Mở rộng từ MF chuẩn bằng việc bổ sung các thành phần đặc trưng ưu tiên không phụ thuộc tương tác: $\hat{r}_{ui} = \mu + b_i + b_u + q_i^T p_u$, trong đó $\mu$ là giá trị đánh giá trung bình toàn hệ thống, $b_u$ là độ lệch đánh giá của người dùng và $b_i$ là độ lệch chất lượng của dịch vụ.
  • Thuật toán K láng giềng gần nhất (K-Nearest Neighbors - KNN): Phương pháp lọc cộng tác dựa trên bộ nhớ (Memory-based) sử dụng các độ đo khoảng cách và tương tự như khoảng cách Euclidean, khoảng cách Manhattan, hệ số tương quan Pearson và độ tương tự Cosine để tìm nhóm $K$ đối tượng tương đồng nhất.
  • Đặc trưng hệ sinh thái dịch vụ VAS: Phân loại chi tiết các nhóm dịch vụ tiện ích cơ bản (như thông báo cuộc gọi lỡ MCA, chặn cuộc gọi Callblock), dịch vụ giải trí (nhạc chờ Imuzik, Mobile TV) và dịch vụ dữ liệu trên nền băng rộng di động tốc độ cao từ 1 Gbps đến 1,5 Gbps của công nghệ 3G/4G, giao thức USSD (*098#, *101#), STK và ứng dụng di động.

Phương pháp nghiên cứu

  • Cỡ mẫu và nguồn dữ liệu thực nghiệm: Nghiên cứu sử dụng tập dữ liệu thực nghiệm quy mô lớn gồm 123.427 lượt đánh giá và tương tác của 7.913 thuê bao di động đối với 1.077 gói cước dịch vụ VAS khác nhau.
  • Phương pháp chọn mẫu và tiền xử lý: Dữ liệu được trích xuất mô phỏng trực tiếp từ hệ thống mạng viễn thông thực tế của Viettel. Nhằm đảm bảo tuyệt đối tính bảo mật thông tin khách hàng, toàn bộ định danh thuê bao và mã dịch vụ được mã hóa thành các chuỗi ID ẩn danh; các thuộc tính hồ sơ thuê bao (ARPU thoại, cước SMS, tiêu dùng Data, loại thuê bao trả trước hay trả sau) được chuẩn hóa theo thang đo tỉ lệ phù hợp.
  • Phương pháp phân tích và kiểm thử: Áp dụng phương pháp kiểm định chéo K-fold (chia thành 6 tập dữ liệu kiểm thử độc lập từ fold 1 đến fold 6, mỗi tập chứa xấp xỉ 9.999 đến 10.775 bản ghi) để huấn luyện và đánh giá thuật toán.
  • Lý do lựa chọn phương pháp: Việc kết hợp so sánh thuật toán KNN đại diện cho nhóm Memory-based và Matrix Factorization đại diện cho nhóm Model-based giúp kiểm chứng toàn diện khả năng thích ứng của thuật toán khi đối mặt với ma trận đánh giá cực kỳ thưa thớt (Sparsity) – đặc trưng cố hữu của cơ sở dữ liệu viễn thông. Hiệu năng mô hình được đo lường định lượng thông qua ba chỉ số tiêu chuẩn quốc tế: Sai số tuyệt đối trung bình (MAE), Sai số bình phương trung bình căn nguyên (RMSE) và Sai số tuyệt đối trung bình chuẩn hóa (NMAE).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa hai thuật toán KNN và Matrix Factorization trên 6 bộ dữ liệu viễn thông mang lại những phát hiện có giá trị học thuật và ứng dụng cao:

  1. Hiệu năng vượt trội của mô hình Matrix Factorization: Trên toàn bộ 6 fold dữ liệu thử nghiệm, thuật toán Matrix Factorization liên tục đạt độ chính xác cao hơn rõ rệt so với thuật toán KNN. Giá trị sai số RMSE của MF luôn duy trì ở mức thấp hơn từ 18% đến 24% so với KNN, chứng minh khả năng xấp xỉ chính xác sở thích thực tế của thuê bao.
  2. Khắc phục triệt để vấn đề ma trận thưa: Với quy mô 7.913 người dùng và 1.077 dịch vụ nhưng chỉ có 123.427 bản ghi tương tác, tỷ lệ lấp đầy của ma trận chỉ đạt khoảng 1,45% (độ thưa lên tới 98,55%). Trong khi thuật toán KNN bị suy giảm độ chính xác nghiêm trọng do thiếu các láng giềng có chung lịch sử đánh giá, thuật toán MF vẫn duy trì độ hội tụ ổn định nhờ ánh xạ các đặc trưng vào không gian vector ẩn $f$ chiều.
  3. Hiệu quả tích cực của thành phần đặc trưng ưu tiên (Biased MF): Việc tích hợp sai lệch đánh giá cá nhân $b_u$ (ví dụ: nhóm khách hàng khắt khe có xu hướng đánh giá thấp hơn trung bình 0,1 sao) và chất lượng dịch vụ nội tại $b_i$ (như dịch vụ MCA được đánh giá vượt trội 0,2 sao so với mức trung bình hệ thống 3,5 sao) giúp cải thiện thêm khoảng 8,5% độ chính xác của hàm mất mát.
  4. Tối ưu hóa không gian lưu trữ và tốc độ phản hồi: Mô hình MF sau khi hoàn tất giai đoạn huấn luyện offline chỉ cần lưu trữ các ma trận trọng số $p_u$ và $q_i$ với dung lượng bộ nhớ giảm hơn 90% so với việc lưu trữ toàn bộ lịch sử thô phục vụ tìm láng giềng thời gian thực của KNN, đồng thời cho thời gian truy xuất khuyến nghị dưới 50 mili-giây.

Thảo luận kết quả

Các kết quả thực nghiệm chỉ ra rằng sự khác biệt về bản chất giữa hai phương pháp tiếp cận đóng vai trò quyết định đến chất lượng gợi ý dịch vụ viễn thông. Phương pháp KNN phụ thuộc chặt chẽ vào số lượng mục đánh giá chung giữa các cặp người dùng. Tuy nhiên, trong thực tế mạng viễn thông, phần lớn thuê bao chỉ đăng ký từ 1 đến 3 dịch vụ VAS trong suốt vòng đời sử dụng, khiến tích vô hướng giữa các vector người dùng trong KNN thường xuyên bằng 0 hoặc không đáng tin cậy.

Trái lại, mô hình Matrix Factorization phân tích các mối tương quan tiềm ẩn sâu hơn: một người dùng thường xuyên đăng ký gói cước 3G/4G dung lượng cao và dịch vụ MCA có thể chia sẻ cùng một vector không gian ẩn với người dùng đăng ký Mobile TV, phản ánh thói quen tiêu dùng công nghệ số hiện đại.

Để minh họa trực quan các kết quả nghiên cứu, dữ liệu có thể được trình bày qua:

  • Biểu đồ cột so sánh đa trục: Thể hiện giá trị sai số RMSE của KNN và MF qua 6 fold thử nghiệm, cho thấy đường sai số của MF luôn nằm dưới ngưỡng sai số của KNN trên tất cả các kịch bản.
  • Bảng ma trận tổng hợp chỉ số hiệu năng: Trình bày chi tiết các giá trị MAE, RMSE và NMAE giúp đối sánh trực quan mức độ lệch chuẩn tuyệt đối của từng thuật toán.
  • Đồ thị không gian nhân tố hai chiều: Minh họa cụm phân bố của 7.913 thuê bao và 1.077 dịch vụ VAS trên 2 trục nhân tố chính (như Mức độ chi tiêu cước ARPU và Xu hướng tiêu thụ nội dung đa phương tiện), làm rõ khả năng phân tách ranh giới sở thích người dùng của mô hình MF.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đề xuất 4 nhóm giải pháp chiến lược nhằm tối ưu hóa việc ứng dụng hệ thống khuyến nghị trong thực tiễn kinh doanh viễn thông:

  1. Triển khai kiến trúc hệ thống gợi ý lai (Hybrid Recommendation Architecture): Kết hợp thuật toán Biased Matrix Factorization với phương pháp lọc dựa trên nội dung thuộc tính thuê bao (độ tuổi, giới tính, gói cước sinh viên, vùng miền địa lý). Mục tiêu là nâng cao tỷ lệ chấp nhận dịch vụ của thuê bao mới lên thêm 15% trong vòng 6 tháng triển khai, do Đội ngũ Kỹ sư Dữ liệu và Trung tâm Phần mềm viễn thông chủ trì.
  2. Cá nhân hóa thông điệp qua đa kênh tiếp cận thông minh: Tích hợp đầu ra của mô hình khuyến nghị vào các kênh tương tác trực tiếp bao gồm SMS Marketing theo ngữ cảnh, giao thức tương tác nhanh USSD (*098#), ứng dụng MyViettel và cổng tương tác giọng nói IVRS. Mục tiêu giảm thiểu 30% tỷ lệ phản hồi tiêu cực về tin nhắn quảng cáo trong 3 tháng, do Khối Dịch vụ VAS và Trung tâm Chăm sóc khách hàng thực hiện.
  3. Xây dựng hạ tầng xử lý dữ liệu lớn theo thời gian thực (Real-time Big Data Pipeline): Áp dụng các công nghệ xử lý luồng dữ liệu phân tán như Apache Spark Streaming và Apache Kafka nhằm cập nhật vector nhân tố ẩn của thuê bao ngay khi phát sinh giao dịch mới, duy trì độ trễ gợi ý dưới 100 mili-giây trong vòng 9 tháng, do Phòng Hạ tầng CNTT đảm trách.
  4. Bổ sung thành phần ngữ cảnh động và suy giảm theo thời gian (Time-decay Context-aware): Cập nhật trọng số suy giảm đối với các tương tác dịch vụ cũ và tích hợp thêm dữ liệu ngữ cảnh thời gian thực (vị trí trạm phát sóng BTS, số dư tài khoản chính, chu kỳ ngày/đêm) nhằm thúc đẩy tỷ lệ chuyển đổi đăng ký dịch vụ tăng thêm 18% trong vòng 12 tháng, do Bộ phận R&D Viễn thông phụ trách.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị tham khảo chuyên môn sâu sắc cho 4 nhóm đối tượng trọng tâm sau:

  1. Kỹ sư Khoa học Dữ liệu và Machine Learning tại các doanh nghiệp viễn thông: Cung cấp đầy đủ cơ sở toán học, công thức tính toán độ đo tương tự, hàm mất mát và quy trình tối ưu hóa Gradient Descent cho mô hình Matrix Factorization trên dữ liệu viễn thông thực tế.
  2. Giám đốc sản phẩm và Chuyên viên phát triển dịch vụ VAS: Nắm bắt phương pháp phân đoạn khách hàng tự động, hiểu rõ các đặc thù của hơn 300 dịch vụ viễn thông để xây dựng các kịch bản Upsell và Cross-sell gói cước chính xác, giảm tỷ lệ rời mạng.
  3. Giảng viên, Học viên cao học và Nghiên cứu sinh ngành Công nghệ thông tin: Nguồn tài liệu học thuật tiêu chuẩn về hệ thống khuyến nghị, kỹ thuật xử lý ma trận thưa và phương pháp đánh giá mô hình bằng các chỉ số MAE, RMSE, NMAE.
  4. Các doanh nghiệp Nội dung số, E-commerce và Fintech: Vận dụng khung phân tích hành vi người dùng và mô hình gợi ý sản phẩm/dịch vụ thanh toán (tương tự như BankPlus) vào hệ thống đề xuất thương mại điện tử quy mô lớn.

Câu hỏi thường gặp

1. Tại sao bài toán khuyến nghị dịch vụ VAS lại phức tạp hơn bài toán gợi ý trong thương mại điện tử?

Trong thương mại điện tử, người dùng thường để lại đánh giá sao rõ ràng và có lịch sử mua hàng phong phú. Ngược lại, trong ngành viễn thông, phản hồi của thuê bao đối với hơn 300 dịch vụ VAS chủ yếu là phản hồi ngầm định thông qua lịch sử sử dụng cước, mức độ tương tác USSD hoặc tin nhắn SMS, tạo ra ma trận đánh giá cực kỳ thưa thớt với độ thưa vượt mức 98%.

2. Thuật toán Matrix Factorization giải quyết hiện tượng ma trận thưa như thế nào?

Matrix Factorization không so sánh trực tiếp các hàng hoặc cột thưa thớt như phương pháp KNN láng giềng. Thay vào đó, thuật toán phân rã ma trận tương tác ban đầu thành tích của hai ma trận nhân tố ẩn có số chiều thấp hơn nhiều ($f$ chiều), cho phép nắm bắt cấu trúc ẩn sâu về sở thích của 7.913 người dùng và đặc tính của 1.077 dịch vụ để dự đoán chính xác các vị trí chưa từng phát sinh tương tác.

3. Chỉ số NMAE có vai trò gì trong việc đánh giá hệ thống khuyến nghị?

Chỉ số NMAE (Normalized Mean Absolute Error) thực hiện chuẩn hóa sai số tuyệt đối trung bình bằng cách chia cho khoảng cách giữa mức đánh giá tối đa và tối thiểu trong hệ thống. Việc đưa sai số về đoạn giá trị chuẩn từ 0 đến 1 giúp các nhà nghiên cứu dễ dàng so sánh hiệu năng của mô hình khuyến nghị trên các tập dữ liệu có thang đo đánh giá khác biệt nhau.

4. Hệ thống khuyến nghị có giải quyết được vấn đề người dùng mới (Cold Start) không?

Đối với các thuê bao mới chưa có lịch sử tiêu dùng, mô hình lọc cộng tác thuần túy gặp hạn chế. Tuy nhiên, luận văn đã mở rộng giải pháp bằng cách sử dụng các đặc trưng nhân khẩu học ban đầu như loại thuê bao trả trước hay trả sau, gói cước hòa mạng (học sinh, sinh viên, D-Com) và độ tuổi để phân bổ vector khởi tạo xấp xỉ, giúp hệ thống đưa ra các gợi ý hợp lý ngay từ lần đầu tiếp cận.

5. Mô hình nghiên cứu trong luận văn có thể triển khai cho mạng lưới hàng chục triệu thuê bao không?

Hoàn toàn khả thi. Do mô hình Matrix Factorization tách biệt rõ ràng giữa quá trình huấn luyện offline tốn tài nguyên và quá trình tính toán tích vô hướng online cực nhanh, hệ thống hoàn toàn đáp ứng được yêu cầu mở rộng quy mô phục vụ hơn 100 triệu thuê bao với thời gian đáp ứng thời gian thực dưới 50 mili-giây.

Kết luận

  • Luận văn đã giải quyết toàn diện bài toán tối ưu hóa hệ thống khuyến nghị cho hơn 300 dịch vụ giá trị gia tăng (VAS) trên quy mô mạng viễn thông hàng đầu Việt Nam.
  • Thực nghiệm trên 123.427 bản ghi của 7.913 người dùng khẳng định thuật toán Matrix Factorization vượt trội hoàn toàn so với KNN, giúp giảm sai số RMSE từ 18% đến 24% trên toàn bộ các fold dữ liệu.
  • Mô hình Biased Matrix Factorization tích hợp sai lệch người dùng và chất lượng nội tại của dịch vụ chứng minh được tính ưu việt khi giải quyết triệt để vấn đề ma trận dữ liệu thưa thớt trên 98%.
  • Đóng góp khoa học then chốt của công trình là cung cấp cơ sở toán học chuẩn mực, quy trình tiền xử lý dữ liệu ẩn danh hóa an toàn và mô hình gợi ý thực tế có khả năng triển khai tức thì trên hạ tầng Big Data viễn thông.
  • Trong lộ trình 12 đến 24 tháng tới, việc tích hợp mạng nơ-ron sâu (Deep Learning Recommender) và dữ liệu ngữ cảnh thời gian thực sẽ là bước phát triển kế thừa quan trọng giúp nâng cao hơn nữa trải nghiệm số của người dùng di động. Hãy áp dụng ngay các giải pháp kỹ thuật và khung mô hình từ luận văn này để nâng tầm hiệu quả kinh doanh dịch vụ số cho doanh nghiệp của bạn.