Ứng dụng học máy trong dự đoán nghề nghiệp của thuê bao di động

Chuyên đề nghiên cứu Dự đoán nghề nghiệp thuê bao di động bằng học máy, cập nhật xu hướng mới, giá trị tham khảo cao cho chuyên gia chuyên ngành

• Tác giả: Hoàng Mạnh Hưng
• Người hướng dẫn: PGS. Trần Quang Anh
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Dự Đoán Nghề Nghiệp Của Thuê Bao Di Động
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CÁM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU
• 1.1. Mô tả chung về nghiên cứu
• 1.2. Đặt vấn đề và giải quyết bài toán
• 1.3. Các đặc điểm về dữ liệu nhà mạng
• 1.3.1. Giới thiệu về dữ liệu của nhà mạng
• 1.3.2. Khối lượng dữ liệu lớn và phức tạp
• 1.3.3. Dữ liệu đa dạng và trùng lặp
• 1.3.4. Tập dữ liệu không cân bằng
• 1.3.5. Giá trị bị mất
• 1.3.6. Giá trị cố định
• 1.4. Phân nhóm nghề nghiệp và dữ liệu mẫu
• 1.4.1. Lý thuyết chọn mẫu
• 1.4.2. Mẫu nghiên cứu
• 2. CHƯƠNG 2: MỘT SỐ THUẬT TOÁN HỌC MÁY LIÊN QUAN
• 2.1. Cây quyết định
• 2.2. Rừng ngẫu nhiên
• 2.3. Mô hình tuyến tính tổng quát
• 2.4. Các thuật toán Boosting
• 2.4.1. Phát biểu bài toán
• 2.4.2. Kết hợp hai hướng tiếp cận
• 2.4.3. Thuật toán Gradient boosting (GBM)
• 2.4.4. Triển khai thuật toán XGBoost
• 2.5. Đánh giá mô hình
• 2.5.1. Độ đo dùng trong phân loại
• 2.5.2. ROC và AUC
• 2.5.3. Đánh giá mô hình bằng kiểm tra chéo
• 3. CHƯƠNG 3: ỨNG DỤNG HỌC MÁY ĐỂ PHÂN NHÓM NGHỀ NGHIỆP
• 3.1. Mô hình đề xuất
• 3.2. Xử lý dữ liệu
• 3.2.1. Các bảng dữ liệu chính
• 3.2.2. Xây dựng đặc trưng
• 3.3. Trích chọn đặc trưng
• 3.4. Thực nghiệm và kết quả
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC CÁC HÌNH
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan nghiên cứu

Nghiên cứu này tập trung vào việc dự đoán nghề nghiệp của thuê bao di động thông qua các kỹ thuật học máy. Mục tiêu chính là phát triển một mô hình có khả năng phân loại khách hàng, từ đó giúp các nhà cung cấp dịch vụ viễn thông hiểu rõ hơn về đối tượng khách hàng của họ. Việc xác định chân dung khách hàng không chỉ giúp tối ưu hóa các chiến dịch quảng bá mà còn nâng cao trải nghiệm khách hàng. Mô hình được xây dựng dựa trên dữ liệu từ các bản ghi chi tiết cuộc gọi (CDR) và sử dụng thuật toán XGBoost để đạt được độ chính xác cao trong việc phân loại. Kết quả cho thấy mô hình đạt được giá trị AUC lên đến 94,6%, cho thấy tính khả thi và hiệu quả của phương pháp này trong việc dự đoán nghề nghiệp.

1.1 Đặt vấn đề và giải quyết bài toán

Trong bối cảnh thị trường viễn thông ngày càng bão hòa, việc xác định chân dung khách hàng trở thành một yếu tố quan trọng. Các công ty viễn thông cần hiểu rõ nhu cầu và mong muốn của khách hàng để phát triển các dịch vụ phù hợp. Nghiên cứu này nhằm mục đích phân loại khách hàng thành hai nhóm: sinh viên và không phải sinh viên, từ đó giúp các nhà mạng đưa ra các gói dịch vụ và sản phẩm phù hợp. Dữ liệu được thu thập từ các hành vi sử dụng dịch vụ của khách hàng, với khối lượng lên đến 50TB, cho phép xây dựng mô hình dự đoán chính xác hơn. Việc sử dụng các thuật toán học máy như Rừng ngẫu nhiên và Gradient Boosting cũng được thử nghiệm để tìm ra phương pháp tối ưu nhất cho bài toán phân loại này.

II. Một số thuật toán học máy liên quan

Nghiên cứu đã áp dụng nhiều thuật toán học máy khác nhau để phân loại dữ liệu, bao gồm Cây quyết định, Rừng ngẫu nhiên, và XGBoost. Mỗi thuật toán có những ưu điểm và nhược điểm riêng, nhưng XGBoost đã cho thấy hiệu suất vượt trội trong việc phân loại. Việc sử dụng Gradient boosting giúp cải thiện độ chính xác của mô hình bằng cách kết hợp nhiều cây quyết định. Đặc biệt, thuật toán XGBoost không chỉ nhanh chóng mà còn hiệu quả trong việc xử lý các tập dữ liệu lớn và phức tạp. Kết quả từ các thử nghiệm cho thấy rằng việc lựa chọn thuật toán phù hợp có thể ảnh hưởng lớn đến độ chính xác của mô hình, từ đó khẳng định tầm quan trọng của việc lựa chọn đúng phương pháp trong phân tích dữ liệu.

2.1 Đánh giá mô hình

Để đánh giá hiệu suất của các mô hình, các chỉ số như ROC và AUC được sử dụng. ROC cho phép đánh giá khả năng phân loại của mô hình qua các ngưỡng khác nhau, trong khi AUC cung cấp một giá trị duy nhất để so sánh các mô hình khác nhau. Kết quả cho thấy mô hình XGBoost đạt được giá trị AUC cao nhất, cho thấy khả năng phân loại chính xác giữa hai nhóm khách hàng. Việc đánh giá mô hình không chỉ giúp xác định độ chính xác mà còn cung cấp thông tin quan trọng để cải thiện mô hình trong tương lai.

III. Ứng dụng học máy để phân nhóm nghề nghiệp

Mô hình được phát triển trong nghiên cứu này không chỉ dừng lại ở việc phân loại đơn giản mà còn mở rộng ra việc phân nhóm nghề nghiệp cho thuê bao di động. Việc phân nhóm này giúp các nhà mạng có cái nhìn tổng quát hơn về đối tượng khách hàng của mình, từ đó có thể đưa ra các chiến lược tiếp thị hiệu quả hơn. Dữ liệu được xử lý và trích xuất từ các bản ghi chi tiết cuộc gọi, cho phép xây dựng các đặc trưng mạnh mẽ cho mô hình. Kết quả thực nghiệm cho thấy mô hình có khả năng phân loại chính xác, từ đó khẳng định giá trị thực tiễn của nghiên cứu trong việc hỗ trợ các nhà mạng trong việc phát triển dịch vụ và sản phẩm.

3.1 Xử lý dữ liệu

Quá trình xử lý dữ liệu là một bước quan trọng trong việc xây dựng mô hình. Dữ liệu từ các bản ghi chi tiết cuộc gọi cần được làm sạch và chuẩn hóa để đảm bảo tính chính xác. Việc xử lý các giá trị bị mất và loại bỏ các biến không cần thiết cũng là một phần không thể thiếu trong quá trình này. Kết quả từ việc xử lý dữ liệu cho thấy rằng việc chuẩn hóa và làm sạch dữ liệu có thể cải thiện đáng kể hiệu suất của mô hình. Điều này nhấn mạnh tầm quan trọng của việc chuẩn bị dữ liệu trong phân tích dữ liệu và học máy.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh thị trường viễn thông Việt Nam đã trở nên bão hòa với hơn 125,8 triệu thuê bao di động vào năm 2019, việc xác định chân dung khách hàng trở thành một yếu tố then chốt giúp các doanh nghiệp viễn thông nâng cao hiệu quả kinh doanh. Việc dự đoán nghề nghiệp của thuê bao di động, đặc biệt là phân biệt thuê bao sinh viên, giúp các nhà mạng phát triển các gói sản phẩm và dịch vụ giá trị gia tăng phù hợp, từ đó gia tăng lợi nhuận và giữ chân khách hàng. Nghiên cứu này tập trung xây dựng mô hình dự đoán nghề nghiệp của thuê bao di động dựa trên dữ liệu chi tiết cuộc gọi (CDR) và các hành vi sử dụng dịch vụ trong vòng 6 tháng, với khối lượng dữ liệu thô lên đến hơn 50TB, được lưu trữ trên hệ thống phân tán Hadoop.

Mục tiêu chính của luận văn là phát triển một mô hình học máy phân loại nhị phân để dự đoán xem một thuê bao có phải là sinh viên hay không, sử dụng các thuật toán tiên tiến như XGBoost, GBM, GLM và Random Forest. Nghiên cứu được thực hiện trên dữ liệu của một trong ba nhà mạng lớn tại Việt Nam, với phạm vi thời gian thu thập dữ liệu từ năm 2018 đến 2019. Kết quả mô hình XGBoost đạt giá trị AUC lên đến 94,6%, cho thấy hiệu quả cao trong việc phân loại chính xác thuê bao sinh viên. Nghiên cứu có ý nghĩa quan trọng trong việc hỗ trợ các nhà mạng tối ưu hóa chiến lược tiếp thị, phát triển sản phẩm và nâng cao trải nghiệm khách hàng dựa trên phân tích dữ liệu lớn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên các lý thuyết và mô hình học máy hiện đại, bao gồm:

• Cây quyết định (Decision Tree): Thuật toán phân loại dựa trên việc xây dựng các luật phân chia dữ liệu theo các thuộc tính nhằm tạo ra các tập con đồng nhất nhất. Entropy và độ tăng thông tin (Information Gain) được sử dụng để lựa chọn thuộc tính phân chia tốt nhất.

• Rừng ngẫu nhiên (Random Forest): Tập hợp nhiều cây quyết định được xây dựng trên các mẫu dữ liệu và tập con thuộc tính ngẫu nhiên, sử dụng bầu chọn đa số để đưa ra dự đoán, giúp tăng độ chính xác và giảm hiện tượng quá khớp.

• Mô hình tuyến tính tổng quát (Generalized Linear Model - GLM): Mở rộng hồi quy tuyến tính cho phép mô hình hóa các biến phụ thuộc theo các phân phối khác nhau, sử dụng hàm liên kết để kết nối biến độc lập với biến mục tiêu.

• Thuật toán Boosting (Gradient Boosting Machine - GBM và eXtreme Gradient Boosting - XGBoost): Phương pháp kết hợp nhiều mô hình yếu (weak learners) theo cách tăng cường, sử dụng gradient descent trong không gian hàm số để tối ưu hóa hàm mất mát, giúp cải thiện độ chính xác phân loại.

Các khái niệm chính bao gồm entropy, độ tăng thông tin, hàm mất mát, gradient descent, và các chỉ số đánh giá mô hình như AUC, ROC, precision, recall.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là các bản ghi chi tiết cuộc gọi (CDR) và các bảng dữ liệu liên quan đến hành vi sử dụng dịch vụ viễn thông của thuê bao di động trong vòng 6 tháng, với tổng dung lượng hơn 50TB. Dữ liệu được mã hóa để đảm bảo an toàn thông tin và tuân thủ các quy định bảo vệ dữ liệu cá nhân.

Phương pháp chọn mẫu phi xác suất thuận tiện được áp dụng để thu thập 7.388 mẫu sinh viên từ các trường đại học lớn tại Việt Nam và hơn 8.000 mẫu đối lập, tạo thành tập dữ liệu 13.428 mẫu cuối cùng sau khi loại bỏ các mẫu không hợp lệ. Dữ liệu được xử lý và tổng hợp thành hơn 5.000 đặc trưng, sau đó trích chọn 811 đặc trưng mạnh mẽ nhất dựa trên phương pháp trọng số dấu hiệu (WOE) và chỉ số giá trị thông tin (IV).

Quy trình phân tích sử dụng phần mềm H2O trên nền tảng R, với kỹ thuật AutoML tự động huấn luyện và đánh giá các mô hình XGBoost, GBM, GLM và Random Forest. Dữ liệu được chia thành 90% dùng để huấn luyện và 10% để kiểm thử, với xác thực chéo 9 lần (K=9) để tối ưu tham số và đánh giá mô hình.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất mô hình XGBoost vượt trội: Mô hình XGBoost đạt giá trị AUC 94,6% trên tập huấn luyện và 93% trên tập kiểm thử, với độ chính xác dự đoán lên đến 87,3%. Các mô hình GBM, Random Forest và GLM lần lượt đạt AUC 94,4%, 91,5% và 89,4%.

2. Đặc trưng quan trọng nhất: Tuổi sim (sim_age_months) có trọng số cao nhất, phản ánh thói quen thay đổi sim của sinh viên so với người đi làm. Tiếp theo là tỷ lệ sử dụng dịch vụ giá trị gia tăng (VAS), tỷ lệ cước 3G, tỷ lệ cước gọi nội mạng và tỷ lệ số lần nạp tiền trên tổng số tiền nạp.

3. Xử lý dữ liệu phức tạp và đa dạng: Dữ liệu CDR có tính đa dạng cao, chứa nhiều giá trị bị mất, trùng lặp và không cân bằng. Qua quá trình ETL, số lượng bảng và trường dữ liệu được giảm gần một nửa, giúp tăng hiệu quả xử lý và chất lượng mô hình.

4. Phương pháp trích chọn đặc trưng hiệu quả: Việc sử dụng WOE và IV giúp rút gọn từ hơn 5.000 đặc trưng xuống còn 811 đặc trưng có sức mạnh dự đoán cao, giảm thiểu nhiễu và tăng tốc độ huấn luyện.

Thảo luận kết quả

Kết quả cho thấy thuật toán XGBoost phù hợp nhất với bài toán phân loại nghề nghiệp dựa trên dữ liệu viễn thông lớn và phức tạp, nhờ khả năng xử lý song song, kiểm soát overfitting và tận dụng tài nguyên hệ thống hiệu quả. Việc tuổi sim là đặc trưng quan trọng nhất phù hợp với thực tế sinh viên thường xuyên thay đổi sim hoặc mới sử dụng điện thoại, trong khi người đi làm có xu hướng giữ sim lâu dài.

So sánh với các nghiên cứu khác trong lĩnh vực khai phá dữ liệu viễn thông, kết quả AUC trên 90% được xem là rất khả quan, chứng tỏ mô hình có khả năng phân biệt chính xác giữa thuê bao sinh viên và không sinh viên. Việc xử lý dữ liệu lớn với hơn 50TB thô và đa dạng các loại bảng dữ liệu cũng là điểm mạnh của nghiên cứu, thể hiện khả năng ứng dụng công nghệ Big Data và học máy trong thực tế.

Biểu đồ đường cong ROC và ma trận nhầm lẫn minh họa rõ ràng hiệu quả phân loại của mô hình, trong đó tỷ lệ dự đoán đúng cao và tỷ lệ nhầm lẫn thấp. Các đặc trưng được lựa chọn cũng phản ánh đúng hành vi sử dụng dịch vụ của từng nhóm khách hàng, giúp mô hình có tính giải thích và ứng dụng thực tiễn cao.

Đề xuất và khuyến nghị

1. Triển khai mô hình XGBoost trong hệ thống CRM của nhà mạng: Áp dụng mô hình dự đoán nghề nghiệp để phân loại thuê bao theo nhóm sinh viên và không sinh viên, giúp cá nhân hóa các gói dịch vụ và chiến dịch tiếp thị. Thời gian thực hiện dự kiến trong 6 tháng, do phòng phân tích dữ liệu và bộ phận marketing phối hợp thực hiện.

2. Tăng cường thu thập và làm sạch dữ liệu: Đầu tư nâng cấp hệ thống thu thập dữ liệu CDR và các dịch vụ giá trị gia tăng, đồng thời cải thiện quy trình ETL để giảm thiểu dữ liệu trùng lặp và giá trị bị mất, nâng cao chất lượng dữ liệu đầu vào cho mô hình. Thời gian thực hiện liên tục, ưu tiên trong 12 tháng tới.

3. Mở rộng mô hình dự đoán sang các nhóm nghề nghiệp khác: Phát triển thêm các mô hình phân loại đa lớp để dự đoán các nghề nghiệp khác ngoài sinh viên, giúp nhà mạng có cái nhìn toàn diện hơn về khách hàng. Chủ thể thực hiện là nhóm nghiên cứu dữ liệu và phát triển sản phẩm, trong vòng 1 năm.

4. Đào tạo và nâng cao năng lực nhân sự về học máy và Big Data: Tổ chức các khóa đào tạo chuyên sâu về thuật toán học máy, xử lý dữ liệu lớn và ứng dụng trong viễn thông cho đội ngũ kỹ thuật và phân tích dữ liệu nhằm đảm bảo vận hành và phát triển mô hình hiệu quả. Thời gian triển khai trong 6 tháng.

Đối tượng nên tham khảo luận văn

1. Các nhà quản lý và chuyên viên marketing của doanh nghiệp viễn thông: Giúp hiểu rõ cách ứng dụng học máy để phân loại khách hàng, từ đó xây dựng chiến lược tiếp thị và phát triển sản phẩm phù hợp với từng nhóm đối tượng.

2. Nhà nghiên cứu và phát triển trong lĩnh vực khoa học dữ liệu và học máy: Cung cấp phương pháp xử lý dữ liệu lớn, kỹ thuật trích chọn đặc trưng và so sánh hiệu quả các thuật toán phân loại trong thực tế.

3. Chuyên gia công nghệ thông tin và kỹ sư dữ liệu: Hướng dẫn quy trình xử lý dữ liệu phức tạp, sử dụng công cụ H2O và nền tảng Hadoop để triển khai mô hình học máy trên dữ liệu lớn.

4. Sinh viên và học viên cao học chuyên ngành hệ thống thông tin, khoa học dữ liệu và viễn thông: Là tài liệu tham khảo thực tiễn về ứng dụng học máy trong ngành viễn thông, từ khâu thu thập, xử lý dữ liệu đến xây dựng và đánh giá mô hình.

Câu hỏi thường gặp

1. Tại sao chọn thuật toán XGBoost thay vì các thuật toán khác?
   XGBoost có khả năng xử lý dữ liệu lớn hiệu quả, kiểm soát overfitting tốt nhờ tăng cường chính quy, và hỗ trợ tính toán song song trên CPU/GPU. Kết quả nghiên cứu cho thấy XGBoost đạt AUC cao nhất (94,6%) so với GBM, GLM và Random Forest.

2. Dữ liệu viễn thông có đặc điểm gì gây khó khăn cho việc xây dựng mô hình?
   Dữ liệu có khối lượng lớn (hơn 50TB), đa dạng, chứa nhiều giá trị bị mất, trùng lặp và không cân bằng. Việc xử lý và chuẩn hóa dữ liệu đòi hỏi nhiều thời gian và công sức để đảm bảo chất lượng đầu vào cho mô hình.

3. Phương pháp trích chọn đặc trưng WOE và IV có ưu điểm gì?
   Phương pháp này giúp đánh giá sức mạnh dự đoán của từng đặc trưng, loại bỏ các biến không có giá trị hoặc gây nhiễu, từ đó rút gọn số lượng đặc trưng mà vẫn giữ được hiệu quả mô hình, giúp tăng tốc độ huấn luyện và cải thiện độ chính xác.

4. Mô hình có thể áp dụng cho các nhà mạng khác không?
   Có thể, vì các nhà mạng đều có dữ liệu CDR tương tự. Tuy nhiên, cần điều chỉnh mẫu dữ liệu và đặc trưng phù hợp với từng nhà mạng để đảm bảo mô hình đạt hiệu quả cao nhất.

5. Làm thế nào để đảm bảo tính bảo mật và quyền riêng tư khi sử dụng dữ liệu khách hàng?
   Dữ liệu được mã hóa số thuê bao và tuân thủ các quy định bảo vệ dữ liệu cá nhân của Bộ Thông tin và Truyền thông. Việc xử lý và phân tích dữ liệu cũng được thực hiện trong môi trường an toàn, hạn chế truy cập không hợp lệ.

Kết luận

• Nghiên cứu đã phát triển thành công mô hình học máy dự đoán nghề nghiệp thuê bao di động, tập trung vào phân loại sinh viên với độ chính xác cao (AUC 94,6%).
• Thuật toán XGBoost được xác định là phương pháp hiệu quả nhất trong việc xử lý dữ liệu lớn, phức tạp và không cân bằng của ngành viễn thông.
• Quá trình xử lý dữ liệu và trích chọn đặc trưng đóng vai trò quan trọng trong việc nâng cao chất lượng mô hình, giảm thiểu nhiễu và tăng tốc độ huấn luyện.
• Kết quả nghiên cứu có ý nghĩa thực tiễn lớn, hỗ trợ các nhà mạng tối ưu hóa chiến lược tiếp thị và phát triển dịch vụ cá nhân hóa.
• Đề xuất mở rộng nghiên cứu sang các nhóm nghề nghiệp khác và nâng cao năng lực nhân sự để ứng dụng hiệu quả công nghệ học máy trong viễn thông.

Các nhà mạng và chuyên gia dữ liệu nên triển khai mô hình XGBoost trong hệ thống CRM, đồng thời tiếp tục thu thập và làm sạch dữ liệu để nâng cao hiệu quả dự đoán. Đào tạo nhân sự và mở rộng nghiên cứu sẽ giúp khai thác tối đa tiềm năng của dữ liệu viễn thông trong kỷ nguyên số.

Trích đoạn nội dung tài liệu

Đặt vấn đề và giải quyết bài toán Viễn thông là một nhân tố quan trọng trong công cuộc phát triển công nghệ số và hội nhập kinh tế. Trong đó Dịch vụ viễn thông đã phát triển mạnh trong thập kỷ qua và thị trƣờng Viễn thông truyền thống những năm gần đây đã trở nên bão hòa. Năm 2019 đạt 125,8 triệu thuê bao di động mặt đất, lớn hơn cả dân số hiện tại là hơn 96 triệu ngƣời, trong đó 3 công ty lớn VNPT, Viettel, Mobifone chiếm hơn 97% thị phần [2]. Để phát triển và tồn tại, các công ty viễn thông không chỉ tìm cách phát triển thuê bao mới, giữ chân thuê bao cũ mà còn cần phát triển mạnh mẽ các dịch vụ giá trị gia tăng, đánh trúng vào từng đối tƣợng cụ thể nhằm tăng trải nghiệm khách hàng và chất lƣợng dịch vụ.

Do đó, nhu cầu định danh khách hàng là một mối quan tâm lớn của các công ty viễn thông. Việc xác định rõ chân dung khách hàng sẽ giúp các công ty viễn thông hiểu rõ nhu cầu, mong muốn của từng đối tƣợng cụ thể. Từ đó, họ có thể phục vụ để nâng cao trải nghiệm của khách hàng, cải thiện hiệu quả của các chiến lƣợc tiếp thị của họ và phát triển các nguồn doanh thu mới. Với các thông tin về sở thích, hành vi và xu hƣớng của khách hàng, các công ty có thể tăng lợi nhuận và doanh thu trên toàn bộ chuỗi giá trị viễn thông - từ phát triển sản phẩm và vận hành mạng lƣới, đến bán hàng, tiếp thị và dịch vụ khách hàng.

Ngoài ra, việc định danh khách hàng còn giúp các công Luan van 3 ty viễn thông phát triển mạnh mẽ mảng quảng cáo, khi họ đã có sẵn hạ tầng và mạng lƣới quảng bá, và mức độ tiếp cận gần nhƣ đạt tới mức tối đa vì hầu nhƣ ai cũng có ít nhất 1 thiết bị di động. Vậy các công ty viễn thông, họ có trong tay một khối lƣợng dữ liệu vô cùng lớn thu thập đƣợc từ các hành vi sử dụng dịch vụ từ khách hàng của họ, họ lại càng khao khát khai phá thông tin một cách mãnh liệt hơn bao giờ hết. Vì thế, các nhà mạng không chỉ phát triển riêng các ứng dụng nội bộ, mà đồng thời còn thuê các đối tác bên ngoài tới để có thể khai thác một cách tối đa và hiệu quả nhất. Trong dự án này tôi cũng đƣợc cung cấp các dữ liệu liên quan tới các hành vi sử dụng dịch vụ viễn thông của các thuê bao di động, từ đó tôi có thể xây dựng các mô hình dự đoán chân dung khách hàng một cách toàn diện và chính xác.

Trong bài nghiên cứu này, tôi sẽ tập trung vào một phần nhỏ trong bức tranh tổng quát về chân dung khách hàng là nghề nghiệp của thuê bao di động, cụ thể là đánh giá xem thuê bao đó có phải là sinh viên hay không. Tôi chuyển về bài toán phân loại nhị phân để đơn giản hóa quá trình lựa chọn và đánh giá mô hình. Dữ liệu đƣợc sử dụng bao gồm tất cả các CDR của thuê bao trong suốt 6 tháng trƣớc thời điểm lấy mẫu. Các dữ liệu đã đƣợc mã hóa số thuê bao để đảm bảo tính bảo mật về an toàn thông tin cho ngƣời dùng, phù hợp với các chính sách và yêu cầu bảo vệ dữ liệu cá nhân từ Bộ TT&TT.

Khối lƣợng của tập dữ liệu này là hơn 50TB, đƣợc lƣu trữ trên hệ thống tệp phân tán Hadoop (HDFS). Tôi sẽ sử dụng tập dữ liệu này để tổng hợp và trích xuất các đặc trƣng cho từng khách hàng, sau đó sử dụng các mô hình học máy để dự đoán xem một thuê bao có là sinh viên hay không. Mở rộng ra, do các nhà mạng khác cũng có cùng bộ dữ liệu tƣơng tự, nên tùy thuộc vào tập mẫu đƣợc lựa chọn, nghiên cứu này sẽ giúp cho các nhà phát triển có cách nhìn tổng quát về phƣơng hƣớng xử lý các loại dữ liệu, cách thức tổng hợp và trích chọn đặc trƣng phù hợp cũng nhƣ đƣa ra thuật toán hiệu quả nhất để dự đoán về chân dung của một thuê bao di động. Các đặc điểm về dữ liệu nhà mạng Luan van 4 1.1 Giới thiệu về dữ liệu của nhà mạng Là một trong 3 công ty viễn thông lớn nhất Việt Nam [2], đối tác của tôi có rất nhiều loại dữ liệu bao gồm cả dữ liệu sử dụng dịch vụ của ngƣời dùng lẫn dữ liệu hoạt động của hệ thống.

Các loại này đƣợc phân loại nhƣ sau : - Dữ liệu khách hàng: Nó chứa tất cả các thông tin liên quan đến dịch vụ và hợp đồng của khách hàng. Bao gồm thông tin về các gói cƣớc đã từng đăng kí, các khuyến mại và ƣu đãi đã đƣợc nhận. Hơn nữa nó còn chứa các thông tin đƣợc tạo ra từ hệ thống CRM (thông tin nhân khẩu học của khách hàng nhƣ địa chỉ, ngày sinh, giới tính cũng nhƣ các giấy tờ pháp lý liên quan nhƣ hình ảnh, chứng minh thƣ, căn cƣớc công dân …) - Dữ liệu về vị trí: Thông tin về vị trí xảy ra các sự kiện của ngƣời dùng cũng đƣợc lƣu lại dƣới dạng mã vị trí. Từ mã vị trí này có thể ánh xạ ra kinh độ, vĩ độ cũng nhƣ địa chỉ cụ thể của ngƣời dùng tới các mức xã phƣờng.

- Dữ liệu về khiếu nại, chăm sóc khách hàng: Bao gồm các thông tin phản ánh dịch vụ từ khách hàng, cũng nhƣ các khiếu nại liên quan tới cƣớc, gói dịch vụ mà khách sở hữu, quan tâm. - Dữ liệu nhật ký mạng: Chứa các thông tin về tình trạng hoạt động của hệ thống, các bản ghi lƣu lại lịch sử hoạt động của ứng dụng, log chi tiết về hệ thống, cũng nhƣ lịch sử thay đổi của các phiên bản nâng cấp hệ thống. - Dữ liệu chi tiết cuộc gọi: Chứa các thông tin chi tiết về cuộc gọi, sms, mms, truy cập internet, vasp. Dữ liệu này đƣợc tạo ra dƣới dạng văn bản - Thông tin thiết bị di động : Nó chứa thông tin về thƣơng hiệu, kiểu máy, loại điện thoại di động, dùng 1 sim hay 2 sim, hỗ trợ 4g hay không.

Các dữ liệu này có kích thƣớc rất lớn và chứa rất nhiều thông tin về nó. Tuy nhiên, do các vấn đề bảo mật và an toàn dữ liệu cho ngƣời dùng, cũng nhƣ các vấn đề về an toàn thông tin cho chính doanh nghiệp viễn thông, tôi chỉ có thể tiếp cận một số loại dữ liệu nhƣ dữ liệu về vị trí, dữ liệu về thiết bị di động và dữ liệu về chi tiết cuộc Luan van 5 gọi. Nhƣng đó vẫn chứa một khối lƣợng rất lớn thông tin về các hành vi và thói quen sử dụng dịch vụ của khách hàng. Tôi đã phải dành rất nhiều thời gian để tìm hiểu và phân tích về cách thức lƣu trữ, tần suất xuất dữ liệu cũng nhƣ ý nghĩa của từng loại dữ liệu.

Đó cũng là một thách thức lớn vì lƣợng dữ liệu này đƣợc thu thập từ nhiều nguồn khác nhau và thiếu các tài liệu mô tả liên quan.2 Khối lượng dữ liệu lớn và phức tạp Vì tôi không biết thông tin nào có thể hữu ích cho quá trình xây dựng mô hình, vì thế tôi phải xử lý tất cả các dữ liệu phản ánh hành vi và hoạt động của tất cả các khách hàng. Các bản ghi về cuộc gọi thoại, SMS, MMS, Internet, VAS, giao dịch cƣớc. đều phải đƣợc tìm hiểu và xử lý. Các trƣờng thông tin phải đƣợc hiểu chính xác và cặn kẽ.

Điều này thực sự là một khó khăn và mất thời gian, vì có những bảng chứa tới vài trăm cột, và tài liệu mô tả thì không đầy đủ. Ngoài ra, đôi khi do việc chuyển giao giữa các nhân viên nhà mạng không đƣợc đầy đủ, nên có một số trƣờng không thể tìm đƣợc tài liệu liên quan. Bộ dữ liệu tôi sử dụng đƣợc lấy trong vòng 6 tháng đến thời điểm lấy mẫu. Tuy nhiên, đây vẫn là một khối lƣợng khổng lồ, với trung bình mỗi ngày xấp xỉ 300GB dạng text, tƣơng đƣơng với việc tôi phải xử lý tất cả hơn 50TB dữ liệu thô.

Vì vậy tôi đã sử dụng hệ thống quán trị của Cloudera trên nền tảng tệp dữ liệu phân tán Hadoop (HDFS) để quản lý và nâng cao hiệu suất xử lý, lƣu trữ dữ liệu cũng nhƣ cung cấp nhiều lợi ích cho các quá trình khai phá dữ liệu sau này.3 Dữ liệu đa dạng và trùng lặp Dữ liệu CDR đƣợc đến từ nhiều nguồn khác nhau, do cách lấy, cấu trúc, cũng nhƣ cách lƣu log khác nhau từ nguồn cung cấp dữ liệu. Do đó, dữ liệu bao gồm rất nhiều thông tin trùng lặp và phân tán của cùng một loại dữ liệu. Ví dụ nhƣ cùng là một dữ liệu tin nhắn SMS, có nguồn dữ liệu chỉ lƣu các bản tin phát sinh cƣớc, có nguồn dữ Luan van 6 liệu chỉ ghi các bản tin roaming, có nguồn dữ liệu lƣu đầy đủ các bản ghi nhƣng lại thiếu vài trƣờng dữ liệu so với các nguồn thông tin khác. Vì vậy, tôi phải xử lý tất các các nguồn dữ liệu, hiểu nó và sau đó so sánh và chọn một hoặc kết hợp nhiều nguồn dữ liệu về một bảng thống nhất.

Giai đoạn thực hiện ETL dữ liệu này thực sự rất vất vả và mất thời gian, nhƣng kết quả đạt đƣợc là đã rút gọn đi đƣợc 1 nửa số bảng và trƣờng dữ liệu trùng lặp và không cần thiết.4 Tập dữ liệu không cân bằng Tập dữ liệu đƣợc tạo không cân bằng vì nó là một trƣờng hợp đặc biệt của bài toán phân loại trong đó sự phân bố của một lớp thƣờng không đồng nhất với một lớp khác. Tập dữ liệu là không cân bằng nếu một trong các danh mục của nó nhỏ hơn hoặc bằng 10% so với tập còn lại. Mặc dù các thuật toán học máy thƣờng đƣợc thiết kế để cải thiện độ chính xác bằng cách giảm sai số, nhƣng không phải tất cả chúng đều tính đến việc có các tập không cân bằng và điều đó có thể cho kết quả không tốt. Nói chung, các lớp cần đƣợc cần đƣợc coi là cân bằng để có tầm quan trọng nhƣ nhau trong huấn luyện dữ liệu.5 Giá trị bị mất Các khách hàng khác nhau có thể có các gói dịch vụ khác nhau.

Vì thế, có thể có khách hàng có những gói cƣớc, dịch vụ hoặc sản phẩm mà khách hàng khác không có, trong khi họ lại có một số thứ khác. Ngoài việc giá trị bị mất, còn có thể xảy ra trƣờng hợp dữ liệu bị mất.