CHƯƠNG 1: GIỚI THIỆU BÀI TOÁN 1.1 Phân tích mật độ sử dụng Internet tại thành phố Thượng Hải 1.1 Giới thiệu bài toán Mặc dù thực tế là các ứng dụng di động ngày càng trở nên tiên tiến , nhiều thiết bị vẫn bị hạn chế về năng lượng pin và khả năng xử lý, khiến các tác vụ đòi hỏi tính toán nhiều không thê hoàn thành. Dé giải quyết van dé này, các nhà nghiên cứu đề xuất điện toán đám mây di động, cho phép các thiết bị đi động chuyên một số nhiệm vụ của chúng sang các đám mây lưu trũ ở xa và giàu tài nguyên. Tuy nhiên, do có khoảng cách địa lý với người dùng di động va do đó không thé đảm bảo cho người dùng cuối trong môi trường di động khả năng truy cập dịch vụ nhanh chóng và đáng tin cậy. Do hiện tượng “tắc nghẽn cô chai” băng thông trong mạng lõi, các luồng dữ liệu cảm biến không lồ được tạo ra, phân tán theo không gian địa lý và khiến các mô hình điện toán đám mây tiêu chuẩn bị chậm trễ đáng kể.
Dé giải quyết cho van dé này, điện toán biên di động đang dan trở nên phổ biến. Trái ngược với điện toán đám mây tập trung hoặc điện toán đám mây di động thông thường, điện toán biên di động có thể cung cấp một môi trường điện toán với sự phân tán cao. Hệ thống máy tính phân tán này có thé được sử dụng dé cung cấp các ứng dụng và dịch vụ, cũng như lưu trữ và xử lý tài liệu gần gũi với người tiêu dung di động. Trong hệ thống này, có cách đám mây biên.
Đám mây biên được triển khai ở biên mạng đóng vai trò là cầu nối giữa người dùng và các đám mây từ xa, giúp giảm thiểu độ trễ và băng thông được sử dụng. Trong mô hình điện toán biên di động này, việc đặt các đám mây biên là van đề cốt lõi. Chiến lược bố trí đám mây cạnh hiệu quả có thé đảm bảo rằng tài nguyên tính toán của mỗi đám mây cạnh được sử dụng đầy đủ, các dịch vụ đám mây cạnh được phân phối trong thời gian thực và người dùng di động có trải nghiệm tốt. Mục tiêu dé giải quyết bài toán này là vấn đề đặt các đám mây biên phù hợp.
Cụ thể là đòi hỏi việc đặt các đám mây biên tại các vị trí được đề xuất và phân bổ người dùng di động vào các đám mây biên với mục tiêu cân bằng khối lượng công việc giữa các đám mây biên và giảm sự chậm trễ giao tiếp giữa người dùng di động và các đám mây biên phục vụ họ. Một lưu ý rằng các đám mây biên sẽ được đặt tại một số trạm gốc với các cơ sở hạ tầng hiện có và thuận tiện cho việc triển khai chi phí phù hợp. Dé giải quyết van đề đặt vị trí tối ưu cho các đám mây biên, ta sẽ kết hợp sử dung thuật toán K-means và thuật toán bậc hai sé nguyén tố hỗn hợp.2 Bộ dữ liệu sử dụng Bộ dữ liệu do Công ty Viễn thông Thượng Hải cung cấp chứa hơn 7,2 triệu bản ghi về việc truy cập vào Internet thông qua 3.233 trạm gốc từ 9.481 điện thoại di động Nguyễn Khánh Nam_E17CNO1 2 Khoá luận tốt nghiệp đại học Giới thiệu bài toán trong sáu tháng. Ví dụ, hình sau cho thấy sự phân bố của các trạm gốc.
Mỗi nút biểu thị một trạm gốc ở Thượng Hải, Trung Quốc. RA PBte oe Thông tin của bộ đữ liệu bao gồm 6 trường: 1 Month Tháng mà bản ghi xảy ra 2 Date Ngay ma 1 ban ghi dién ra 3 Start Time Thời gian cuộc gọi bắt đầu 4_ End Time Thời gian cuộc gọi kết thúc 5_ Base Station Kinh độ va vĩ độ của trạm gốc, nơi mà truy cập internet Location 6 UserID Mobile phone Bang 1.1 Bang miêu ta bộ dữ liệu của thành phố Thượng Hải 1.2 Phân tích hành vi rời khỏi dịch vụ sau 1 khoảng thời gian 1.1 Giới thiệu bài toán Nói một cách đơn giản, Churn rate là chỉ số cho số lượng người hoặc sự vật rời khỏi một nhóm tập thể trong khoảng một khoản thời gian. Đối với các công ty viễn thông nói riêng, đây là một trong các yêu tô ảnh hưởng đến số lượng khách hàng mà một công ty có thê hỗ trợ trong thời điểm nhất định. Việc xác định đúng Churn sẽ giúp các công ty cải thiện dịch vụ, giảm tỷ lệ mat khách hàng Nguyễn Khánh Nam_E17CNO1 3 Khoá luận tốt nghiệp đại học Giới thiệu bài toán 1.2 Bộ dữ liệu sử dụng Tập dữ liệu này bao gồm 20 biến và khoảng 10 nghìn bản ghi.
Tập dữ liệu này chứa các biến khác nhau giải thích các thuộc tính của ngành viễn thông và các yếu tố khác nhau được coi là quan trọng khi giao dịch với khách hàng của ngành viễn thông. Biến mục tiêu ở đây là churn giải thích liệu khách hàng có bỏ cuộc hay không. Chúng ta có thé sử dung tập dữ liệu nay dé dự đoán khách hàng sẽ bỏ cuộc hoặc không bỏ cuộc tùy thuộc vào các biên khác nhau có săn. Ta sẽ chia bộ dữ liệu thành 2 phần: khách hàng churned và khách hàng còn sử dụng dịch vụ.
Ta sử dụng các biểu dé, đồ thị để diễn tả cho sự khác nhau giữa 2 tập retained va churned. Ngoài ra, dé so sánh sự phân tán của các biến numerical giữa 2 tập thì ta sử dụng phép thử two sample Kolmogorov-Smirov. Hơn nữa, để xác định biến số nào ảnh hưởng lớn đến churn, ta sẽ sử dụng cây quyết định tree model là lightgbm Thông tin của bộ dữ liệu bao gồm: Gender Giới tính Xồœ@NGøk>j¬at®©1Aeu+w|n SeniorCitizen Người cáo tuôi Dependents Độc lập tài chính tenure Nhiém ki PhoneService Co dung Dich vu dién thoai MultipleLines Sử dung 2 mạng trở lên InternetService Có dùng dich vụ internet OnlineSecurity Bảo mật trực tuyến Online Backup Sao lưu trực tuyên DeviceProtection Bảo mật thiết bị ¡ĩ]ƒÌm”=—ÍÁỉI TechSupport Hỗ trợ kĩ thuật ; StreamingTV Truyén hình trực tuyên StreamingMovies Truyén hình trực tuyên phim Contract Hợp đồng PaperlessBilling Thanh toán không giấy tờ PaymentMethod. Hình thức thanh toán MonthlyCharges Cước phi hàng thang TotalCharges Tống phí cước Marrige Hôn nhân Churn Churn hay không customerlD Bảng 1.2 Bảng miêu tả bộ dữ liệu Churn 1.3 Kết luận chương Ở chương này, em đã đưa ra 2 bài toán gồm: o Phân tích mật độ sử dụng Internet tại thành phố Thượng Hải o Phân tích hành vi rời khỏi dịch vụ sau 1 khoảng thời gian Nguyễn Khánh Nam_E17CNO1 Khoá luận tốt nghiệp đại học Giới thiệu bài toán Với bai toán đầu tiên, ta có thé thấy được sự phân bố về việc sử dụng Internet của 1 thành phố (ở đây là Thượng Hải) qua các mộc thời gian nhất định.
_2014/7/2 =e OX ha“ 27 bộ = | es 3 x ¬ \ ủ #- HÍ: Hình 1.2 Sự phân bố mức độ sử dụng Internet tại 2/7/2014 Từ đó có thể tính toán xem vị trị nào nên đặt các trạm sốc, server cho phù hợp, tối ưu, với chi phí phải chăng. Với bài toán 2, churn có lẽ không còn là 1 điều xa lạ với các công ty viễn thông, xác định đúng churn sẽ giúp các công ty đưa ra giải pháp dé giữ chân khách hàng, bảo dam nguôn khách hàng và doanh thu ôn định và nâng cao chất lượng dich vụ. Nguyễn Khánh Nam_E17CNO1 5 Khóa luận tốt nghiệp đại học Phân tích chức năng và thiết kế hệ thống CHƯƠNG 2: NGHIÊN CỨU CÁC PHƯƠNG PHÁP PHÂN TICH DU LIEU DE XÁC ĐỊNH HANH VI KHACH HÀNG 2.1 Téng quan vé Machine learning 2.1 Dinh nghia Những năm gan day, thuật ngữ AI (Artificial Intelligence),Machine Learning đã gây nên con sốt công nghệ trên toàn thé giới.Từ các công ty lớn như Google, Facebook,Microsoft cho đến các công ty khởi nghiệp đều đầu tư vào machine learning. Hàng loạt các ứng dụng sử dụng machine learning ra đời trên mọi linh vực của cuộc sông, từ khoa học máy tính đến những ngành ít liên quan hơn như vật lý, hóa học, y học, chính trị Theo định nghĩa cua Wikipedia, Machine learning là “các thuật toán được nghiên cứu giúp máy tính có thê cải thiện tự động thông qua kinh nghiệm và băng cách sử dụng dữ liệu được cung cấp mà không cần lập trình cụ thể.2 Phân loại Machine learning Có hai cách phô biến phân nhóm các thuật toán Machine learning: e Phân nhóm dựa trên phương thức học o Học có giám sat = Phân loại (Classification) = Hồi quy (Regression) o Học không giám sát = Phân cum (Clustering) = Association o Học bán giám sát (Semi-Supervised Learning) o Học củng có (Reinforcement Learning) e Phân nhóm dựa trên chức năng Thuật toán Regression 0© Thuật toán Classification Thuật toán Instance-based Thuật toán Regularization Thuật toán Bayesian Thuật toán Clustering Thuật toán Artificial Neural Network Thuật toán Dimensionality Reduction Thuật toán Ensemble Trong phạm vi của đồ án, em sẽ trình bày về Phân cụm của Học không giám sát và thuật toán Ensemble.
Nguyễn Khánh Nam_E17CNO1 6 Khoá luận tốt nghiệp đại học Các phương pháp phân tích dữ liệu 2.2 Phân tích mật độ sử dụng Internet tại thành phố Thượng Hải.1 Tổng quan về học không giám sát 2.1 Định nghĩa Khác với Học có giám sát, Học không giám sát là ta không biết được đầu ra hay nhãn (label) mà chỉ biết duoc dit liệu đầu vào. Thuật toán sẽ dựa vào cấu trúc của dữ liệu mà thực hiện một công việc nảo đó. Một cách toán học, chúng ta chỉ biết đầu vào X mà không biết nhãn Y tương ứng.2 Phân cụm (Clustering) Đây là một bài toán phân nhóm toàn bộ dữ liệu X thành các nhóm nhỏ dự trên sự liên quan về tính chất, cấu trúc của dữ liệu trong mỗi nhóm. Ví dụ như một thùng gồm các hạt gạo và thóc, ta sẽ phân loại thành 2 nhóm gạo và thóc với tính chất là thóc có vỏ màu vàng, .2 Thuật toán K-means 2.1 Giới thiệu K-means là một trong những thuật toán cơ bản nhất trong Unsupervised learning.
Đối với thuật toán K-means, các điểm dữ liệu sẽ không có nhãn (label). Mục tiêu ma ta hướng tới là phân loại dữ liệu thành các cụm khác nhau sao cho trong cùng cụm thi các di liệu có tinh chất, đặc điểm giống nhau. Đề có cách hiểu đơn giản nhất về cụm (Cluster) là tập hợp các điểm có các đặc tính giống nhau hay ở gần nhau trong một hệ không gian nhất định.1 Bài toán với 3 Cluster Nguyễn Khánh Nam_E17CNO1 7 Khoá luận tốt nghiệp đại học Các phương pháp phân tích dữ liệu Nhìn hình trên, dé thấy các cluster có 1 điểm đại điện màu vàng gọi là Center. Những điểm xung quanh và gần center sẽ có các đặc điểm giống với nó.2 Phân tích toán học 2.