CHƯƠNG 1 GIỚI THIỆU nhằm giới thiệu tổng quan về bài toán dự báo thuê bao rời bỏ nhà mạng bao gồm phần giới thiệu vấn đề, mục đích, đối tượng và phạm vi nghiên cứu và kết quả đạt được. CHƯƠNG 2 CÁC NGHIÊN CỨU LIÊN QUAN bao gồm các công trình nghiên cứu liên quan đến bài toán dự đoán thuê bao rời bỏ nhà mạng. Đặc biệt trình bày các nghiên cứu gần đây để giải quyết vấn đề mất cân bằng dữ liệu và vấn đề độ lệch phân bố dữ liệu thay đổi theo thời gian. CHƯƠNG 3 CƠ SỞ LÝ THUYẾT đầu tiên trình bày sơ lược về vấn đề dữ liệu mất cân bằng và các phương pháp cơ bản để giải quyết.
Tiếp theo đó trình bày bốn phương pháp chính được chọn trong luận văn để giải quyết vấn đề dữ liệu mất cân bằng, các phương pháp bao gồm: SMOTE, DBN, hàm mất mát Focal và hàm mất mát entropy theo trọng số. Tiếp theo trình bày vấn đề độ lệch phân bố dữ liệu và các phương pháp cơ bản để giải quyết trong đó nhấn mạnh hai kĩ thuật: kĩ thuật tìm kiếm đối xứng và kĩ thuật đảo ngược trọng số của hệ số xu hướng. CHƯƠNG 4 PHƯƠNG PHÁP TIẾP CẬN bao gồm 2 phương pháp chính là giải quyết dữ liệu mất cân bằng và độ lệch phân bố dữ liệu. CHƯƠNG 5 HIỆN THỰC VÀ THỰC NGHIỆM là kết quả thực nghiệm dựa trên các phương pháp thực hiện ở CHƯƠNG 4.
CHƯƠNG 6 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN nêu ra một số kết luận và nhận xét được đúc kết trong quá trình hiện thực nhằm mục tiêu cải thiện hiệu năng phân lớp cho bài toán dự báo thuê bao rời bỏ nhà mạng. Phần cuối là trình bày các hướng phát triển trong tương lai. Các công trình liên quan Chương này trình bày các công trình liên quan được chúng tôi tìm hiểu nghiên cứu trong quá trình hiện thực đề tài luận văn. Dựa vào mô hình dự đoán được xây dựng trên nền tảng lý thuyết cũng như các giải thuật khác nhau, qua quá trình tìm hiểu có thể phân thành các nhóm sau đây: • Mô hình áp dụng các giải thuật học máy căn bản và mạng nơron học sâu • Mô hình áp dụng các kĩ thuật học chuyển giao (transfer learning) • Mô hình giải quyết dữ liệu mất cân bằng • Mô hình giải quyết vấn đề độ lệch phân bố dữ liệu thay đổi theo thời gian 2.1 Mô hình áp dụng các giải thuật học máy căn bản và mạng nơron học sâu Trong bài toán dự báo thuê bao rời bỏ nhà mạng, các phương pháp khai phá dữ liệu theo hướng thống kê truyền thống cũng như sử dụng các giải thuật học máy được áp dụng rộng rãi.
Kĩ thuật khai quá dữ liệu tiếp cận theo phương pháp thống kê truyền thống như Hồi Quy Logistics [1], mô hình phi tham số như k lân cận gần nhất ([2], [3]), cây quyết định ([4], [5]), mạng nơron nhân tạo ([6], [7]), máy vector hỗ trợ [8], các mô hình tổ hợp bộ phân lớp (kĩ thuật ensemble) ([9], [10]). Tuy nhiên bài toán dự báo thuê bao rời bỏ nhà mạng thường gặp phải vấn đề dữ liệu mất cân bằng, trong đó nhóm dữ liệu rời bỏ thường chiếm tỉ lệ rất thấp, trung bình chỉ chiếm khoảng 2% thuê bao. Các phương pháp truyền thống gặp nhiều khó khăn khi làm việc trên dữ liệu mất cân bằng, do các phương pháp này được thiết kế chỉ chú trọng vào tính chất của dữ liệu nhóm đa số, trong trường hợp này là nhóm không rời bỏ nhà mạng. Sự thành công của mô hình mạng nơ ron học sâu trong lĩnh vực xử lí ảnh, xử lí ngôn ngữ tự nhiên… nhờ khả năng tạo được đặc trưng bậc cao và khả năng học được lượng lớn dữ liệu.
Với bài toán thuê bao rời bỏ nhà mạng, trong thực tế tập dữ liệu khách hàng đến từ nhiều nguồn khác nhau, đặc trưng và tính chất khác nhau, đối với mô hình học truyền thống việc trích xuất đặc trưng thủ công sẽ mất nhiều thời gian và không có khả năng được áp dụng cho tập dữ liệu từ nguồn khác. Spanoudes và Nguyen năm 2017 [11] cố gắng giải bài toán này 5 bằng việc sử dụng mạng nơ ron học sâu để tự động trích xuất được đặc trưng từ nhiều nguồn dữ liệu khác nhau, cách tiếp cận này phù hợp với thực tế về tính linh động của mô hình học với sự thay đổi dữ liệu huấn luyện từ nhiều nguồn khác nhau nhưng kết quả còn hạn chế vì một số đặc trưng đặc biệt cần được trích xuất tường minh bằng sự hiểu biết sâu về tính chất của hành vi khách hàng rời bỏ nhà mạng. Một số nghiên cứu áp dụng mô hình mạng nơ ron tích chập (convolutional neural networks - CNN) và auto-encoder [12], trong đó hành vi người dùng được lấy trong một khoảng thời gian để xây dựng nên không gian vector hai chiều tương tự dữ liệu hình ảnh, trong mô hình này phụ thuộc vào dữ liệu thu thập được từ nhiều ngày từ nhà cung cấp dịch vụ mạng để xây dựng được hành vi người dùng theo thời gian. Nghiên cứu [13] áp dụng nhiều mô hình CNN làm bộ phân lớp cơ sở cho mô hình học kết hợp giữa giải thuật di truyền kết hợp với kĩ thuật Ada Boosting.
Do dữ liệu ban đầu trên không gian một chiều nên tác giả đã ánh xạ qua không gian hai chiều để làm đầu vào cho mạng CNN, việc ánh xạ sử dụng kĩ thuật nội suy thử nhiều lần để kết quả nội suy gần với không gian vector ban đầu nhất, quá trình huấn luyện tốn rất nhiều thời gian vì sử dụng nhiều bộ phân lớp CNN được chọn lọc, tinh chỉnh từ không gian cá thể ban đầu qua sự kết hợp giữa cách tạo ra quần thể mô hình thế hệ tiếp theo và sự chọn lựa cá thể đi tiếp dựa trên giải thuật Ada Boosting. Qua các nghiên cứu gần đây chúng tôi thấy được bài toán dự báo thuê bao rời bỏ nhà mạng được áp dụng nhiều kĩ thuật học máy mới nhất hiện nay như mạng nơron học sâu kết hợp với kĩ thuật học chuyển giao và các kĩ thuật phối hợp, tăng cường nhiều bộ phân lớp như giải thuật di truyền, giải thuật boosting. Song song bên cạnh đó, các kĩ thuật xử lí dữ liệu để tránh tập dữ liệu bị mất cân bằng cũng được áp dụng kèm theo. Chúng tôi thấy rằng, với sự kết hợp các kĩ thuật mới nhất của lĩnh vực học máy và tối ưu đem lại tiềm năng to lớn đối với mô hình dự báo thuê bao nhà mạng nói riêng và các bài toán phân lớp nói chung, để giải quyết hai tính chất quan trọng nhất của bài toán phân lớp trong thực tế là tập dữ liệu thường bị mất cân bằng và tính dịch chuyển, không đồng nhất của phân bố xác xuất tập dữ liệu huấn luyện và tập dữ liệu kiểm thử thực tế.
Chúng tôi tập trung tìm hiểu các công trình liên quan đến vấn đề giải quyết tập dữ liệu mất cân bằng và vấn đề phân bố dữ liệu thay đổi theo thời gian.2 Mô hình áp dụng các kĩ thuật học chuyển giao (transfer learning) Gần đây với xu hướng học chuyển giao (transfer learning) được áp dụng thành công trong mảng xử lí ảnh dùng kĩ thuật học sâu, học chuyển giao đã được áp dụng vào bài toán xác định thuê bao rời bỏ nhà mạng đạt được kết quả khả quan. Với giả định thực tế là khi tập khách hàng đến từ các vùng miền khác nhau có đặc trưng khác nhau về kinh tế, vùng miền, nghề nghiệp… thì tập dữ liệu trong công tác nguồn và tập dữ liệu trong công tác đích sẽ có phân bố xác suất khác nhau, thậm chí trong trường hợp tập dữ liệu trong công tác nguồn và tập dữ liệu trong công tác đích có cùng phân bố xác xuất thì có thể xảy ra trường hợp tập dữ liệu huấn luyện và tập kiểm thử có sự khác biệt phân bố vì hành vi khách hàng sử dụng sẽ thay đổi theo thời gian. Vấn đề này gây khó khăn với cái giải thuật học máy căn bản vì các giải thuật này giả định rằng phân bố tập huấn luyện và tập kiểm thử phải cùng phân bố xác suất. Học chuyển giao sẽ giải quyết vấn đề này khi áp dụng kiến thức được học từ một tập công tác nguồn sau đó lấy kiến thức kết hợp với tập dữ liệu mục tiêu để áp dụng lên mô hình học.
Hình 1 và hình 2 diễn tả sự khác biệt của mô hình học truyền thống và mô hình học chuyển giao. Mô hình học truyền thống [14] Hình 2. Mô hình học chuyển giao [14] Xiao và các cộng sự năm 2014 [14] đã kết hợp mô hình học chuyển giao với kĩ thuật lựa chọn đặc trưng (Feature Selection) nhằm trích xuất đặc trưng từ tập trong công tác nguồn sau đó kết hợp với tập dữ liệu trong công tác đích để tạo nhiều đặc trưng bậc cao trong đó nhóm đặc trưng mới này chứa đựng nhiều thông tin giao hỗ tương giữa tập công tác nguồn và tập công tác đích. Mô hình này đạt kết quả khá cao so với các mô hình truyền thống, 7 chứng tỏ khả năng áp dụng tốt của học chuyển giao với bài toán dự báo thuê bao rời bỏ nhà mạng.
Với các nghiên cứu gần đây về kĩ thuật học chuyển giao nhằm giải quyết vấn đề Covariate Shift có một số kĩ thuật như: • Học chuyển giao dựa trên chiến lược lựa chọn đặc trưng TFS • Học chuyển giao dựa trên chiến lược lựa chọn mẫu TrBagg • Học chuyển giao dựa trên chiến lược lựa chọn mẫu TrAdaBoos Giải thuật TFS dựa vào kĩ thuật lựa chọn đặc trưng theo chiều tiến có giám sát (Supervised Forward Feature Selection - SFFS), đầu tiên áp dụng SFFS để chọn tập đặc trưng tốt nhất trên tập dữ liệu mục tiêu, sau đó dựa trên tập đặc trưng này để tính độ tin cậy (confidence score) của từng mẫu trong tập dữ liệu nguồn. Tiếp đến một số mẫu trong tập dữ liệu nguồn được chọn dựa trên tiêu chí độ tin cậy kết hợp với tập dữ liệu nguồn để sinh ra tập dữ liệu mới, trên tập dữ liệu mới này dùng SFFS để chọn ra một tập đặc trưng mới, nếu các đặc trưng mới này có tần số xuất hiện nhiều lần qua các lần lặp thì được thêm vào tập đặc trưng được chọn. Quá trình cứ lặp lại nhiều lần để cuối cùng tập đặc trưng tiến tới con số định trước thì giải thuật dừng. Cuối cùng dùng tập đặc trưng được chọn để huấn luyện trên tập dữ liệu mục tiêu [15].