Nghiên Cứu Mô Hình Kết Hợp Học Giám Sát và Bán Giám Sát Trong Dự Báo Khách Hàng Rời Mạng Vinaphone

Chuyên đề nghiên cứu Mô Hình Học Giám Sát và Bán Giám Sát Dự Báo Khách Hàng ..., cập nhật xu hướng mới, giá trị tham khảo cao cho chuyên gia toán học

• Tác giả: Nguyễn Thị Hoàn
• Người hướng dẫn: PGS. Hà Quang Thụy
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Mô Hình Học Giám Sát và Bán Giám Sát Dự Báo Khách Hàng Rời Mạng Vinaphone
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Tóm tắt

I. Khái quát bài toán dự đoán khách hàng rời mạng

Bài toán dự đoán khách hàng rời mạng là một thách thức lớn trong ngành viễn thông. Khách hàng rời mạng (customer churn) được định nghĩa là những khách hàng có giá trị rời bỏ dịch vụ của một nhà mạng để chuyển sang nhà mạng khác. Việc quản lý khách hàng rời mạng (churn management) là rất quan trọng để giữ chân khách hàng. Nghiên cứu cho thấy tỉ lệ khách hàng ngưng sử dụng dịch vụ có thể lên tới 2% mỗi tháng. Điều này có nghĩa là các nhà mạng có thể mất gần ¼ lượng khách hàng mỗi năm. Việc áp dụng khai phá dữ liệu trong quản lý khách hàng rời mạng giúp các nhà cung cấp dịch vụ xác định và dự đoán các churner dựa trên các thuộc tính của khách hàng như thông tin hợp đồng, log sử dụng dịch vụ và thông tin thanh toán. Kỹ thuật khai phá dữ liệu cho phép trích xuất thông tin hữu ích từ dữ liệu lớn, giúp các công ty tìm ra các xu hướng quan trọng trong hành vi của khách hàng.

1.1. Vai trò của khai phá dữ liệu trong quản lý khách hàng rời mạng

Khai phá dữ liệu đóng vai trò quan trọng trong việc phân tích và hiểu hành vi của khách hàng. Công cụ này giúp các nhà cung cấp dịch vụ viễn thông tối ưu hóa giá trị khách hàng và giữ chân khách hàng tiềm năng. Các kỹ thuật như phân cụm, luật quy nạp, và mạng neuron thường được sử dụng để phát hiện các mẫu trong dữ liệu khách hàng. Việc áp dụng khai phá dữ liệu không chỉ giúp dự đoán khách hàng có nguy cơ rời mạng mà còn giúp cải thiện các chiến lược chăm sóc khách hàng. Theo Leijeune, kỹ thuật này cho phép biến đổi dữ liệu gốc thành tri thức kinh doanh, từ đó giúp các công ty đưa ra quyết định chính xác hơn trong việc quản lý khách hàng.

1.2. Một số nghiên cứu cho bài toán dự đoán khách hàng rời mạng

Nhiều nghiên cứu đã được thực hiện để phát triển các mô hình dự đoán khách hàng rời mạng. Các mô hình này thường sử dụng các thuộc tính như thông tin tiểu sử khách hàng, thông tin tài khoản, và dịch vụ sử dụng để dự đoán hành vi của khách hàng. Việc đánh giá hiệu quả của mô hình dự đoán thường dựa trên tỉ lệ True Prediction (TP) và False Prediction (FP). Mục tiêu là đạt được tỉ lệ TP cao và FP thấp. Các mô hình như hồi quy logic, cây quyết định, và mạng neuron nhân tạo đã được áp dụng rộng rãi trong nghiên cứu này. Những nghiên cứu này không chỉ giúp hiểu rõ hơn về hành vi của khách hàng mà còn cung cấp các giải pháp hiệu quả cho việc quản lý khách hàng rời mạng.

II. Một số mô hình điển hình cho bài toán dự đoán khách hàng rời mạng

Trong chương này, các mô hình điển hình cho bài toán dự đoán khách hàng rời mạng sẽ được giới thiệu. Mô hình dựa trên luật (CRL) là một trong những phương pháp nổi bật. Phương pháp này cho phép xây dựng các luật rõ ràng và dễ hiểu, giúp các nhà quản lý dễ dàng áp dụng trong thực tiễn. Mô hình này sử dụng các thuộc tính của khách hàng để phân loại và dự đoán hành vi rời mạng. Các nghiên cứu đã chỉ ra rằng mô hình CRL có thể đạt được độ chính xác cao trong việc dự đoán khách hàng rời mạng. Bên cạnh đó, mô hình học lai cũng được đề xuất, kết hợp giữa học giám sát và bán giám sát, nhằm cải thiện độ chính xác của dự đoán.

2.1. Mô hình dựa trên luật cho bài toán dự đoán khách hàng rời mạng

Mô hình phân lớp dựa trên luật (CRL) là một phương pháp nổi tiếng trong việc dự đoán khách hàng rời mạng. Phương pháp này sử dụng các luật để phân loại khách hàng, giúp dễ dàng hiểu và áp dụng. Nghiên cứu cho thấy rằng việc áp dụng các luật quy nạp có thể giúp phát hiện các mẫu hành vi của khách hàng, từ đó đưa ra các biện pháp giữ chân khách hàng hiệu quả hơn. Mô hình này không chỉ giúp dự đoán khách hàng rời mạng mà còn cung cấp thông tin hữu ích cho việc phát triển các chiến lược chăm sóc khách hàng.

2.2. Mô hình học lai cho bài toán dự đoán khách hàng rời mạng

Mô hình học lai kết hợp giữa học giám sát và bán giám sát đã được đề xuất để cải thiện độ chính xác trong dự đoán khách hàng rời mạng. Mô hình này sử dụng thuật toán self-training để tối ưu hóa quá trình học từ dữ liệu có nhãn và không có nhãn. Việc kết hợp này giúp tăng cường khả năng dự đoán, đặc biệt trong các tình huống mà dữ liệu có nhãn hạn chế. Các nghiên cứu đã chỉ ra rằng mô hình học lai có thể đạt được hiệu suất tốt hơn so với các mô hình truyền thống, từ đó giúp các nhà cung cấp dịch vụ viễn thông quản lý khách hàng hiệu quả hơn.

III. Mô hình kết hợp giám sát và bán giám sát cho bài toán dự đoán khách hàng rời mạng

Mô hình kết hợp giữa học giám sát và bán giám sát là một trong những điểm nhấn của nghiên cứu này. Mô hình này không chỉ sử dụng dữ liệu có nhãn mà còn tận dụng dữ liệu không có nhãn để cải thiện độ chính xác của dự đoán. Quá trình tiền xử lý dữ liệu là rất quan trọng, giúp chuẩn hóa và làm sạch dữ liệu trước khi áp dụng các thuật toán học. Mô hình học giám sát dựa trên thuật toán K-NN và mô hình học bán giám sát dựa trên thuật toán self-training đã được áp dụng để dự đoán khách hàng có nguy cơ rời mạng. Kết quả cho thấy mô hình kết hợp này có thể đạt được độ chính xác cao hơn so với các mô hình đơn lẻ.

3.1. Tiếp cận mô hình bài toán

Tiếp cận mô hình bài toán dự đoán khách hàng rời mạng được thực hiện thông qua việc phân tích và lựa chọn các thuộc tính quan trọng. Việc xác định các thuộc tính này giúp tối ưu hóa quá trình dự đoán và nâng cao hiệu quả của mô hình. Các thuộc tính như thông tin tiểu sử khách hàng, thông tin tài khoản và dịch vụ sử dụng được xem xét kỹ lưỡng. Mô hình học giám sát và bán giám sát được áp dụng để phân tích hành vi của khách hàng, từ đó đưa ra các dự đoán chính xác về khả năng rời mạng của họ.

3.2. Tiền xử lý dữ liệu

Tiền xử lý dữ liệu là bước quan trọng trong quá trình xây dựng mô hình dự đoán. Quá trình này bao gồm việc làm sạch dữ liệu, chuẩn hóa và chuyển đổi các thuộc tính liên tục thành các thuộc tính rời rạc. Việc chuẩn hóa dữ liệu giúp các thuật toán học dễ dàng xử lý và cải thiện độ chính xác của mô hình. Các kỹ thuật như phân cụm và luật quy nạp cũng được áp dụng để tối ưu hóa quá trình tiền xử lý, từ đó giúp mô hình hoạt động hiệu quả hơn.

IV. Thực nghiệm và đánh giá kết quả

Chương này trình bày quá trình thực nghiệm và đánh giá kết quả của mô hình dự đoán khách hàng rời mạng. Môi trường thực nghiệm được thiết lập để kiểm tra hiệu suất của mô hình. Kết quả thực nghiệm cho thấy mô hình kết hợp giữa học giám sát và bán giám sát đạt được độ chính xác cao trong việc dự đoán khách hàng có nguy cơ rời mạng. Việc đánh giá kết quả được thực hiện thông qua các chỉ số như tỉ lệ TP và FP, từ đó đưa ra các nhận xét về hiệu quả của mô hình. Hướng nghiên cứu tiếp theo cũng được đề xuất để cải thiện hơn nữa độ chính xác của mô hình.

4.1. Môi trường thực nghiệm

Môi trường thực nghiệm được thiết lập với các công cụ và phần mềm hỗ trợ cho việc phân tích dữ liệu. Các tập dữ liệu được sử dụng trong thực nghiệm bao gồm thông tin khách hàng, log sử dụng dịch vụ và thông tin thanh toán. Việc lựa chọn tập dữ liệu phù hợp là rất quan trọng để đảm bảo tính chính xác của mô hình. Các thuật toán học giám sát và bán giám sát được áp dụng để phân tích dữ liệu và đưa ra dự đoán về khả năng rời mạng của khách hàng.

4.2. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy mô hình kết hợp giữa học giám sát và bán giám sát đạt được độ chính xác cao trong việc dự đoán khách hàng rời mạng. Các chỉ số như tỉ lệ TP và FP được sử dụng để đánh giá hiệu quả của mô hình. Kết quả cho thấy mô hình có khả năng phát hiện các churner một cách chính xác, từ đó giúp các nhà cung cấp dịch vụ có thể đưa ra các biện pháp kịp thời để giữ chân khách hàng. Hướng nghiên cứu tiếp theo sẽ tập trung vào việc cải thiện độ chính xác của mô hình thông qua việc tối ưu hóa các thuộc tính đầu vào và áp dụng các thuật toán học mới.

Trích đoạn nội dung tài liệu

Chương 1 cũng đề cập đến vai trò của khai phá dữ liệu và một số kỹ thuật khai phá dữ liệu dùng trong bài toán dự đoán khách hàng có nguy cơ rời mạng. Trong chương tiếp theo, luận văn sẽ giới thiệu chi tiết hai mô hình dự đoán khách hàng rời mạng: Mô hình dự đoán dựa trên học luật và mô hình dựa trên học giám sát và không giám sát của Ying Huwang và cộng sự. 8 Chƣơng 2: Một số mô hình điển hình cho bài toán dự đoán khách hàng rời mạng 2. Mô hình dựa trên luật cho bài toán dự đoán khách hàng rời mạng dịch vụ viễn thông 2.

Giới thiệu mô hình phân lớp dựa trên luật Phương pháp phân lớp dựa trên học luật (classification by rule learning (CRL)) là một phương pháp nổi tiếng. Một trong những đặc trưng của quy nạp luật là chúng rõ ràng và dễ hiểu hơn những mô hình khác. Đã có nhiều nghiên cứu về lĩnh vực này. Trong xử lý luật quy nạp, hai phương pháp thường được sử dụng là: general-to- specific(top-down) tức là xử lý từ luật chung đến các luật riêng và phương pháp specific-to-general (bottom-up) tức là đi từ các luật riêng tới các luật chung.

Trong đó, phương pháp top-down thường được áp dụng rộng rãi hơn. “Luật” được định nghĩa là một mệnh đề dạng: {NẾU Tiền đề THEN kết quả}, với tiền đề được định nghĩa là một sự kết hợp của một số cặp <thuộc tính, khoảng cách> và kết quả là nhãn của lớp. “Luật chung” và “luật riêng” là hai khái niệm quan trọng. Thông thường, một luật với cặp <thuộc tính, khoảng cách> nhỏ hơn trong kết quả thì “chung” hơn.

Mô hình sinh các luật Phân lớp dựa trên học luật (CRL) là một chiến lược từ chung-đến-riêng, vì vậy, nó bắt đầu bằng việc sinh các luật chung, first-order luật, sau đó sinh các luật lớp cao hơn dựa vào các luật bậc thập hơn (lower-order). Thuật toán [Giải thuật1] bên dưới minh họa việc xử lý sinh tập luật. Với SETrules là tập luật được sinh ra, k là số bậc. và threshold là số bậc tối đa.

Giải thuật 1: CRL Algorithm (training data) 1: SETrules ←  ; 2: k ← 1; 3: SETrules ← First_order_rules(training data) 4: While k ≤ threshold do 5: high_order ← Higher_order_rules(lower_order_rules); 6: SETrules ← SETrules high_order; 8: end while 9: return SETrules 9 First-order Rules (Giải thuật 2): Thuật toán sinh ra luật bậc đầu tiên first-order rules. Để tránh mất thông tin, tất cả các cặp <thuộc tính, khoảng cách> được đưa vào tài khoản. Trong thuật toán 2, num_attribute, num_interval và num_class định nghĩa số thuộc tính, số khoảng cách của thuộc tính hiện tại và số phân lớp khác nhau. Đầu tiên, set first_order_rule là rỗng, ruleijk là luật có dạng “IF fi=Intervalj THEN Classk”, Nếu Prunning(ruleijk) trả lại false, thì ruleijk được xem là một luật hữu ích.

Giải thuật 2: First_order_rules(training data) 1. First_order_rules ←  ; 2. For i=1; i ≤ num_attribute; i++ do 3. For j=1; j≤ num_interval; j++ do 4.

For k=1; k≤ num_class; k++ do 5. If Pruning (ruleijk) returns fales then 6. First_order_rules ← First_order_rule ruleijk 7. Return First_order_rules High-order Rules (Giải thuật 3): Highter-order rules được xây dựng lặp lại từ các luật cấp thấp hơn.

Luật (n-1)_order là cơ sơ để xây dựng luật n_order. Trong thuật toán 3, item được dùng để định nghĩa một cặp <thuộc tính, khoảng cách>, positive_items bao gồm tất các các phần tử được trích xuất từ tất cả các luật dương. Tập các negative-items cũng được sinh tương tự. Mỗi luật riêng được đặc tả bởi thuật toán hill_climbing để thêm một phần tử vào phần tiền đề của luật hiện tại.

Để đánh giá chất lượng của luật được sinh ra, chúng ta có thể sử dụng độ đo Weighted Relative Accuracy (WRA), được tính như sau: Num _(a) Num _(a, c) Num(c) WRA  x(  ) Num _ total Num _(a) Num _ total 10 Trong đó Num_(a) và Num_(c) là số trường hợp dữ liệu được trích xuất từ tiền đề và kết quả của luật, và num_total được định nghĩa là số trường hợp trong tập dữ liệu học. Giải thuật 3: Higher_order_rules (a set of lower_order_rules) 1. positive_items ← get all exclusive items from positive_lower_order_rules; 3. negative_items ← get all exclusive items from negative_lower_order_rules; 4.

For i=1; i ≤ num_positive_rules; i++ do 6. High_rule ← hill_climbing (positivei , positive_item); 7. If Pruning (high_rule) returns false then 8. WRAi ← calculate the Weighted_Relative_Accuracy for high_rule; 9.

If WRAi is not in the list of accuracy_list then 10. all_rules ← all_rules high_rule; 11. accuracy_list ← accuracy_list WRAi ; 12. do same work to generate negative_rules; 16.

all_rules ← all_rules negative_rule; 17. return all_rules Thuật toán hill_climbing Giải thuật 4: hill_climbing (one_lower_rule, all_low_items) 1. for i=1; i ≤ num_low_items; i++ do 3. If one_lower_rule does not include itemi then 4.

one_high_rule ← combination of one_lower_rule and itemi; 5. WRAi ← calculate the Weighted_Relative_Accuracy for one_high_rule; 6. accuracy_list ← accuracy_list WRAi ; 7. BEST ← one of high order rules having the highest WRA; 10.

return BEST Số lương luật sinh ra có thể rất lớn, để việc phân lớp được hiệu quả, Ying Hwuang và cộng sự đã loại bỏ bớt những luật xấu với các thông tin nhiễu hoặc không quan trọng. 11 Thông thường, một thống kê mẫu  2 được xử dụng để kiểm tra nếu tồn tại một quan hệ tuyến tính mạnh giữa hai thuộc tính.  2 được tính như sau: (O  E )2 2  E Với O và E là tần số mong đợi và quan sát, được tính bằng công thức: Num _(a) xNum _(c) O  Num _(a, c) E Num _ total Ngoài ra, còn có độ đánh giá Support và Confidence được sử dụng để đánh giá luật có bị loại bỏ (pruned) hay không? Num _(a, c) Num _(a, c) Support  Confidence  Num _ total Num _(a) Giải thuật (5) là một giải thuật tìm ra một luật có bị loại bỏ hay không? Với  là ngưỡng giá trị đánh giá  2 , minS và minC là hai giá trị ngưỡng, được định nghĩa là giá trị nhỏ nhất của support và confidence. Giải thuật 5: pruning (rule) 1.

If chi-square statistics > α AND support_rule > minS AND Confidence_rule > minC then 3. Phân lớp Để phân lớp cho tập dữ liệu, Ying Hwuang và cộng sự coi Rules bao gồm hai lớp: churn và non-churn. Hai mô hình dự đoán được xây dựng dựa trên tất cả các luật churn và tất cả các luật non-churn. Để đánh giá độ quan trọng của các luật, Ying Hwuang và cộng sử xếp hạng các luật trong mỗi mô hình dựa trên một số nguyên lý sau:  Nếu confidence_1 > confidence_2 thì luật rule_1 có độ ưu tiên cao hơn rule_2.

 Nếu confidence_1= confedence_2 và support_1 > support_2 thì luật rule_1 có độ ưu tiên cao hơn rule_2. 12  Nếu confidence_1 = confedence_2 và support_1 = support_2 vàn rule_2 là “chung” hơn luật rule_2 thì rule_1 có độ ưu tiên cao hơn rule_2. Sau khi xếp hạng, mỗi luật có một vị trí trong mỗi mô hình dự đoán, nếu một luật có độ quan trọng hơn các luật khác thì nó có vị trí tốt hơn. Ying Hwuang và cộng sự định nghĩa mực độ quan trọng của mỗi luật như sau: Num _ rules  position S ignificance _ level  Num _ rules Với Num_rules là số luật, position được định nghĩa là vị trí của luật trong tập luật được xếp hạng.

Vì vậy, luật quan trọng nhất thì significance_level có giá trị 1, 1 ngược lại, luật ít quan trọng nhất thì độ quan trọng là. Để phân lớp một Num _ rules đối tượng, tìm tất cả các luật trong mô hình churn và non-churn, nếu tổng Significance_level của tất các luật được trích xuất trong mô hình churn mà lớn hơn mô hình non-churn , thì gán nhãn churn đối tượng, ngược lại, đối tượng sẽ gán nhãn non- churn. Kết quả và đánh giá mô hình Trong phần thực nghiệm, Ying Hwuang và cộng sự sử dụng 4 tập dữ liệu UCI và 6 tập dữ liệu viễn thông của mạng viễn thông Ireland. Tập dữ liệu của Ying Hwuang và cộng sự.

Giá trị AUC được tính theo công thức sau: S0  n0 x(n0  1) x0.5 AUC  n0 n1 Với S0 là tổng xếp hạng của lớp 0 (churn) tập mẫu, n0 là số tập mẫu thuộc về lớp 0 (churn) và n1 là số tập mẫu thuộc lớp 1 (nonchurn). 13 Hình 2: So sánh độ AUC giữa các mô hình Hình trên mô tả kết quả so sánh AUC khi áp dụng CRL và DMEL với các tỉ lệ churn-rate khác nhau: (a):1%, (b) :2%, (c): 4%, (d): 6%, (e): 8%, (f):10%. Mô hình học lai cho bài toán dự đoán khách hàng rời mạng Ngoài mô hình phân lớp dựa trên luật, Ying Hwuang và công sự M.Tahar còn xây dựng mô hình lai để dự đoán các hành vi tương lai của khách hàng. Ý tưởng chính cho mô hình học lai là dự đoán khách hàng theo dữ liệu học tương tự với nó.

Giả thiết rằng, khách hàng có thuộc tính giống nhau thì hành vi sẽ giống nhau. Vì vậy, sẽ chính xác hơn nếu một đối tượng chưa gán nhãn được dự đoán sử dụng đối tượng học hơn là toàn bộ dữ liệu bằng cách chia dữ liệu học thành các cụm và đối tượng test được gán nhãn theo cụm gần nó nhất. 15 Mô hình lai của Ying Hwuang và cộng sự gồm 3 phần chính: Chuẩn hóa dữ liệu, đào tạo mô hình học lai và phân lớp. Chuẩn hóa dữ liệu: Dữ liệu gồm các thông tin biểu diễn dưới các dạng khác nhau.

Rời rạc hóa dữ liệu là quá trình biểu diễn dữ liệu dưới dạng vector, trong đó các trường dữ liệu liên tục được biểu diễn thành các dạng rời rạc ví dụ dữ liệu dạng số. Trong mô hình của Ying Hwuang và cộng sự, tác giả sử dụng kỹ thuật rời rạc hóa dữ liệu lớp phụ thuộc (Class -Dependent) để chuẩn hóa dữ liệu chứa ký tự và thuộc tính liên tục thành các dữ liệu dạng số. Đào tạo mô hình lai Trong mô hình lai của Ying Hwuang và cộng sự gồm hai phần: Phân cụm và sinh các luật a. Phân cụm k-mean và phân cụm k-mean có đánh trọng số  Phân cụm k-mean Kỹ thuật phân cụm được sử dụng rộng rãi trong rất nhiệu ứng dụng khai phá dữ liệu.

Có nhiều thuật toán phân cụm như: phân cụm có thứ bậc, phân cụm mờ, phân cụm cứng, trong đó phân cụm k-mean là kỹ thuật đơn giản, tương tự với phân cụm cứng. Xét tập dữ liệu cần phân cụm D, với K là só cụm và o là một đối tượng thuộc D. Ci và ci là cụm và trung tâm cụm thứ i. Thuật toán K-Mean khởi tạo K trung tâm cụm ban đầu.

Tại mỗi bước lặp, mỗi đối tượng trong D sẽ được tính khoảng các tới các trung tâm cụm, và gán vào cụm gần nó nhất. Tiếp theo, sẽ tính toán lại trung tâm các cụm. Quá trình này lặp đi lặp lại cho tới khi trung tâm các cụm không thay đổi. Giải thuật K-means 1.