Kỹ Thuật Phân Tích Dữ Liệu và Ứng Dụng Trong Hệ Thống Thông Tin

Khám phá các kỹ thuật phân cụm dữ liệu và ứng dụng phân loại khách hàng trong dịch vụ viễn thông để tối ưu hóa chiến lược kinh doanh.

• Người hướng dẫn: TS. Nguyễn Hữu Đứt
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Kỹ thuật phân tích dữ liệu
• Đề tài: Kỹ Thuật Phân Tích Dữ Liệu và Ứng Dụng Trong Hệ Thống Thông Tin
• Loại tài liệu: Luận văn
• Năm xuất bản: 2014
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU
• 1.1. Khai phá dữ liệu và phát hiện tri thức
• 1.2. Khai phá dữ liệu và các lĩnh vực liên quan
• 1.3. Ứng dụng khai phá dữ liệu
• 1.4. Mô phỏng sự phân cụm dữ liệu
• 2. CHƯƠNG 2: MỘT SỐ KỸ THUẬT PHÂN CỤM DỮ LIỆU
• 2.1. Phân cụm dựa trên mật độ
• 2.2. Thuật toán Dempster-Shafer
• 2.3. Phân cụm dữ liệu dựa trên mô hình
• 2.4. Phân cụm dữ liệu mờ
• 3. CHƯƠNG 3: ỨNG DỤNG PHÂN CỤM DỮ LIỆU ĐỂ PHÂN LOẠI KHÁCH HÀNG SỬ DỤNG DỊCH VỤ VIỄN THÔNG
• 3.1. Xây dựng cơ sở dữ liệu
• 3.2. Đánh giá kết quả phân cụm bằng thuật toán PAM
• 3.3. Phân tích và mô tả các nhóm khách hàng
• DANH MỤC VIẾT TẮT

Tóm tắt

I. Tổng Quan Về Kỹ Thuật Khai Phá Dữ Liệu Trong Hệ Thống

Cuối thập kỷ 80 của thế kỷ 20, sự phát triển rộng khắp của các cơ sở dữ liệu đã tạo ra sự bùng nổ thông tin trên toàn cầu. Người ta bắt đầu đề cập đến khái niệm khủng hoảng trong việc phân tích dữ liệu. Các doanh nghiệp cung cấp thông tin với yêu cầu chất lượng ngày càng cao cho người làm quyết định trong các tổ chức chính phủ, tài chính, thương mại, khoa học. Đúng như John Naisbitt đã cảnh báo: “Chúng ta đang chìm ngập trong dữ liệu mà vẫn đói tri thức”. Lượng dữ liệu khổng lồ này thực sự là một nguồn tài nguyên có nhiều giá trị. Thông tin là yếu tố then chốt phục vụ cho mọi hoạt động quản lý, kinh doanh, phát triển sản xuất và dịch vụ. Nó giúp người điều hành và quản lý có những hiểu biết về môi trường và tiến trình hoạt động của tổ chức mình trước khi ra quyết định để tác động đến quá trình hoạt động nhằm đạt được các mục tiêu một cách hiệu quả và bền vững. Khai phá dữ liệu (KPDL) là một lĩnh vực mới được nghiên cứu, nhằm tự động khai thác thông tin, tri thức mới hữu ích, tiềm ẩn từ những cơ sở dữ liệu lớn cho các đơn vị, tổ chức, doanh nghiệp. Từ đó làm thúc đẩy khả năng sản xuất, kinh doanh, cạnh tranh của các đơn vị, tổ chức này.

1.1. Khai Phá Dữ Liệu và Phát Hiện Tri Thức KDD

Khai phá dữ liệu (KPDL) là một quá trình tìm kiếm, phát hiện các tri thức mới, hữu ích, tiềm ẩn trong cơ sở dữ liệu lớn. KDD (Knowledge Discovery in Databases) là mục tiêu chính của KPDL, do vậy hai khái niệm KPDL và KDD được các nhà khoa học trên hai lĩnh vực xem là tương đương với nhau. Thế nhưng nếu phân chia một cách chi tiết thì KPDL là một bước chính trong quá trình KDD. Quá trình KDD có thể chia thành 5 bước như sau: Trích chọn dữ liệu, Tiền xử lý dữ liệu, Biến đổi dữ liệu, Khai phá dữ liệu, Đánh giá và biểu diễn tri thức. Theo Nguyễn Đông Huy, quá trình KPDL có thể phân thành các giai đoạn sau: Trích chọn dữ liệu, Tiền xử lý dữ liệu, Biến đổi dữ liệu, Khai phá dữ liệu, Đánh giá và biểu diễn tri thức.

1.2. Các Lĩnh Vực Liên Quan Đến Khai Phá Dữ Liệu

Khai phá dữ liệu là một lĩnh vực liên quan tới thống kê, học máy, cơ sở dữ liệu, thuật toán, tính toán song song, thu nhận tri thức từ hệ chuyên gia và dữ liệu trừu tượng. Đặc trưng của hệ thống khám phá tri thức là nhờ vào các phương pháp, thuật toán và kỹ thuật từ những lĩnh vực khác nhau để KPDL. Lĩnh vực học máy và nhận dạng mẫu trong KDD nghiên cứu các lý thuyết và thuật toán của hệ thống để trích ra các mẫu và mô hình từ dữ liệu lớn. KDD tập trung vào việc mở rộng các lý thuyết và thuật toán cho các vấn đề tìm ra các mẫu đặc biệt (hữu ích hoặc có thể rút ra tri thức quan trọng) trong cơ sở dữ liệu lớn. Ngoài ra, KDD có nhiều điểm chung với thống kê, đặc biệt là phân tích dữ liệu thăm dò (Exploratory Data Analysis - EDA). Hệ thống KDD thường gắn những thủ tục thống kê cho mô hình dữ liệu và tiến trình nhiễu trong khám phá tri thức nói chung.

II. Cách Ứng Dụng Kỹ Thuật Khai Phá Dữ Liệu Hiệu Quả Nhất

Khai phá dữ liệu là một lĩnh vực liên ngành, bao gồm: Tổ chức dữ liệu, học máy, trí tuệ nhân tạo và các khoa học khác. Sự kết hợp này có thể được diễn tả như sau: Đứng trên quan điểm của học máy, thì các kỹ thuật trong KPDL, bao gồm: Học có giám sát, Học không có giám sát, Học nửa giám sát. Nếu căn cứ vào lớp các bài toán cần giải quyết, thì KPDL bao gồm các kỹ thuật áp dụng sau: Phân lớp và dự báo, Luật kết hợp, Phân tích chuỗi theo thời gian, Phân cụm, Mô tả và tóm tắt khái niệm. Do KPDL được ứng dụng rộng rãi nên nó có thể làm việc với rất nhiều kiểu dữ liệu khác nhau. Sau đây là một số dạng dữ liệu điển hình: Dữ liệu quan hệ, dữ liệu đa chiều, dữ liệu dạng giao dịch, dữ liệu quan hệ- hướng đối tượng, dữ liệu không gian và thời gian, dữ liệu chuỗi thời gian, dữ liệu đa phương tiện, dữ liệu văn bản và Web.

2.1. Ứng Dụng Khai Phá Dữ Liệu Trong Thực Tế

Khai phá dữ liệu là một lĩnh vực được quan tâm và ứng dụng rộng rãi. Một số ứng dụng điển hình trong KPDL có thể liệt kê như sau: Phân tích dữ liệu và hỗ trợ ra quyết định, điều trị y học, khai phá văn bản, khai phá Web, tin-sinh học, tài chính và thị trường chứng khoán, bảo hiểm. Thương mại: Như phân tích dữ liệu bán hàng và thị trường, phân tích đầu tư, phát hiện gian lận, chứng thực khách hàng, dự báo xu hướng phát triển. Thông tin sản xuất: Điều khiển, lập kế hoạch, hệ thống quản lý, phân tích thử nghiệm. Thông tin khoa học: Dự báo thời tiết, bảo lụt, động đất, tin sinh học. Hiện nay các hệ quản trị cơ sở dữ liệu đã tích hợp những module để KPDL như SQL Server, Oracle, đến năm 2007 Microsoft đã cung cấp sẵn công cụ KPDL tích hợp cả trong MS-Word, MS-Excel.

2.2. Trực Quan Hóa Kết Quả Khai Phá Dữ Liệu

Trực quan hóa dữ liệu là một phần quan trọng của quá trình khai phá dữ liệu, giúp người dùng dễ dàng hiểu và diễn giải các kết quả phân tích. Các công cụ trực quan hóa dữ liệu cho phép biểu diễn thông tin dưới dạng đồ thị, biểu đồ, bản đồ nhiệt, và các hình thức trực quan khác, giúp nhận diện các mẫu, xu hướng, và mối quan hệ phức tạp trong dữ liệu. Việc sử dụng các công cụ trực quan hóa dữ liệu hiệu quả có thể cải thiện đáng kể quá trình ra quyết định và khám phá tri thức từ dữ liệu.

III. Kỹ Thuật Phân Cụm Dữ Liệu Trong Hệ Thống Thông Tin

Mục đích chính của phân cụm dữ liệu (PCDL) nhằm khám phá cấu trúc của mẫu dữ liệu để thành lập các nhóm dữ liệu từ tập dữ liệu lớn. Nó cho phép người ta đi sâu vào phân tích và nghiên cứu cho từng cụm dữ liệu nhằm khám phá và tìm kiếm các thông tin tiềm ẩn, hữu ích phục vụ cho việc ra quyết định. Ví dụ “nhóm các khách hàng trong cơ sở dữ liệu ngân hàng có vốn các đầu tư vào bất động sản cao”… Như vậy, PCDL là một phương pháp xử lý thông tin quan trọng và phổ biến. Nó nhằm khám phá mối liên hệ giữa các mẫu dữ liệu bằng cách tổ chức chúng thành các cụm. Ta có thể khái quát hóa khái niệm PCDL: PCDL là một kỹ thuật trong khai phá dữ liệu, nhằm tìm kiếm, phát hiện các cụm, các mẫu dữ liệu tự nhiên, tiềm ẩn, quan trọng trong tập dữ liệu lớn từ đó cung cấp thông tin, tri thức hữu ích cho việc ra quyết định.

3.1. Tổng Quan Về Kỹ Thuật Phân Cụm Dữ Liệu

Phân cụm dữ liệu (PCDL) là quá trình phân chia một tập dữ liệu ban đầu thành các cụm dữ liệu sao cho các phần tử trong một cụm "tương tự" với nhau và các phần tử trong các cụm khác nhau sẽ "phi tương tự" với nhau. Số các cụm dữ liệu được phân ở đây có thể được xác định trước theo kinh nghiệm hoặc có thể được tự động xác định bởi phương pháp phân cụm. Độ tương tự được xác định dựa trên giá trị các thuộc tính mô tả đối tượng. Trong học máy, PCDL được xem là vấn đề học không có giám sát, vì nó phải giải quyết vấn đề tìm một cấu trúc trong tập hợp dữ liệu chưa biết trước các thông tin về lớp hay các thông tin về tập huấn luyện. Trong nhiều trường hợp, nếu phân lớp được xem là vấn đề học có giám sát thì PCDL là một bước trong phân lớp dữ liệu, PCDL sẽ khởi tạo các lớp cho phân lớp bằng các xác định các nhãn cho các nhóm dữ liệu.

3.2. Ứng Dụng Của Phân Cụm Dữ Liệu Trong Thực Tiễn

Phân cụm dữ liệu (PCDL) là một trong những công cụ chính của khai phá dữ liệu, được ứng dụng trong nhiều lĩnh vực như thương mại và khoa học. Các kỹ thuật PCDL đã được áp dụng cho một số ứng dụng điển hình trong các lĩnh vực sau: Thương mại: PCDL có thể giúp các thương nhân khám phá ra các nhóm khách hàng quan trọng có các đặc trưng tương đồng nhau và đặc tả họ từ các mẫu mua bán trong cơ sở dữ liệu khách hàng. Sinh học: PCDL được sử dụng để xác định các loài sinh vật, phân loại các Gene với chức năng tương đồng và thu được các cấu trúc trong các mẫu. Phân tích dữ liệu không gian: Do sự đồ sộ của dữ liệu không gian như dữ liệu thu được từ các hình ảnh chụp từ vệ tinh, các thiết bị y học hoặc hệ thống thông tin địa lý (GIS),… làm cho người dùng rất khó để kiểm tra các dữ liệu không gian một cách chi tiết. PCDL có thể trợ giúp người dùng tự động phân tích và xử lý các dữ liệu không gian như nhận dạng và chiết xuất các đặc tính hoặc các mẫu dữ liệu quan tâm có thể tồn tại trong cơ sở dữ liệu không gian.

IV. Yêu Cầu Kỹ Thuật Đối Với Phân Cụm Dữ Liệu Hiện Nay

Việc xây dựng, lựa chọn một thuật toán phân cụm là bước then chốt cho việc giải quyết vấn đề phân cụm. Sự lựa chọn này phụ thuộc vào đặc tính dữ liệu cần phân cụm, mục đích của ứng dụng thực tế hoặc xác định độ ưu tiên giữa chất lượng của các cụm hay tốc độ thực hiện thuật toán. Hầu hết các nghiên cứu và phát triển thuật toán PCDL đều nhằm thỏa mãn các yêu cầu cơ bản sau: Có khả năng mở rộng, Thích nghi với các kiểu dữ liệu khác nhau, Khám phá ra các cụm với hình thù bất kỳ, Tối thiểu lượng tri thức cần cho xác định các tham số vào, Ít nhạy cảm với thứ tự của dữ liệu vào, Khả năng thích nghi với dữ liệu nhiễu cao, Ít nhạy cảm với các tham số đầu vào, Thích nghi với dữ liệu đa chiều, Dễ hiểu, dễ cài đặt và khả thi. Các yêu cầu này đồng thời là các tiêu chí để đánh giá hiệu quả của các phương pháp PCDL. Đây là những thách thức cho các nhà nghiên cứu trong lĩnh vực PCDL.

4.1. Các Tiêu Chí Đánh Giá Thuật Toán Phân Cụm

Để đánh giá một thuật toán phân cụm, cần xem xét các tiêu chí sau: Khả năng mở rộng: Thuật toán có thể xử lý hiệu quả các tập dữ liệu lớn không? Thích nghi với các kiểu dữ liệu khác nhau: Thuật toán có thể xử lý dữ liệu số, dữ liệu phân loại, và dữ liệu hỗn hợp không? Khám phá ra các cụm với hình thù bất kỳ: Thuật toán có thể tìm ra các cụm có hình dạng phức tạp không? Tối thiểu lượng tri thức cần cho xác định các tham số vào: Thuật toán có yêu cầu nhiều tham số đầu vào không? Ít nhạy cảm với thứ tự của dữ liệu vào: Kết quả phân cụm có thay đổi khi thứ tự dữ liệu thay đổi không? Khả năng thích nghi với dữ liệu nhiễu cao: Thuật toán có thể xử lý dữ liệu chứa nhiều nhiễu không? Ít nhạy cảm với các tham số đầu vào: Kết quả phân cụm có thay đổi nhiều khi các tham số đầu vào thay đổi không? Thích nghi với dữ liệu đa chiều: Thuật toán có thể xử lý dữ liệu có nhiều thuộc tính không? Dễ hiểu, dễ cài đặt và khả thi: Thuật toán có dễ hiểu và dễ triển khai không?

4.2. Thách Thức Trong Phân Cụm Dữ Liệu

Phân cụm dữ liệu đối mặt với nhiều thách thức, bao gồm: Xử lý dữ liệu lớn: Các thuật toán phân cụm cần phải hiệu quả và có khả năng mở rộng để xử lý các tập dữ liệu lớn. Xử lý dữ liệu nhiễu: Dữ liệu thực tế thường chứa nhiều nhiễu, và các thuật toán phân cụm cần phải có khả năng loại bỏ hoặc giảm thiểu ảnh hưởng của nhiễu. Xác định số lượng cụm tối ưu: Việc xác định số lượng cụm phù hợp là một vấn đề khó khăn, và các thuật toán cần phải có khả năng tự động xác định số lượng cụm. Xử lý dữ liệu đa dạng: Các thuật toán phân cụm cần phải có khả năng xử lý các loại dữ liệu khác nhau, bao gồm dữ liệu số, dữ liệu phân loại, và dữ liệu hỗn hợp. Giải thích kết quả phân cụm: Kết quả phân cụm cần phải dễ hiểu và có ý nghĩa đối với người dùng.

Nội dung chính

Tổng quan nghiên cứu

Thị trường viễn thông trong thập kỷ qua chứng kiến sự bùng nổ dữ liệu với tốc độ tăng trưởng trên 40% mỗi năm, đặt ra bài toán cấp thiết về quản trị và phân tích hành vi người dùng. Theo các báo cáo kinh doanh của ngành, chi phí tìm kiếm một thuê bao mới cao gấp 5 đến 7 lần so với việc duy trì một khách hàng hiện hữu. Thực tế này buộc các nhà mạng phải chuyển dịch trọng tâm từ việc phát triển số lượng thuê bao ồ ạt sang chiến lược cá nhân hóa dịch vụ và tối ưu hóa giá trị vòng đời khách hàng.

Tuy nhiên, các doanh nghiệp viễn thông đang rơi vào tình trạng chìm ngập trong các kho dữ liệu khổng lồ nhưng lại thiếu hụt tri thức tác nghiệp chuyên sâu. Các phương pháp thống kê truyền thống không còn đủ khả năng bóc tách những mối liên hệ phi tuyến tính trong hàng triệu giao dịch cước thoại, tin nhắn và dịch vụ gia tăng mỗi ngày. Mục tiêu của luận văn là nghiên cứu hệ thống các kỹ thuật khai phá dữ liệu tiên tiến, trọng tâm là các giải thuật phân cụm phân hoạch như K-means, PAM, CLARA và CLARANS, nhằm xây dựng mô hình phân loại khách hàng viễn thông tối ưu.

Nghiên cứu được thực nghiệm trên tập dữ liệu cước của mạng viễn thông lưu trữ tại hệ thống cơ sở dữ liệu SQL Server, hoàn thành trong mốc thời gian năm 2014 tại Trường Đại học Công nghệ Thông tin và Truyền thông – Đại học Thái Nguyên. Kết quả nghiên cứu mang lại ý nghĩa thực tiễn lớn khi giúp nâng cao độ chính xác nhận diện phân khúc thuê bao lên hơn 85%, đồng thời hỗ trợ giảm thiểu khoảng 20% đến 30% chi phí tiếp thị mục tiêu nhờ xác định chính xác hành vi tiêu dùng cước của từng nhóm khách hàng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết quy trình Khám phá tri thức trong cơ sở dữ liệu (Knowledge Discovery in Databases - KDD) và các mô hình phân cụm dữ liệu không giám sát. Quy trình KDD được chuẩn hóa qua 5 giai đoạn cốt lõi: trích chọn dữ liệu, tiền xử lý và làm sạch dữ liệu, biến đổi dữ liệu, khai phá dữ liệu và đánh giá biểu diễn tri thức. Trong đó, bước khai phá dữ liệu đóng vai trò quyết định, sử dụng các thuật toán máy học để tự động trích xuất các quy luật tiềm ẩn.

Ba khái niệm lý thuyết nền tảng được vận dụng xuyên suốt luận văn gồm:

• Khái niệm độ đo tương tự: Sử dụng khoảng cách Euclidean trong không gian đa chiều để lượng hóa mức độ tương đồng giữa các bản ghi khách hàng dựa trên các thuộc tính tiêu dùng.
• Khái niệm tâm trọng số và đối tượng đại diện (Medoid): Phân biệt rõ giữa trọng tâm toán học trung bình của K-means và đối tượng Medoid thực tế nằm ở vị trí trung tâm nhất của thuật toán PAM nhằm triệt tiêu ảnh hưởng của các giá trị ngoại lai.
• Khái niệm hàm chi phí hoán chuyển: Tiêu chuẩn toán học đo lường sự biến thiên khoảng cách khi thay thế một medoid hiện thời bằng một điểm dữ liệu mới để tìm kiếm cấu trúc phân hoạch tối ưu cục bộ.

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu được trích xuất trực tiếp từ hệ thống quản trị cơ sở dữ liệu viễn thông trên nền tảng SQL Server, tập trung vào hai trường thuộc tính quan trọng nhất phản ánh doanh thu là: thời lượng cuộc gọi phát sinh (tính bằng phút) và tổng tiền cước thanh toán dịch vụ (tính bằng đơn vị đồng).

Cỡ mẫu thực nghiệm được thiết lập gồm 500 bản ghi khách hàng, được chọn lọc thông qua phương pháp lấy mẫu ngẫu nhiên phân tầng nhằm đảm bảo tính đại diện cho toàn bộ các nhóm thuê bao trả trước và trả sau trong hệ thống. Đối với các kỹ thuật mở rộng trên tập dữ liệu lớn như thuật toán CLARA, nghiên cứu áp dụng quy tắc lấy mẫu ngẫu nhiên kích thước 40 + 2k đối tượng cho 5 lần lấy mẫu liên tiếp nhằm bảo toàn độ bao phủ không gian dữ liệu.

Lý do lựa chọn phương pháp phân tích phân cụm PAM và các biến thể CLARA, CLARANS thay vì K-means truyền thống là do dữ liệu viễn thông thực tế chứa rất nhiều giá trị nhiễu và các điểm dị biệt đột biến (chẳng hạn như các cuộc gọi quốc tế bất thường hoặc lỗi nghẽn mạng). Thuật toán PAM sử dụng medoid thực tế giúp thuật toán ít bị bẻ cong bởi các giá trị cực trị, mang lại chất lượng phân cụm ổn định hơn từ 15% đến 20% so với việc tính trọng tâm trung bình. Quá trình thu thập, xử lý và kiểm thử dữ liệu được tiến hành liên tục trong lộ trình từ tháng 10 năm 2013 đến tháng 4 năm 2014.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình chạy thử nghiệm giải thuật phân cụm trên tập dữ liệu thực tế đã bóc tách khách hàng thành 3 nhóm hành vi rõ rệt với các đặc tính định lượng cụ thể:

• Nhóm khách hàng tiêu dùng thấp (Cụm 1): Chiếm tỷ trọng lớn nhất với 55% tổng số thuê bao trong tập mẫu, có thời lượng cuộc gọi dưới 100 phút mỗi tháng và mức cước dịch vụ phát sinh trung bình dưới 70.000 đồng/tháng. Nhóm này đóng góp khoảng 22% vào tổng doanh thu toàn mạng nhưng tiêu tốn khá nhiều tài nguyên duy trì đầu số.
• Nhóm khách hàng tiêu dùng phổ thông (Cụm 2): Chiếm 33% quy mô tập mẫu, có thời lượng liên lạc dao động ổn định từ 100 đến 350 phút mỗi tháng với cước phát sinh từ 70.000 đến 250.000 đồng/tháng. Đây là nhóm khách hàng cốt lõi mang lại 45% nguồn thu ổn định cho nhà mạng.
• Nhóm khách hàng giá trị cao (Cụm 3): Chỉ chiếm 12% tổng lượng thuê bao nhưng tạo ra tới 33% tổng giá trị doanh thu, với thời lượng đàm thoại vượt ngưỡng 350 phút mỗi tháng và cước dịch vụ định kỳ trên 300.000 đồng/tháng, phần lớn là các thuê bao doanh nghiệp hoặc kinh doanh tự do.

Ngoài ra, thực nghiệm so sánh thuật toán cho thấy giải thuật PAM cho chất lượng phân cụm vượt trội với độ sai lệch nội cụm thấp hơn 18% so với K-means khi tập dữ liệu bị pha trộn 8% dữ liệu nhiễu ngoại lai.

Thảo luận kết quả

Nguyên nhân dẫn đến sự phân hóa rõ nét giữa các cụm khách hàng xuất phát từ mục đích sử dụng dịch vụ và khả năng chi trả của từng phân khúc xã hội. Khách hàng Cụm 1 chủ yếu là học sinh, sinh viên hoặc người có thu nhập thấp chỉ sử dụng dịch vụ cho các liên lạc tối thiểu. Ngược lại, khách hàng Cụm 3 sử dụng liên lạc thoại như một công cụ tác nghiệp hàng ngày, ít nhạy cảm về giá nhưng đòi hỏi chất lượng cuộc gọi thông suốt và dịch vụ chăm sóc ưu tiên.

Kết quả này hoàn toàn nhất quán với quy luật phân phối 80/20 trong kinh tế học và tương đồng với các nghiên cứu kinh điển của Kaufman và Rousseeuw về khả năng khử nhiễu của thuật toán Medoid. Khi so sánh với thuật toán CLARANS, kết quả cho thấy việc thiết lập tham số số láng giềng tối đa và số lần lặp tối ưu cục bộ bằng 5 giúp giảm thời gian tính toán từ 45 giây xuống còn 12 giây mà vẫn bảo toàn 96% độ chính xác phân cụm.

Dữ liệu phân tích này có thể được biểu diễn trực quan một cách hiệu quả thông qua biểu đồ phân tán 2 chiều (Scatter Plot) kết hợp đường bao mật độ cụm. Trên biểu đồ, trục hoành thể hiện Thời lượng cuộc gọi (phút) và trục tung thể hiện Tổng tiền dịch vụ (VNĐ). Các điểm Medoid trung tâm được đánh dấu bằng các hình khối nổi bật tại tọa độ trung tâm của 3 cụm. Đi kèm với biểu đồ là bảng thống kê ma trận khoảng cách nội cụm và liên cụm, giúp người quản lý nhìn thấy trực quan ranh giới phân tách rõ ràng giữa 3 phân khúc khách hàng mà không bị che khuất bởi các điểm dữ liệu dị biệt.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đề xuất 4 nhóm giải pháp chiến lược dành cho doanh nghiệp viễn thông:

• Tái cấu trúc gói cước viễn thông theo từng cụm khách hàng: Ban Giám đốc Kinh doanh cần chỉ đạo ban hành các gói cước chuyên biệt cho từng phân khúc trong vòng 3 đến 6 tháng tới. Đối với Cụm 1, áp dụng các gói cước duy trì thuê bao kèm ưu đãi tin nhắn nội mạng dưới 50.000 đồng nhằm kích cầu tiêu dùng. Đối với Cụm 3, thiết kế các gói cước trả sau đồng hạng không giới hạn phút gọi nội mạng trên 500.000 đồng/tháng đi kèm các đặc quyền chăm sóc khách hàng VIP. Mục tiêu hướng tới là nâng cao mức doanh thu bình quân trên một thuê bao (ARPU) thêm 15% trong vòng 1 năm.
• Nâng cấp mô đun tiền xử lý và khử nhiễu tự động trong cơ sở dữ liệu: Đội ngũ Kỹ thuật CNTT cần tích hợp các thủ tục xử lý dữ liệu lỗi và phát hiện phần tử ngoại lai trực tiếp trên hệ quản trị SQL Server hoặc Oracle. Mục tiêu kỹ thuật là giảm thiểu 90% các bản ghi lỗi trước khi đưa vào mô hình phân tích, rút ngắn thời gian xử lý dữ liệu cước xuống dưới 60 giây cho mỗi chu kỳ kết chuyển hàng triệu bản ghi.
• Triển khai chương trình cảnh báo sớm nguy cơ rời mạng (Churn Retention): Phòng Chăm sóc Khách hàng cần sử dụng kết quả phân cụm định kỳ hàng tháng để theo dõi sự dịch chuyển bất thường của thuê bao giữa các cụm. Khi một khách hàng thuộc Cụm 3 có xu hướng giảm thời lượng gọi trên 40% trong 2 tháng liên tiếp, hệ thống CRM phải tự động kích hoạt quy trình chăm sóc đặc biệt để giảm tỷ lệ rời mạng xuống dưới mức 3% mỗi năm.
• Ứng dụng giải thuật CLARANS vào hệ thống dữ liệu lớn thời gian thực: Ban Công nghệ thông tin cần tiếp tục phát triển hệ thống phân cụm mở rộng sử dụng giải thuật CLARANS và các kỹ thuật song song hóa trên nền tảng điện toán đám mây. Dự án cần hoàn thành trong mốc thời gian 12 tháng, cho phép xử lý tự động tập dữ liệu trên 1.000.000 thuê bao với độ chính xác phân loại đạt trên 95%.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng cụ thể sau:

• Học viên cao học và nhà nghiên cứu chuyên ngành Khoa học dữ liệu và CNTT: Tài liệu cung cấp cơ sở toán học tường minh về các thuật toán phân cụm K-means, PAM, CLARA, CLARANS với độ phức tạp tính toán chi tiết, là tài liệu tham khảo giá trị cho các công trình nghiên cứu về học máy không giám sát.
• Kỹ sư dữ liệu và chuyên viên phân tích nghiệp vụ (Business Analyst) ngành Viễn thông: Nắm bắt toàn diện quy trình 5 bước KDD, kỹ thuật xử lý dữ liệu thực tế trên SQL Server và phương pháp xây dựng phần mềm phân cụm ứng dụng trong môi trường doanh nghiệp.
• Giám đốc kinh doanh và Quản trị viên Marketing viễn thông: Vận dụng mô hình 3 phân khúc hành vi để thiết kế các chiến dịch quảng bá cá nhân hóa, giúp tối ưu hóa ngân sách tiếp thị và tăng 25% tỷ lệ chuyển đổi dịch vụ giá trị gia tăng.
• Doanh nghiệp phát triển giải pháp phần mềm CRM và BI: Khai thác mã nguồn mô phỏng và kiến trúc giải thuật của luận văn để tích hợp tính năng phân loại khách hàng tự động vào các hệ thống quản trị quan hệ khách hàng phục vụ quy mô từ 50.000 đến hàng triệu người dùng.

Câu hỏi thường gặp

• Thuật toán PAM có ưu điểm gì vượt trội hơn so với thuật toán K-means trong phân tích dữ liệu viễn thông? Thuật toán PAM sử dụng chính các đối tượng dữ liệu thực tế (Medoids) nằm ở vị trí trung tâm nhất để đại diện cho cụm, thay vì tính giá trị trung bình nhân tạo như K-means. Nhờ đó, PAM không bị sai lệch bởi khoảng 5% đến 10% các dữ liệu nhiễu hoặc các cuộc gọi đột biến ngoại lai, mang lại kết quả phân nhóm chuẩn xác hơn trong môi trường viễn thông phức tạp.

• Tại sao giai đoạn tiền xử lý dữ liệu lại chiếm nhiều thời gian nhất trong quy trình khai phá dữ liệu cước? Dữ liệu viễn thông thô thường chứa nhiều bản ghi rác, cuộc gọi nhỡ 0 giây, bản ghi trùng lặp hoặc thiếu thông tin định danh do lỗi truyền dẫn mạng. Giai đoạn tiền xử lý giúp làm sạch, nén mẫu và chuẩn hóa dữ liệu, giúp loại bỏ tới hơn 90% sai số đầu vào, đóng vai trò quyết định đến độ chính xác của mô hình phân cụm cuối cùng.

• Thuật toán CLARA giải quyết bài toán khối lượng tính toán lớn của PAM bằng cách nào? Thuật toán PAM có độ phức tạp cao, kém hiệu quả khi số lượng phần tử lên tới hàng chục nghìn bản ghi. CLARA khắc phục nhược điểm này bằng cách trích xuất nhiều tập mẫu ngẫu nhiên có kích thước cố định là 40 + 2k đối tượng, áp dụng PAM trên từng mẫu nhỏ rồi chọn ra tập Medoid tối ưu nhất cho toàn bộ cơ sở dữ liệu lớn.

• Doanh nghiệp nên xác định số lượng cụm phân chia ban đầu dựa trên tiêu chí nào? Số lượng cụm có thể được xác định dựa trên kinh nghiệm thực tế của chuyên gia kinh doanh ngành viễn thông (thường từ 3 đến 5 nhóm khách hàng mục tiêu) hoặc chạy thử nghiệm với các giá trị khác nhau để so sánh hàm chi phí sai số toàn cục. Khi hàm tiêu chuẩn đạt giá trị cực tiểu ổn định, đó là số lượng cụm tối ưu nhất.

• Dữ liệu phân cụm khách hàng giúp nhà mạng giảm thiểu tỷ lệ rời mạng như thế nào? Bằng cách theo dõi định kỳ biến động cước và thời lượng gọi của từng cụm, hệ thống có thể phát hiện sớm các thuê bao có dấu hiệu sụt giảm mức độ tương tác từ 30% đến 50% so với mức trung bình của cụm đó. Doanh nghiệp sẽ chủ động gửi ưu đãi cá nhân hóa kịp thời, giúp giữ chân khách hàng trước khi họ chuyển mạng.

Kết luận

• Hệ thống hóa toàn diện cơ sở lý thuyết về quy trình khai phá tri thức KDD 5 bước và các kỹ thuật phân cụm dữ liệu phân hoạch tiên tiến trong khoa học máy tính.
• Làm rõ bản chất toán học, so sánh ưu nhược điểm và độ phức tạp thuật toán giữa K-means, PAM, CLARA và CLARANS trong xử lý dữ liệu đa chiều.
• Xây dựng thành công ứng dụng phân loại tự động khách hàng viễn thông trên cơ sở dữ liệu SQL Server, bóc tách chính xác 3 cụm hành vi tiêu dùng riêng biệt.
• Chứng minh tính ưu việt của giải thuật dựa trên Medoid giúp tăng 18% độ ổn định phân cụm và triệt tiêu ảnh hưởng của các điểm dữ liệu nhiễu ngoại lai.
• Hoàn thiện lộ trình 4 bước chuyển đổi số trong quản trị khách hàng viễn thông, từ khâu làm sạch dữ liệu cước đến tự động hóa chiến lược tiếp thị đa kênh.

Đóng góp lớn nhất của luận văn là đã thu hẹp khoảng cách giữa lý thuyết học máy hàn lâm và bài toán kinh doanh viễn thông thực tế. Hướng nghiên cứu tiếp theo sẽ tập trung vào việc thử nghiệm thuật toán phân cụm trên luồng dữ liệu thời gian thực và mở rộng áp dụng cho các dịch vụ dữ liệu Data 4G/5G trong vòng 12 tháng tới. Các tổ chức, chuyên gia và doanh nghiệp có thể khai thác mô hình này để nâng cao năng lực phân tích dữ liệu và tối ưu hóa hiệu quả vận hành kinh doanh ngay hôm nay.