Chuyên Ngành Kinh Tế Dữ Liệu Ứng Dụng Học Máy Trong Phân Khúc Khách Hàng

Trong thời đại số hóa hiện nay, học máy đã trở thành một công cụ quan trọng trong việc phân tích và phân… 62 trang · Học viện Chính sách và Phát triển · 2023.

• Tác giả: Vũ Trường Nam
• Người hướng dẫn: TS. Nguyễn Hữu Xuân
• Trường học: Học viện Chính sách và Phát triển
• Chuyên ngành: Kinh Tế Số
• Đề tài: Ứng Dụng Học Máy Trong Phân Khúc Khách Hàng
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT PHÂN CỤM DỮ LIỆU
• 1.1. Tổng quan học máy
• 1.1.1. Khái niệm học máy
• 1.1.2. Các kĩ thuật trong Học máy
• 1.1.2.1. Học có giám sát
• 1.1.2.2. Học không giám sát
• 1.1.2.3. Học bán giám sát
• 1.2. Tổng quan phân cụm dữ liệu
• 1.2.1. Khái niệm kỹ thuật phân cụm dữ liệu
• 1.2.2. Phân cụm cứng và phân cụm mờ
• 1.2.2.1. Phân cụm cứng
• 1.2.2.2. Phân cụm mềm
• 1.2.2.3. Khác biệt giữa phân cụm cứng và phân cụm mờ
• 1.2.3. Quy trình thực hiện kỹ thuật phân cụm dữ liệu
• 1.2.4. Các thuật toán phân cụm dữ liệu
• 1.2.4.1. Thuật toán Kmean
• 1.2.4.1.1. Giới thiệu thuật toán Kmean
• 1.2.4.1.2. Phân tích toán học
• 1.2.4.1.3. Ý tưởng thuật toán Kmeans
• 1.2.4.1.4. Giải thuật cụ thể của K-means
• 1.2.4.2. Thuật toán GMM (Gaussian Mixture Model)
• 2. CHƯƠNG 2: PHÂN KHÚC KHÁCH HÀNG VỚI HỌC MÁY
• 2.1. Phân khúc khách hàng
• 2.1.1. Khái niệm phân khúc khách hàng
• 2.1.2. Tầm quan trọng của phân khách hàng
• 2.1.3. Các phương pháp phân khúc khách hàng
• 2.1.3.1. Phân khúc khách hàng dựa trên phương pháp phân tích RFM
• 2.2. Quy trình xây dựng mô hình phân khúc khách hàng với học máy
• 2.2.1. Dữ liệu nghiên cứu
• 2.2.2. Quy trình phân cụm
• 2.2.2.1. Chuẩn bị dữ liệu và lựa chọn biến mục tiêu
• 2.2.2.2. Chọn số cụm tối ưu
• 2.2.2.3. Phân khúc khách hàng với Kmeans và GMM
• 2.3. KẾT LUẬN CHƯƠNG 2
• 3. CHƯƠNG 3: GIẢI PHÁP ĐỀ XUẤT NÂNG CAO KHẢ NĂNG TIẾP CẬN VỚI TỪNG NHÓM KHÁCH HÀNG
• 3.1. KẾT LUẬN CHƯƠNG 3
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Ứng Dụng Học Máy Trong Phân Khúc Khách Hàng

Trong thời đại số hóa hiện nay, học máy đã trở thành một công cụ quan trọng trong việc phân tích và phân khúc khách hàng. Việc áp dụng học máy giúp doanh nghiệp tối ưu hóa dữ liệu kinh tế và nâng cao hiệu quả kinh doanh. Phân khúc khách hàng không chỉ giúp doanh nghiệp hiểu rõ hơn về nhu cầu của khách hàng mà còn tạo ra những chiến lược marketing hiệu quả hơn.

1.1. Khái Niệm Về Học Máy Và Phân Khúc Khách Hàng

Học máy là một lĩnh vực của trí tuệ nhân tạo, cho phép máy tính học từ dữ liệu mà không cần lập trình cụ thể. Phân khúc khách hàng là quá trình chia nhỏ thị trường thành các nhóm khách hàng có đặc điểm tương đồng, từ đó giúp doanh nghiệp phát triển các chiến lược phù hợp.

1.2. Tầm Quan Trọng Của Phân Khúc Khách Hàng

Phân khúc khách hàng giúp doanh nghiệp nhận diện và hiểu rõ hơn về nhu cầu của từng nhóm khách hàng. Điều này không chỉ giúp tối ưu hóa dữ liệu kinh tế mà còn nâng cao khả năng cạnh tranh trên thị trường.

II. Thách Thức Trong Việc Ứng Dụng Học Máy Để Phân Khúc Khách Hàng

Mặc dù học máy mang lại nhiều lợi ích, nhưng việc áp dụng nó vào phân khúc khách hàng cũng gặp phải nhiều thách thức. Các vấn đề như chất lượng dữ liệu, sự phức tạp trong việc lựa chọn thuật toán và khả năng giải thích kết quả là những yếu tố cần được xem xét kỹ lưỡng.

2.1. Chất Lượng Dữ Liệu Và Tính Chính Xác

Chất lượng dữ liệu là yếu tố quyết định đến độ chính xác của mô hình học máy. Dữ liệu không đầy đủ hoặc không chính xác có thể dẫn đến những kết quả sai lệch trong phân khúc khách hàng.

2.2. Lựa Chọn Thuật Toán Phù Hợp

Việc lựa chọn thuật toán phân cụm phù hợp như K-means hay GMM là rất quan trọng. Mỗi thuật toán có ưu nhược điểm riêng, và việc hiểu rõ chúng sẽ giúp tối ưu hóa quá trình phân khúc.

III. Phương Pháp Phân Khúc Khách Hàng Bằng Học Máy

Có nhiều phương pháp để phân khúc khách hàng bằng học máy. Các phương pháp phổ biến bao gồm phân tích RFM, K-means và Gaussian Mixture Model (GMM). Mỗi phương pháp có cách tiếp cận và ứng dụng riêng, giúp doanh nghiệp tối ưu hóa dữ liệu và nâng cao hiệu quả marketing.

3.1. Phân Tích RFM Trong Phân Khúc Khách Hàng

Phân tích RFM (Recency, Frequency, Monetary) là một phương pháp hiệu quả để phân khúc khách hàng dựa trên hành vi mua sắm. Phương pháp này giúp xác định giá trị của khách hàng và tối ưu hóa chiến lược marketing.

3.2. Ứng Dụng K means Trong Phân Khúc Khách Hàng

K-means là một thuật toán phân cụm phổ biến, giúp phân chia khách hàng thành các nhóm dựa trên các đặc điểm tương đồng. Thuật toán này dễ hiểu và dễ triển khai, phù hợp cho nhiều loại dữ liệu.

3.3. Sử Dụng GMM Để Tối Ưu Hóa Phân Khúc

Gaussian Mixture Model (GMM) cho phép phân nhóm khách hàng với độ chính xác cao hơn so với K-means. GMM có khả năng xử lý các nhóm không đồng nhất và giúp phát hiện các mẫu ẩn trong dữ liệu.

IV. Ứng Dụng Thực Tiễn Của Học Máy Trong Phân Khúc Khách Hàng

Việc ứng dụng học máy trong phân khúc khách hàng đã mang lại nhiều kết quả tích cực cho các doanh nghiệp. Các nghiên cứu cho thấy rằng việc phân khúc chính xác giúp tăng cường hiệu quả marketing và cải thiện trải nghiệm khách hàng.

4.1. Cải Thiện Trải Nghiệm Khách Hàng

Phân khúc khách hàng chính xác giúp doanh nghiệp cung cấp các sản phẩm và dịch vụ phù hợp với nhu cầu của từng nhóm khách hàng, từ đó nâng cao trải nghiệm khách hàng.

4.2. Tăng Cường Hiệu Quả Marketing

Việc hiểu rõ đặc điểm của từng nhóm khách hàng giúp doanh nghiệp tối ưu hóa chiến lược marketing, từ đó tăng cường hiệu quả và giảm chi phí quảng cáo.

V. Kết Luận Và Tương Lai Của Ứng Dụng Học Máy Trong Phân Khúc Khách Hàng

Tương lai của học máy trong phân khúc khách hàng hứa hẹn sẽ mang lại nhiều cơ hội mới cho doanh nghiệp. Sự phát triển của công nghệ và dữ liệu lớn sẽ tiếp tục thúc đẩy việc ứng dụng học máy trong phân tích và phân khúc khách hàng.

5.1. Xu Hướng Phát Triển Công Nghệ Học Máy

Công nghệ học máy đang phát triển nhanh chóng, với nhiều thuật toán mới và cải tiến. Điều này sẽ mở ra nhiều cơ hội cho doanh nghiệp trong việc tối ưu hóa phân khúc khách hàng.

5.2. Tương Lai Của Phân Khúc Khách Hàng

Phân khúc khách hàng sẽ ngày càng trở nên quan trọng trong chiến lược kinh doanh. Doanh nghiệp cần tiếp tục đầu tư vào công nghệ và dữ liệu để nâng cao khả năng phân tích và hiểu biết về khách hàng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp với đề tài "Ứng dụng học máy trong phân khúc khách hàng" được thực hiện bởi sinh viên Vũ Trường Nam (lớp KTDL10, mã sinh viên 7103101333), thuộc Khoa Kinh Tế Số – Học viện Chính sách và Phát triển (Bộ Kế hoạch và Đầu tư), dưới sự hướng dẫn khoa học của TS. Nguyễn Hữu Xuân Trường, hoàn thành vào tháng 4 năm 2023. Công trình thuộc nhóm ngành Kinh tế số và Khoa học dữ liệu ứng dụng, với định hướng nghiên cứu thực nghiệm mô hình học máy trên dữ liệu kinh doanh thương mại.

Trong bối cảnh thời đại số hóa, sự bùng nổ của hạ tầng thu thập và lưu trữ thông tin đã biến dữ liệu giao dịch thành nguồn tài nguyên cốt lõi phục vụ tăng trưởng doanh nghiệp. Khách hàng không đơn thuần là người tiêu dùng cuối mà đóng vai trò quyết định đến hiệu quả kinh doanh. Để khai thác hiệu quả tệp khách hàng quy mô lớn, kỹ thuật phân khúc khách hàng (customer segmentation) trở thành công cụ quan trọng nhằm phân nhóm người mua dựa trên những thuộc tính tương đồng. Tuy nhiên, các phương pháp phân tích truyền thống bộc lộ hạn chế về tốc độ xử lý và khả năng bao quát khi quy mô dữ liệu mở rộng. Việc tích hợp các giải thuật học máy (Machine Learning) cho phép tự động hóa quy trình phân nhóm và nhận diện các cấu trúc, mẫu hình tiềm ẩn (hidden patterns) trong dữ liệu mà phương pháp thủ công khó phát hiện.

Mục tiêu nghiên cứu của khóa luận được phân định cụ thể theo cấu trúc văn bản:

• Mục tiêu chung:
  1. Nghiên cứu tổng quan về học máy và kỹ thuật phân cụm dữ liệu.
  2. Nghiên cứu về thuật toán phân cụm K-means và thuật toán GMM (Gaussian Mixture Model).
• Mục tiêu cụ thể:
  • Ứng dụng các công cụ phân tích dữ liệu để xây dựng mô hình phân cụm K-means và mô hình GMM trên dữ liệu thực tế.

Đối tượng nghiên cứu của đề tài bao gồm lý thuyết học máy, kỹ thuật phân cụm dữ liệu, cùng hai thuật toán cụ thể là K-means và GMM. Phạm vi nghiên cứu về mặt dữ liệu thực nghiệm được giới hạn từ tháng 11 năm 2018 đến tháng 4 năm 2019 (với mốc thời gian ghi nhận giao dịch cuối cùng là ngày 12 tháng 4 năm 2019). Về mặt phương pháp luận, đề tài tập trung vào nhánh học không giám sát (unsupervised learning) kết hợp với khung phân tích giá trị khách hàng RFM.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng nghiên cứu dựa trên các khái niệm học máy, phân cụm dữ liệu và kỹ thuật phân tích hành vi người tiêu dùng:

• Khung lý thuyết học máy: Tác giả hệ thống hóa ba phân nhánh chính của học máy bao gồm: học có giám sát (supervised learning, áp dụng cho bài toán hồi quy và phân loại), học không giám sát (unsupervised learning, tập trung vào phân cụm dữ liệu, giảm chiều dữ liệu qua PCA/t-SNE) và học bán giám sát (semi-supervised learning). Trong đó, phân cụm dữ liệu thuộc nhóm học không giám sát, hướng tới mục tiêu tối ưu hóa tính "tương tự" (similar) giữa các cá thể nội cụm và tính "phi tương tự" (dissimilar) giữa các cụm tách biệt.
• Phân loại kỹ thuật phân cụm: Văn bản phân biệt rõ cơ chế giữa phân cụm cứng (hard clustering) và phân cụm mềm/mờ (soft clustering). Phân cụm cứng (điển hình là K-means) gán mỗi điểm dữ liệu vào một cụm duy nhất dựa trên khoảng cách ngắn nhất tới tâm cụm. Phân cụm mềm (điển hình là GMM) xác định xác suất một điểm dữ liệu thuộc về từng cụm khác nhau thông qua phân phối xác suất.
• Thuật toán phân cụm K-means: Kỹ thuật phân hoạch do James MacQueen đề xuất năm 1967. Thuật toán hoạt động dựa trên việc tối thiểu hóa hàm mất mát bình phương khoảng cách Euclid giữa điểm dữ liệu $x_i$ và tâm cụm $m_j$:

$$L(Y, M) = \sum_{i=1}^N \sum_{j=1}^K y_{ij} ||x_i - m_j||_2^2$$

Trong đó $y_{ij} \in {0, 1}$ và $\sum_{k=1}^K y_{ik} = 1$. Việc tối ưu được giải xen kẽ qua hai pha: cố định tâm cụm $M$ để gán nhãn cụm gần nhất cho $Y$, sau đó cố định $Y$ để tính lại tọa độ tâm cụm $m_j$ bằng trung bình cộng các điểm trong cụm.

• Thuật toán Gaussian Mixture Model (GMM): Mô hình hóa phân bố dữ liệu dưới dạng hỗn hợp của các phân phối chuẩn nhiều chiều, với các tham số cốt lõi gồm trọng số thành phần $\alpha_k$ và ma trận hiệp phương sai $\Sigma_k$. Thuật toán kỳ vọng cực đại (Expectation-Maximization – EM) được áp dụng để tối đa hóa hàm log-likelihood.
• Phương pháp xác định số cụm tối ưu: Phương pháp Elbow (dò tìm điểm gập của tổng bình phương khoảng cách) dùng cho K-means; phương pháp tiêu chuẩn thông tin Bayes BIC (Bayesian Information Criterion, do Hirotugu Akaike đề xuất năm 1974 và Gideon Schwarz phát triển năm 1978, dựa trên công thức $BIC = \log(n)k - 2\log(\hat{L})$) dùng để tìm giá trị cực tiểu cho GMM.
• Chỉ số đánh giá mô hình phân cụm: Sử dụng 3 chỉ số định lượng bao gồm: chỉ số Calinski-Harabasz (tỷ số phân tán giữa các cụm và nội cụm, giá trị càng cao mô hình càng tốt), chỉ số Silhouette (đo lường độ liên kết nội cụm so với cụm lân cận trong khoảng $[-1, 1]$, càng gần 1 càng tốt), và chỉ số Davies-Bouldin (tỷ lệ khoảng cách nội cụm trên khoảng cách giữa các tâm cụm, giá trị càng nhỏ càng tốt).
• Mô hình phân tích RFM (Recency - Frequency - Monetary): Phương pháp định lượng giá trị khách hàng dựa trên 3 chiều biến số: Recency (thời gian giao dịch gần nhất), Frequency (tần suất mua hàng), và Monetary (tổng giá trị tiền chi tiêu).

Nguồn dữ liệu thực nghiệm được trích xuất từ tệp thứ cấp Orders - Analysis Task.csv (tải về ngày 19 tháng 2 năm 2023), phản ánh đơn hàng thực tế của khách hàng. Toàn bộ quy trình tiền xử lý, trích xuất đặc trưng và huấn luyện mô hình được lập trình thực thi bằng ngôn ngữ Python.

Nội dung chính theo từng chương

Chương 1: Cơ sở lý thuyết phân cụm dữ liệu

Chương 1 tập trung xây dựng cơ sở toán học và lý thuyết thuật toán cho bài toán phân cụm. Tác giả khái quát định nghĩa học máy ở giao điểm của Thống kê, Trí tuệ nhân tạo và Khoa học máy tính. Trọng tâm của chương là việc phân tích cấu trúc giải thuật của hai phương pháp đại diện:

1. Thuật toán K-means: Trình bày chi tiết công thức khoảng cách Euclid hai chiều $d_{AB} = \sqrt{(x_1 - x_2)^2 + (y_1 - y_2)^2}$, hàm mục tiêu sai số tổng thể $L(Y, M)$, và quy trình lặp 5 bước bao gồm: khởi tạo $K$ tâm cụm ngẫu nhiên, gán điểm dữ liệu vào tâm cụm gần nhất, cập nhật lại tâm cụm bằng trung bình số học, lặp lại cho đến khi hội tụ hoặc đạt ngưỡng lặp tối đa.
2. Thuật toán GMM: Thiết lập hàm mật độ xác suất phân phối chuẩn một chiều $y = \frac{1}{\sigma \sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$, công thức tính trọng số thành phần $\alpha_k = N_k / N$, và ma trận hiệp phương sai có hiệu chỉnh tránh suy biến $\Sigma_k = \frac{\sum r_{ik}(x_i - \mu_k)(x_i - \mu_k)^T}{N_k} + \lambda_k I$. Quy trình 5 bước của thuật toán EM được mô tả rõ nhằm ước lượng tham số thông qua cực đại hóa hàm log-likelihood.

Ngoài ra, chương 1 còn chuẩn bị cơ sở đánh giá định lượng thông qua công thức của phương pháp chọn cụm Elbow, tiêu chuẩn thông tin BIC, cùng công thức toán của ba chỉ số đánh giá chất lượng phân cụm: Calinski-Harabasz, Silhouette và Davies-Bouldin.

Chương 2: Phân khúc khách hàng với học máy

Chương 2 là phần thực nghiệm trọng tâm, triển khai quy trình phân cụm dữ liệu theo 6 bước cụ thể:

• Bước 1 – Tải dữ liệu và phân tích mô tả: Bộ dữ liệu Orders - Analysis Task.csv có tổng cộng 70.052 dòng và 17 thuộc tính. Các trường thông tin phản ánh chi tiết giao dịch như bảng sau:

Tên cột	Ý nghĩa thuộc tính	Kiểu dữ liệu
product_title	Tiêu đề sản phẩm	object
product_type	Loại sản phẩm	object
variant_title	Tiêu đề biến thể	object
variant_sku	Mã quản lý kho của biến thể	object
variant_id	Định danh biến thể	int64
customer_id	Mã định danh khách hàng	int64
order_id	Mã định danh đơn hàng	int64
day	Ngày đặt hàng	object
net_quantity	Số lượng ròng	int64
gross_sales	Tổng doanh thu chưa giảm trừ	float64
discounts	Giá trị giảm giá	float64
returns	Giá trị hàng trả lại	float64
net_sales	Doanh thu thuần	float64
taxes	Thuế	float64
total_sales	Tổng doanh thu (net_sales + taxes)	float64
returned_item_quantity	Số lượng mặt hàng bị trả lại	int64
ordered_item_quantity	Số lượng sản phẩm đã đặt	int64

• Bước 2 – Tiền xử lý dữ liệu: Tác giả kiểm tra toàn diện và ghi nhận bộ dữ liệu không chứa giá trị khuyết thiếu (missing values) và không có dòng trùng lặp. Biến mới days được tạo ra bằng cách tính khoảng cách số ngày từ ngày mua hàng đến ngày ghi nhận cuối cùng là ngày 12 tháng 4 năm 2019. Dữ liệu sau đó được chuẩn hóa theo phân phối chuẩn Gaussian: $x' = (x - \bar{x}) / \sigma$.
• Bước 3 – Lựa chọn biến mục tiêu theo RFM: Ba biến số được chọn tương ứng với khung RFM gồm: days (Recency – số ngày mua gần đây), net_quantity (Frequency – mức độ mua hàng), và total_sales (Monetary – giá trị chi tiêu).
• Bước 4 – Lựa chọn số cụm $k$ tối ưu: Thực hiện phương pháp Elbow trên mô hình K-means và phương pháp BIC trên mô hình GMM. Cả hai biểu đồ đều xác định điểm gập và giá trị tối ưu tại $k = 3$.
• Bước 5 & 6 – Thực hiện phân cụm và đánh giá mô hình: Huấn luyện mô hình K-means và GMM với $k = 3$. Kết quả phân bổ số lượng mẫu vào các cụm được ghi nhận như sau:

Cụm phân loại	Số lượng khách hàng (K-means)	Số lượng khách hàng (GMM)
Cụm số 0	26.549	10.573
Cụm số 1	38.563	58.614
Cụm số 2	4.940	865
Tổng số mẫu	70.052	70.052

Tiến hành đánh giá chất lượng phân cụm thông qua 3 chỉ số kỹ thuật:

Chỉ số đánh giá	Mô hình K-means	Mô hình GMM	Tiêu chuẩn đánh giá
Silhouette	0,4335	0,3294	Càng cao càng tốt
Calinski-Harabasz	55.050,4 (phần phân tích ghi 55.050,9)	7.494	Càng cao càng tốt
Davies-Bouldin	0,8272	9 (bảng tóm tắt ghi 0,1106)	Càng thấp càng tốt

Dựa trên các chỉ số định lượng, mô hình K-means cho kết quả vượt trội: chỉ số Silhouette cao hơn (0,4335 so với 0,3294) chứng minh tính liên kết nội cụm chặt chẽ; chỉ số Calinski-Harabasz cao hơn gấp nhiều lần (55.050,4 so với 7.494) khẳng định mức độ phân tách giữa các cụm rõ ràng; chỉ số Davies-Bouldin thấp hơn (0,8272 so với 9) cho thấy mức độ cô lập tốt giữa các tâm cụm. Do đó, tác giả lựa chọn kết quả của thuật toán K-means làm cơ sở dữ liệu phân khúc phục vụ đề xuất giải pháp.

Chương 3: Giải pháp đề xuất nâng cao khả năng tiếp cận với từng nhóm khách hàng

Theo kết cấu khóa luận và danh mục bảng biểu (Bảng 3.1: Thông số cụm số 0, Bảng 3.2: Thông số cụm số 1, Bảng 3.3: Thông số cụm số 2), chương 3 tập trung khai thác các đặc trưng thống kê của 3 nhóm khách hàng thu được từ mô hình K-means để xây dựng chiến lược tiếp cận. Thay vì áp dụng chính sách tiếp thị đại trà, tác giả đề xuất định hướng cá nhân hóa theo từng cụm:

• Phân khúc Cụm số 0 (26.549 khách hàng): Được phân tích dựa trên các thông số đặc trưng về tần suất và giá trị giao dịch, định hướng xây dựng các biện pháp duy trì tương tác và kích thích mua sắm lặp lại.
• Phân khúc Cụm số 1 (38.563 khách hàng): Là nhóm chiếm tỷ trọng lớn nhất trong tập dữ liệu, định hướng tập trung tối ưu hóa chi phí quảng cáo, xây dựng các chiến dịch marketing diện rộng nhằm gia tăng giá trị giỏ hàng và chuyển đổi sang nhóm khách hàng có giá trị cao hơn.
• Phân khúc Cụm số 2 (4.940 khách hàng): Nhóm có quy mô nhỏ nhưng sở hữu các chỉ số giao dịch chuyên biệt (giá trị đơn hàng hoặc khối lượng mua cao), định hướng thiết kế các chính sách chăm sóc đặc quyền, chương trình tri ân nhằm nâng cao độ gắn kết và tỷ lệ giữ chân khách hàng.

Kết quả và đóng góp

Công trình nghiên cứu mang lại các kết quả thực nghiệm và giá trị đóng góp cụ thể:

• Kết quả định lượng:
  • Xác định chính xác số lượng cụm tối ưu $k = 3$ cho bài toán phân khúc khách hàng từ tập dữ liệu 70.052 bản ghi bằng cả hai công cụ Elbow và BIC.
  • Thực hiện phân đoạn khách hàng chi tiết bằng thuật toán K-means thành 3 phân khúc rõ ràng: Cụm 0 (26.549 khách hàng, chiếm 37,90%), Cụm 1 (38.563 khách hàng, chiếm 55,05%), và Cụm 2 (4.940 khách hàng, chiếm 7,05%).
  • Cung cấp bảng kiểm định chéo hiệu năng giữa K-means và GMM, chứng minh K-means vượt trội hoàn toàn trên tập dữ liệu RFM thực nghiệm với chỉ số Silhouette đạt 0,4335 (so với 0,3294 của GMM) và Calinski-Harabasz đạt 55.050,4 (so với 7.494 của GMM).
• Giải pháp đề xuất:
  • Đề xuất định hướng giải pháp marketing phân tầng cho 3 nhóm khách hàng riêng biệt dựa trên các thông số phân tích cụm, giúp doanh nghiệp phân bổ nguồn lực tiếp thị chính xác, giảm thiểu lãng phí chi phí quảng bá đại trà.
• Đóng góp khoa học và ứng dụng thực tiễn:
  • Tác giả đã kết hợp thành công mô hình tiếp thị truyền thống RFM với các giải thuật học máy hiện đại, số hóa quy trình phân tích khách hàng.
  • Thiết lập một quy trình phân tích dữ liệu chuẩn hóa gồm 6 giai đoạn rõ ràng, từ tiền xử lý dữ liệu thô, biến đổi đặc trưng, lựa chọn số cụm tối ưu đa phương pháp, đến đánh giá kiểm định chặt chẽ bằng các chỉ số toán học.

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế:
  • Tập dữ liệu nghiên cứu giới hạn trong khoảng thời gian 6 tháng (từ tháng 11 năm 2018 đến tháng 4 năm 2019), chưa bao quát được các biến động mang tính chu kỳ năm hoặc tính mùa vụ kinh doanh kéo dài.
  • Các biến số đưa vào phân cụm mới chỉ tập trung vào 3 chiều RFM cơ bản (days, net_quantity, total_sales), chưa khai thác sâu các trường dữ liệu phong phú khác trong bảng như nhóm sản phẩm (product_type), mức độ nhạy cảm với khuyến mãi (discounts) hay tỷ lệ trả hàng (returns, returned_item_quantity).
  • Khóa luận thừa nhận các hạn chế nhất định về mặt thời gian và kinh nghiệm nghiên cứu thực tế của sinh viên trong quá trình thu thập và xử lý chuyên sâu.
• Hướng nghiên cứu tiếp:
  • Mở rộng khung thời gian thu thập dữ liệu giao dịch để kiểm chứng độ ổn định của các cụm khách hàng qua nhiều mùa vụ.
  • Tích hợp thêm các thuật toán phân cụm khác (như phân cụm phân cấp Hierarchical Clustering, DBSCAN) và thử nghiệm kỹ thuật giảm chiều dữ liệu (PCA, t-SNE) trước khi phân cụm như đã tổng quan ở phần lý thuyết.

Giá trị tham khảo

Khóa luận là nguồn tài liệu hữu ích cho sinh viên, học viên thuộc các ngành Kinh tế số, Kỹ thuật dữ liệu, Khoa học dữ liệu, Hệ thống thông tin quản lý và Marketing công nghệ. Công trình đặc biệt thích hợp làm tài liệu tham khảo cho các đề tài khóa luận hoặc nghiên cứu ứng dụng kỹ thuật học không giám sát giải quyết bài toán kinh doanh.

Những nội dung có giá trị tham khảo chuyên môn cao bao gồm:

• Phương pháp tính toán và biến đổi dữ liệu đơn hàng dạng nhật ký giao dịch thô sang các biến số định lượng theo chuẩn RFM (days, net_quantity, total_sales).
• Cách thức kết hợp song song hai phương pháp Elbow và BIC để đưa ra căn cứ vững chắc khi lựa chọn số cụm tối ưu $k$.
• Quy trình so sánh đối chuẩn giữa hai trường phái phân cụm cứng (K-means) và phân cụm mềm (GMM) dựa trên hệ thống 3 chỉ số đo lường học máy tiêu chuẩn (Silhouette, Calinski-Harabasz, Davies-Bouldin).

Câu hỏi thường gặp

• Câu hỏi 1: Ba biến số nào trong bộ dữ liệu được tác giả lựa chọn để đại diện cho khung phân tích RFM?
  • Trả lời: Tác giả lựa chọn trường days (tính số ngày từ lần giao dịch gần nhất đến ngày 12/4/2019) đại diện cho Recency (R); trường net_quantity (số lượng hàng ròng) đại diện cho Frequency (F); và trường total_sales (tổng doanh thu bao gồm thuế và sau giảm trừ) đại diện cho Monetary (M).
• Câu hỏi 2: Số lượng cụm tối ưu được xác định là bao nhiêu và dựa trên những phương pháp nào?
  • Trả lời: Số lượng cụm tối ưu được xác định là $k = 3$. Quyết định này dựa trên việc đối chiếu đồng thời hai phương pháp: phương pháp Elbow áp dụng cho thuật toán K-means và phương pháp tiêu chuẩn thông tin Bayes (BIC) áp dụng cho thuật toán GMM, cả hai đều thể hiện điểm biến đổi rõ nét tại $k = 3$.
• Câu hỏi 3: Kết quả phân chia số lượng khách hàng vào 3 cụm giữa K-means và GMM có sự khác biệt như thế nào?
  • Trả lời: Với cùng quy mô 70.052 khách hàng, K-means chia thành: Cụm 0 (26.549), Cụm 1 (38.563), Cụm 2 (4.940). Trong khi đó, GMM phân bổ lệch nhiều hơn: Cụm 0 (10.573), Cụm 1 (58.614), Cụm 2 (865).
• Câu hỏi 4: Căn cứ vào các chỉ số định lượng nào để tác giả khẳng định K-means tốt hơn GMM?
  • Trả lời: Tác giả căn cứ vào 3 chỉ số: Silhouette của K-means đạt 0,4335 (cao hơn mức 0,3294 của GMM); Calinski-Harabasz của K-means đạt 55.050,4 (cao hơn vượt trội so với 7.494 của GMM); và Davies-Bouldin của K-means đạt 0,8272 (thấp hơn mức 9 của GMM).
• Câu hỏi 5: Bộ dữ liệu thực nghiệm có quy mô bao nhiêu bản ghi và thuộc khung thời gian nào?
  • Trả lời: Bộ dữ liệu Orders - Analysis Task.csv gồm có 70.052 dòng và 17 cột thuộc tính, ghi nhận các đơn đặt hàng thực tế phát sinh trong giai đoạn từ tháng 11 năm 2018 đến tháng 4 năm 2019 (với ngày giao dịch cuối cùng là 12/04/2019).

Kết luận

Khóa luận tốt nghiệp của sinh viên Vũ Trường Nam đã nghiên cứu toàn diện cơ sở lý thuyết và ứng dụng thực nghiệm thành công kỹ thuật học máy không giám sát vào bài toán phân khúc khách hàng thương mại. Thông qua việc phân tích tập dữ liệu 70.052 đơn hàng dựa trên ba biến số chuẩn hóa của mô hình RFM, nghiên cứu đã chứng minh số cụm tối ưu $k = 3$ bằng cả phương pháp Elbow và BIC. Kết quả đánh giá bằng các chỉ số Silhouette, Calinski-Harabasz và Davies-Bouldin khẳng định thuật toán K-means đạt độ tách biệt cụm vượt trội so với mô hình hỗn hợp Gaussian (GMM). Đây là cơ sở thực nghiệm vững chắc để tác giả đề xuất các giải pháp tiếp cận và định hướng chiến lược tiếp thị chuyên biệt cho từng phân khúc khách hàng trong doanh nghiệp.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT PHÂN CỤM DỮ LIỆU 1. Tổng quan học máy 1. Khái niệm học máy Học máy (tiếng anh: Machine Learning) là một lĩnh vực của Trí tuệ nhân tạo liên quan đến việc nghiên cứu và xây dựng các kĩ thuật cho phép các hệ thống "học" tự động từ dữ liệu để giải quyết những vấn đề cụ thể. Máy học là cách trích xuất kiến thức từ dữ liệu, là một lĩnh vực tập trung vào sự phức tạp của các giải thuật trong việc thực thi tính toán, nghiên cứu ở giao điểm của Thống kê, Trí tuệ nhân tạo và Khoa học máy tính và còn được gọi là phân tích dự đoán hoặc học thống kê.

Các kĩ thuật trong Học máy a. Học có giám sát Học có giám sát (Supervised Learning) là một kĩ thuật của ngành học máy để xây dựng một hàm (Function) từ dữ liệu huấn luyện. Dữ liệu huấn luyện bao gồm các cặp gồm đối tượng đầu vào (thường dạng Vectơ), và đầu ra mong muốn. Đầu ra của một hàm có thể là một giá trị liên tục (Hồi quy), hay có thể là dự đoán một nhãn phân loại cho một đối tượng đầu vào (Phân loại).

Nhiệm vụ của chương trình học có giám sát là dự đoán giá trị của hàm cho một đối tượng bất kì là đầu vào hợp lệ, sau khi đã xem xét một số ví dụ huấn luyện (nghĩa là, các cặp đầu vào và đầu ra tương ứng). • Xác định cấu trúc của hàm chức năng cần tìm và giải thuật học tương ứng. • Hoàn thành thiết kế. 4 Ưu diểm: Học có giám sát cho phép thu thập dữ liệu và tạo ra dữ liệu đầu ra từ những kinh nghiệm trước đó.

Giúp tối ưu hóa các tiêu chí hiệu suất với sự trợ giúp của kinh nghiệm và giúp giải quyết nhiều vấn đề trong thực tế Nhược điểm: Việc đào tạo các mô hình giải quyết bài toàn cho học có giám sát cần rất nguồn lực và thời gian để có thể tính toán việc này đòi hỏi rất nhiều thời gian. Bài toán hồi quy: dự đoán một giá trị dựa trên đặc trưng đầu vào. Nguồn: Tác giả biên tập từ [1] b. Học không giám sát Học không giám sát (Unsupervised Learning) là một phương pháp của ngành học máy nhằm tìm ra một mô hình mà phù hợp với các quan sát.

Nó khác biệt với học có giám sát ở chỗ là đầu ra đúng tương ứng cho mỗi đầu vào là không biết trước. Trong học không có giám sát, một tập dữ liệu đầu vào được thu thập. Học không có giám sát thường đối xử với các đối tượng đầu vào như là một tập các biến ngẫu nhiên. Sau đó, một mô hình mật độ kết hợp sẽ được xây dựng cho tập dữ liệu đó.

5 Học không có giám sát có thể được dùng kết hợp với suy luận Bayes để cho ra xác suất có điều kiện (nghĩa là học có giám sát) cho bất kì biến ngẫu nhiên nào khi biết trước các biến khác. Học không có giám sát cũng hữu ích cho việc nén dữ liệu: về cơ bản, mọi giải thuật nén dữ liệu hoặc là dựa vào một phân bố xác suất trên một tập đầu vào một cách tường minh hay không tường minh. Một dạng khác của học không có giám sát là phân nhóm dữ liệu, nó đôi khi không mang tính xác suất. Các thuật toán của Học không giám sát: • K-mean • Mô hình hỗn hợp Gaussian • Phân cụm phân cấp • PCA / T-SNE Hình 1.

Bài toán Phân loại khách hàng. Nguồn: Tác giả biên tập từ [1] 6 c. Học bán giám sát Học bán giám sát (Semi-supervised learning) là phương pháp học máy mà dữ liệu được dùng để huấn luyện bao gồm dữ liệu gán nhãn và chưa gán nhãn. Học bán giám sát được áp dụng nhiều vào phân lớp và phân cụm.

Nhiệm vụ của học bán giám sát: là huấn luyện tập phân lớp tốt hơn Học có giám sát từ dữ liệu gán nhãn và chưa gán nhãn. Học bán giám sát với hai lớp (hình tam giác và hình vuông) và các mẫu chưa gán nhãn (hình tròn). Nguồn: Tác giả biên tập từ [1] 1. Tổng quan phân cụm dữ liệu 1.

Khái niệm kỹ thuật phân cụm dữ liệu Phân cụm (clustering) là một kỹ thuật rất quan trọng trong học không giám sát (unsupervised learning), kỹ thuật này giúp phân nhóm các mẫu dữ liệu vào các nhóm khác nhau (clusters) dựa trên các đặc tính (features). Mục tiêu của phân cụm dữ liệu là tìm ra các nhóm có tính chất tương tự nhau và khác với các nhóm khác. 7 Do vậy, phân cụm dữ liệu là quá trình phân chia một tập dữ liệu ban đầu thành các dụm dữ liệu sao cho các đối tượng trong một cụm thì sẽ có sự “tương tự (Similar)” với nhau và các đối tượng trong các cụm khác nhau thì “phi tương tự (Dissimilar)” với nhau. [ppp] Trong kỹ thuật phân cụm dữ dữ liệu tùy vào cách thứ phân chia mẫu dữ liệu vào các nhóm mà được chia thành 2 nhóm là “Phân cụm cứng” và “Phân cụm mềm”.

Minh họa phân cụm dữ liệu Nguồn: Sưu tập 1. Phân cụm cứng và phân cụm mờ a. Phân cụm cứng Phân cụm cứng (hard clustering) là một phương pháp trong học không giám sát (unsupervised learning) giúp phân loại các mẫu dữ liệu vào các nhóm (clusters) dựa trên các đặc trưng (features) của chúng. Các mẫu dữ liệu được chia thành các nhóm không trùng lặp và mỗi mẫu dữ liệu chỉ thuộc vào một nhóm.

8 Phân cụm cứng thực hiện việc gán các mẫu dữ liệu vào các nhóm bằng cách tính toán khoảng cách giữa mỗi mẫu dữ liệu và các trung tâm của các nhóm đã được xác định trước. Một mẫu dữ liệu sẽ được gán vào nhóm có trung tâm gần nhất với nó. Kết quả phân cụm cứng là một tập hợp các nhóm, trong đó mỗi nhóm chứa các mẫu dữ liệu có tính chất tương tự nhau. Các phương pháp phân cụm cứng phổ biến bao gồm K-means và Hierarchical Clustering.

Phân cụm cứng thường được sử dụng trong các bài toán mà dữ liệu được phân biệt rõ ràng giữa các nhóm. Ví dụ, trong phân tích khách hàng, các khách hàng được phân loại vào các nhóm dựa trên các đặc trưng như tuổi, giới tính, thu nhập và sở thích mua hàng. Phân cụm mềm Phân cụm mềm (soft clustering) là một phương pháp trong học không giám sát (unsupervised learning) giúp phân loại các mẫu dữ liệu vào các nhóm (clusters) dựa trên các đặc trưng (features) của chúng, nhưng khác với phân cụm cứng (hard clustering) thì mỗi mẫu dữ liệu có thể thuộc vào nhiều nhóm với một mức độ xác suất khác nhau thay vì chỉ thuộc về duy nhất một nhóm như phân cụm cứng. Kết quả phân cụm mềm được biểu diễn bằng một ma trận có kích thước là số mẫu dữ liệu x số nhóm, trong đó mỗi phần tử trong ma trận thể hiện mức độ xác suất mà một mẫu dữ liệu thuộc về một nhóm cụ thể.

Các phần tử này được gọi là các giá trị ẩn (hidden values) hoặc các đại lượng latents. Phân cụm mềm thường được sử dụng trong các bài toán mà dữ liệu không phân biệt rõ ràng giữa các nhóm, hoặc các mẫu dữ liệu có thể thuộc vào nhiều nhóm khác nhau với một mức độ xác suất khác nhau. Ví dụ, trong phân tích hình ảnh, một vật thể có thể được xem là thuộc vào nhiều lớp khác nhau, tùy thuộc vào các đặc 9 trưng của nó. Các phương pháp phân cụm mềm phổ biến bao gồm Fuzzy C-means và GMM (Gaussian Mixture Model).

Khác biệt giữa phân cụm cứng và phân cụm mờ Sự khác biệt giữa phân cụm cứng và phân cụm mềm là cách thức phân chia các mẫu dữ liệu vào các nhóm. • Phân cụm cứng: Mỗi mẫu dữ liệu chỉ thuộc về một nhóm duy nhất. Khi thực hiện phân cụm cứng, mỗi mẫu dữ liệu được gán vào nhóm có trung tâm gần nhất. Ví dụ, trong phân cụm K-means, mỗi mẫu dữ liệu chỉ được phân vào một nhóm duy nhất.

• Phân cụm mềm: Mỗi mẫu dữ liệu có thể thuộc về nhiều nhóm với mức độ khả năng (degree of membership) khác nhau. Khi thực hiện phân cụm mờ, mỗi mẫu dữ liệu được đại diện bởi một vector mà mỗi phần tử của vector là một giá trị từ 0 đến 1 biểu thị mức độ thuộc về từng nhóm. Ví dụ, trong phân cụm Fuzzy C-means, mỗi mẫu dữ liệu được biểu diễn bởi một vector mà tổng các phần tử của vector bằng 1. Cả phân cụm cứng và phân cụm mờ đều có ưu điểm và nhược điểm riêng, và sự lựa chọn giữa hai phương pháp này phụ thuộc vào bài toán và đặc tính của dữ liệu.

Phân cụm cứng thường đơn giản và dễ hiểu, tuy nhiên, nó có thể bị ảnh hưởng bởi các nhiễu (outliers) trong dữ liệu. Phân cụm mờ thường cho kết quả phân cụm chính xác hơn và có khả năng giúp phân chia các mẫu dữ liệu "lõi" (core) của các nhóm tốt hơn, tuy nhiên, việc giải thích kết quả phân cụm mờ thường khó hơn. Quy trình thực hiện kỹ thuật phân cụm dữ liệu Các bước thực hiện phân cụm dữ liệu bao gồm: 10 • Chuẩn bị dữ liệu: Lựa chọn các đặc trưng (features) của dữ liệu và tiền xử lý dữ liệu (nếu cần). • Chọn thuật toán phân cụm: Lựa chọn thuật toán phân cụm phù hợp với dữ liệu và mục tiêu của bài toán.

• Xác định số cụm (clusters): Xác định số lượng cụm cần phân chia, có thể sử dụng các phương pháp như Elbow method hoặc Silhouette method để đưa ra quyết định này. • Thực hiện phân cụm: Áp dụng thuật toán phân cụm để phân chia các điểm dữ liệu thành các cụm. Các thuật toán phân cụm dữ liệu 1. Thuật toán Kmean a.

Giới thiệu thuật toán Kmean Thuật toán phân cụm dữ liệu K-means (K-means Clustring) thuộc phương pháp phân cụm Phân hoạch do James MacQueen đề xuất trong lĩnh vữc thống kê vào năm 1967. K-means là thuật toán rất quan trọng và được sử dụng phổ biến trong kỹ thuật phân cụm. Thuật toán dựa trên độ đo khoảng cách của các đối tượng dữ liệu đến phần tử là trung tâm của cụm chứa dữ liệu đó. Thuật toán K-means lấy tham số đầu vào là K (với K là số cụm được xác định từ trước, K nguyên dương) và phân chia một tập n đối tượng (objects) từ một cơ sở dữ liệu D vào trong K cụm để cho kết quả độ tương đồng trong cụm là cao trong khi độ tương đồng ngoài cụm là thấp.

Phân tích toán học • Input (Đầu vào): Các điểm dữ liệu và số cụm cần xác định. 11 • Output (Đầu ra): Tâm cụm của mỗi cụm và phân các điểm dữ liệu vào nhóm tương ứng. • Điều kiện: Mỗi một điểm dữ liệu chỉ thuộc về một cụm duy nhất.