Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh cạnh tranh bán lẻ hiện đại, các doanh nghiệp chịu áp lực liên tục về việc tối ưu hóa doanh thu song song với việc cắt giảm chi phí vận hành và tiếp thị. Các chiến lược tiếp thị đại trà (mass marketing) – vốn tiếp cận toàn bộ khách hàng bằng cùng một thông điệp và sản phẩm – ngày càng bộc lộ sự kém hiệu quả và làm suy giảm năng lực cạnh tranh của doanh nghiệp trên thị trường. Để giải quyết vấn đề này, việc phân khúc khách hàng (customer segmentation) dựa trên dữ liệu giao dịch lịch sử trở thành một yêu cầu cấp thiết, cho phép doanh nghiệp cá nhân hóa chính sách bán hàng và chương trình chăm sóc khách hàng.

Mặc dù mô hình RFM (Recency - Frequency - Monetary) truyền thống đã được ứng dụng rộng rãi, phần lớn các hệ thống quản lý quan hệ khách hàng (CRM) hiện nay chỉ dừng lại ở việc thống kê định kỳ thủ công hoặc áp dụng quy tắc gán điểm cố định. Cách tiếp cận này đòi hỏi nhiều nguồn lực, dễ phát sinh sai sót chủ quan và khó thích ứng với tập dữ liệu quy mô lớn. Việc ứng dụng các kỹ thuật học máy (Machine Learning) không giám sát, tiêu biểu là thuật toán phân cụm K-means kết hợp với phân tích đoàn hệ (Cohort Analysis), mang lại khả năng tự động hóa quy trình phân cụm, nâng cao độ chính xác và khám phá các giá trị ẩn (insights) về vòng đời khách hàng.

Đề tài đặt ra các mục tiêu và nhiệm vụ nghiên cứu cụ thể:

  1. Mục tiêu ngắn hạn:
    • Phân cụm các tệp khách hàng dựa trên hành vi giao dịch nhằm xây dựng chính sách bán hàng và hậu mãi phù hợp.
    • Nhận diện và xử lý các nhóm khách hàng đặc thù hoặc ngoại lệ (như nhóm mua ít lần nhưng giá trị đơn hàng rất lớn hoặc nhóm có nguy cơ rời bỏ cao).
    • Trực quan hóa các phân khúc khách hàng qua biểu đồ và hệ trục không gian để hỗ trợ nhà quản trị ra quyết định nhanh chóng.
  2. Mục tiêu dài hạn:
    • Xây dựng quy trình ứng dụng học máy vào phân tích dữ liệu bán lẻ, giúp tiết kiệm chi phí và nguồn lực phân tích định kỳ cho doanh nghiệp.
    • Nâng cao lợi thế cạnh tranh dài hạn của doanh nghiệp bán lẻ thông qua các chiến lược giữ chân và mở rộng tệp khách hàng trung thành.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Dữ liệu hành vi mua sắm của khách hàng thông qua tập dữ liệu bán hàng của doanh nghiệp sản xuất và kinh doanh xe đạp AdventureWorks Cycles.
  • Phạm vi không gian: Thị trường bán lẻ tại 6 quốc gia thuộc 4 khu vực địa lý lớn (Bắc Mỹ, Châu Âu, Thái Bình Dương, Trụ sở chính), bao gồm: Mỹ, Canada, Pháp, Đức, Úc và Vương quốc Anh.
  • Phạm vi thời gian: Dữ liệu giao dịch được ghi nhận trong giai đoạn từ tháng 07/2017 đến tháng 06/2020; nghiên cứu và xử lý thực nghiệm được nhóm tác giả tiến hành trong thời gian 2 tháng.

Cơ sở lý thuyết và phương pháp

Nghiên cứu được xây dựng trên nền tảng lý thuyết tiếp thị hiện đại kết hợp với kỹ thuật khai phá dữ liệu và học máy không giám sát:

  • Hành vi khách hàng và phân khúc thị trường: Nghiên cứu hệ thống hóa các nhóm hành vi quan sát được (số lượng, tần suất, số tiền, thời gian giao dịch) và không quan sát được; đánh giá các yếu tố ảnh hưởng gồm văn hóa, xã hội, cá nhân và tâm lý. Các phương pháp phân khúc phổ biến được khảo cứu gồm: phân khúc theo nhân khẩu học, theo hành vi, theo hành trình mua hàng, theo mức độ tham gia và theo loại thiết bị.
  • Mô hình RFM và các biến thể: Khung đánh giá dựa trên ba biến số cốt lõi:
    • Recency (R): Khoảng thời gian tính từ lần tương tác/giao dịch gần nhất đến mốc phân tích.
    • Frequency (F): Tổng tần suất giao dịch hoặc số lượng đơn hàng trong chu kỳ quan sát.
    • Monetary (M): Tổng giá trị tiền tệ mà khách hàng đã chi trả cho doanh nghiệp.
    • Các biến thể mở rộng được tổng quan gồm: RFD (thời lượng), RFE (mức độ gắn kết), RFM-I (chi phí tương tác), RFMIC (tỷ lệ rời bỏ và chuỗi Bernoulli), TRFM (chu kỳ sản phẩm) và RFM/P (giá trị trên từng sản phẩm).
  • Thuật toán phân cụm K-means: Phương pháp học máy không giám sát phân tách $n$ quan sát thành $K$ cụm sao cho tối thiểu hóa phương sai nội cụm dựa trên khoảng cách Euclidean. Độ phức tạp tính toán đạt $O(tkn)$.
  • Phân tích đoàn hệ (Cohort Analysis): Phương pháp phân tích dữ liệu theo nhóm khách hàng có cùng thời điểm bắt đầu trải nghiệm dịch vụ (Acquisition Cohort) nhằm theo dõi các chỉ số duy trì (Retention Rate) và tỷ lệ rời bỏ (Churn Rate) theo thời gian.

Phương pháp nghiên cứu thực tế và nguồn dữ liệu:

  • Nguồn dữ liệu: Tập dữ liệu thứ cấp AdventureWorks Sales gồm 121.253 dòng giao dịch trải dài trên 7 bảng dữ liệu quan hệ (Sales Order, Sales Territory, Sales Data, Reseller Data, Date Data, Customer Data, Product Data).
  • Phương pháp định lượng và thực nghiệm:
    • Tiền xử lý và khám phá dữ liệu (EDA) trên môi trường Python (sử dụng thư viện Pandas, Matplotlib, Scikit-learn) và Microsoft Excel.
    • Xử lý giá trị khuyết thiếu (missing values) và loại bỏ dữ liệu ngoại lai (outliers) bằng phương pháp biểu đồ hộp (Box-plot).
    • Chuẩn hóa khoảng giá trị các biến số $R, F, M$.
    • Xác định số cụm tối ưu $K$ bằng phương pháp Elbow (thông qua công cụ KElbowVisualizer) và kiểm định chất lượng phân cụm bằng hệ số Silhouette.
    • Trực quan hóa phân bố cụm đa chiều trên hệ trục không gian 3D ($Oxyz$) và xây dựng báo cáo trực quan trên Microsoft Power BI.

Nội dung chính theo từng chương

Chương 1: Tổng quan về tình hình nghiên cứu

Chương 1 hệ thống hóa các công trình nghiên cứu trong nước và quốc tế liên quan đến phân khúc khách hàng bằng mô hình RFM và khai phá dữ liệu:

  • Điểm qua các nghiên cứu ứng dụng RFM và K-means trong các ngành viễn thông, tài chính (Arne Floh et al., 2013), bảo hiểm (Wafa Qadadeh & Sherief Abdallah, 2018 kết hợp SOM), mỹ phẩm (Sari Hartini et al., 2020 kết hợp Naive Bayes đạt độ chính xác 65,87%), siêu thị bán lẻ tại TP.HCM (Nguyễn Phúc Sơn et al., 2021 kết hợp mạng nơ-ron sâu), và khách sạn (Arkadriusz T. Tomczyk et al., 2022).
  • Nhận diện các nghiên cứu liên ngành của Hồ Trung Thành và Nguyễn Đăng Sơn (2021) về việc kết hợp RFM, phương pháp Elbow, hệ số Silhouette, chuẩn hóa Z-score và Cohort Analysis.
  • Xác định khoảng trống nghiên cứu: Các hệ thống CRM thực tế chủ yếu thống kê mô tả thụ động, thiếu cơ chế tự động gom cụm bằng học máy có khả năng loại bỏ nhiễu và theo dõi vòng đời khách hàng đa thị trường như trường hợp của AdventureWorks Cycles.

Chương 2: Cơ sở lý luận

Chương này cung cấp nền tảng khoa học cho toàn bộ đồ án:

  • Phân tích chi tiết khái niệm, vai trò và động lực nghiên cứu hành vi khách hàng; làm rõ 5 yếu tố tác động đến quyết định tiêu dùng.
  • So sánh ưu và nhược điểm của 5 hình thức phân khúc khách hàng chính:
Hình thức phân khúc Ưu điểm chính Nhược điểm chính
Nhân khẩu học Dễ thu thập, chi phí thấp, phân tích đơn giản Dữ liệu dễ lỗi thời, mang tính giả định, không phản ánh tâm lý sâu
Hành vi Dễ lập kế hoạch và tối ưu chiến dịch tiếp thị Hành vi thay đổi liên tục, khó đo lường toàn diện
Hành trình mua hàng Tiếp cận đúng nhu cầu từng giai đoạn Tốn nhiều thời gian và nguồn lực phân tích
Mức độ tham gia Giữ chân khách hàng kịp thời qua ưu đãi Dễ gây nhàm chán nếu lạm dụng khuyến mãi
Loại thiết bị Tối ưu hóa hiển thị và trải nghiệm giao diện Đòi hỏi nguồn lực cập nhật công nghệ thiết bị liên tục
  • Trình bày chi tiết toán học và thuật toán K-means, quy trình 5 bước gán tâm và tính khoảng cách Euclidean, đồng thời làm rõ cơ chế phân tích Cohort theo thời gian và quy mô nhóm.

Chương 3: Chuẩn bị dữ liệu

Nội dung chương tập trung vào quy trình tiếp nhận và làm sạch dữ liệu:

  • Khảo sát cấu trúc 7 bảng dữ liệu thành phần của tập dữ liệu AdventureWorks Sales (121.253 giao dịch). Trong đó, bảng Sales Territory bao gồm 10 phân vùng thuộc 6 quốc gia (Mỹ, Canada, Pháp, Đức, Úc, Anh) thuộc 4 nhóm khu vực.
  • Xử lý giá trị rỗng tại 2 trường thông tin: ShipDateKey (trong bảng Sales Data) và Color (trong bảng Product Data).
  • Loại bỏ các bản ghi không hợp lệ (CustomerKey = -1).
  • Kết hợp hai bảng Sales Order Data và Sales Data thông qua khóa liên kết SalesOrderLineKey để trích xuất 4 thuộc tính cốt lõi phục vụ tính toán RFM: CustomerKey, OrderDateKey, SalesOrderLineKey, và SalesAmount.

Chương 4: Mô tả bài toán

Chương 4 thực thi tính toán thực nghiệm trên các môi trường khác nhau:

  • Triển khai trên Excel:
    • Sử dụng Pivot Table gom nhóm theo CustomerKey. Tính $R$ bằng hiệu số ngày giữa ngày chốt bộ dữ liệu và ngày mua gần nhất; $F$ bằng đếm số hóa đơn; $M$ bằng tổng SalesAmount.
    • Phân khoảng giá trị và gán điểm $R, F, M$ từ 1 đến 5 bằng hàm điều kiện.
    • Tính điểm tổng hợp RFM theo trọng số: $\text{Điểm RFM} = \dots + 0.57 \times \text{Mscore}$.
  • Triển khai trên Python và EDA:
    • Dữ liệu sau gom nhóm gồm 18.484 khách hàng duy nhất.
    • Phân bố Recency: Từ 0 đến 1080 ngày (trung bình 174 ngày, tập trung từ 0 đến 400 ngày, phân phối lệch trái).
    • Phân bố Frequency: Từ 1 đến 68 lần (trung bình 3 lần, tập trung từ 1 đến 9 lần, đa số dưới 5 lần).
    • Phân bố Monetary: Từ 2,29 đến 13.295,39 đơn vị tiền tệ (trung bình 1.588 đơn vị).
  • Triển khai phân cụm K-means:
    • Dùng Box-plot xác định và lọc bỏ các điểm dữ liệu dị biệt (outliers).
    • Chuẩn hóa thang đo các biến số để triệt tiêu ảnh hưởng chênh lệch độ lớn dữ liệu.
    • Chạy KElbowVisualizer xác định điểm uốn khuỷu tay tại $K=4$, sau đó xác nhận lại độ tin cậy bằng kiểm định hệ số Silhouette.
    • Trực quan hóa 4 cụm trên biểu đồ phân tán 3D ($Oxyz$) và biểu đồ cơ cấu tỷ trọng: Cụm 0 (62,4%), Cụm 1 (13,5%), Cụm 2 (12,7%), Cụm 3 (11,4%).

Chương 5: Phân tích thảo luận và đề xuất

Chương 5 diễn giải chi tiết đặc điểm từng phân khúc và đề xuất chiến lược tiếp thị tương ứng:

1. Đánh giá phân khúc theo mô hình RFM truyền thống:

  • Top Customer (Điểm RFM > 4.5): Tỷ lệ 0%. Doanh nghiệp chưa có khách hàng đạt mức hoàn hảo tuyệt đối này.
  • High Value Customer (Điểm RFM 4 - 4.5): Gồm 4 khách hàng (chiếm 0,02% số lượng; đóng góp 0,161% doanh thu). Recency trung bình 50 ngày, Frequency 18 lần, Monetary trung bình 11.784. Đề xuất: Duy trì liên lạc thường xuyên, gửi quà tri ân đơn hàng lớn, giới thiệu sản phẩm cao cấp, tặng ưu đãi bảo lưu giá khi thị trường điều chỉnh tăng giá.
  • Medium Value Customer (Điểm RFM 3 - 4): Gồm 237 khách hàng (chiếm 1,28% số lượng; đóng góp 7,003% doanh thu). Recency trung bình 160 ngày, Frequency 7 lần, Monetary 8.676. Đề xuất: Xây dựng hệ thống tích điểm, giới thiệu sản phẩm phổ biến kèm chiết khấu để nâng hạng lên nhóm trung thành.
  • Low Value Customer (Điểm RFM 1.6 - 3): Gồm 13.313 khách hàng (chiếm 72,02% số lượng; đóng góp 80,216% doanh thu). Recency trung bình 117 ngày, Frequency 3 lần, Monetary 1.768. Đề xuất: Gửi email cá nhân hóa, cung cấp ưu đãi giá đặc biệt và tài nguyên hữu ích nhằm giảm thiểu nguy cơ rời bỏ; áp dụng khuyến mãi kích cầu tái mua hàng.
  • Lost Customer (Điểm RFM < 1.6): Gồm 4.930 khách hàng (chiếm 26,68% số lượng; đóng góp 16,2% doanh thu). Recency trung bình 333 ngày, Frequency 2 lần, Monetary 751. Đề xuất: Gửi khảo sát tìm hiểu nguyên nhân ngừng mua sắm kèm mã giảm giá cảm ơn; không phân bổ quá nhiều ngân sách tiếp thị trực tiếp.

2. Đánh giá phân khúc theo thuật toán K-means (4 Cụm):

Cụm (Màu sắc) Tỷ lệ số lượng (%) Số lượng (KH) Recency TB (ngày) Frequency TB (lần) Monetary TB Tỷ trọng doanh thu (%) Đặc điểm & Chiến lược trọng tâm
Cụm 0 (Xanh dương) 62,38% (62,4%) 10.446 60 2 132 4,87% Nhóm mua gần đây nhưng chi tiêu nhỏ. Tiếp thị dòng sản phẩm cao cấp hơn, cấp mã giảm giá riêng để gia tăng giá trị giỏ hàng.
Cụm 1 (Xanh lá) 13,53% (13,5%) 2.266 168 3 2.713 21,70% Nhóm tiềm năng duy trì tần suất ổn định. Gửi thông tin ngành hàng quan tâm, ưu đãi chiết khấu khi mua số lượng lớn, mời tham gia sự kiện triển lãm.
Cụm 2 (Vàng) 12,73% (12,7%) 2.131 158 4 (cao nhất) 4.874 (cao nhất) 36,66% Nhóm giá trị cao nhất về tần suất và chi tiêu. Tập trung chăm sóc khách hàng chuyên sâu, cải thiện chất lượng phục vụ sau bán hàng.
Cụm 3 (Đỏ) 11,35% (11,4%) 1.901 171 (xa nhất) 3 1.493 36,77% Nhóm khách hàng mới hoặc có nguy cơ rời bỏ cao. Gọi điện, gửi email khảo sát nhu cầu, đưa ra chương trình khuyến mãi dài hạn để giữ chân.

3. Phân tích đoàn hệ (Cohort Analysis):

  • Theo dõi tỷ lệ duy trì khách hàng theo các mốc OrderMonth và CohortMonth.
  • Kết quả cho thấy tỷ lệ duy trì trong các tháng đầu chỉ dao động từ 3% đến 4%.
  • Chu kỳ mua lặp lại thường kéo dài từ 6 chu kỳ trở lên.
  • Từ sau ngày 01/06/2019, tỷ lệ duy trì từ chu kỳ thứ 6 trở đi suy giảm mạnh từ mức 17% - 22% xuống còn 1% - 4% (giảm khoảng 20% so với giai đoạn 2017–2018), cảnh báo các chính sách hậu mãi hiện hữu đang giảm sút hiệu lực và cần tái cấu trúc.

Kết quả và đóng góp

Kết quả chính

  • Xử lý và phân tích thành công tập dữ liệu 121.253 giao dịch bán lẻ quốc tế của AdventureWorks Cycles, quy đổi thành tập dữ liệu 18.484 khách hàng định danh.
  • Xác lập và đối chiếu quy trình phân khúc trên cả 3 phương pháp: Excel Pivot Table, tính điểm RFM trên Python, và mô hình phân cụm K-means.
  • Xác định số cụm tối ưu $K=4$ thông qua kiểm định nhất quán giữa phương pháp Elbow (KElbowVisualizer) và hệ số Silhouette.
  • Khám phá nghịch lý cơ cấu doanh thu: Phân khúc khách hàng giá trị thấp (Low Value Customers) chiếm 72,02% số lượng nhưng tạo ra tới 80,216% tổng doanh thu của doanh nghiệp, đòi hỏi chính sách chăm sóc tệp khách hàng số đông này một cách nghiêm ngặt.
  • Đo lường được xu hướng sụt giảm tỷ lệ duy trì khách hàng qua phân tích Cohort, chỉ ra điểm nghẽn tại chu kỳ thứ 6 sau mua hàng.

Đóng góp thực tiễn và học thuật

  • Về mặt phương pháp luận: Đồ án minh chứng tính khả thi của quy trình liên ngành kết hợp giữa phân tích tiếp thị (RFM, Cohort) và khoa học dữ liệu (K-means, Box-plot outlier filtering, 3D visualization), khắc phục tính chủ quan của việc gán trọng số truyền thống.
  • Về mặt ứng dụng doanh nghiệp: Cung cấp khung phân khúc 4 cụm và hệ thống giải pháp marketing định mục tiêu cụ thể, giúp doanh nghiệp bán lẻ tối ưu hóa ngân sách tiếp thị, định vị đúng sản phẩm cho từng nhóm đối tượng và cải thiện tỷ lệ giữ chân khách hàng.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

  • Nghiên cứu mới chỉ áp dụng mô hình RFM cơ bản, chưa tích hợp sâu các biến thể mở rộng như TRFM (tính đến chu kỳ sống của sản phẩm) hay RFM/P (giá trị RFM trên từng danh mục sản phẩm).
  • Nguồn dữ liệu thực nghiệm thuần túy dựa trên lịch sử giao dịch hóa đơn, chưa kết hợp được dữ liệu nhân khẩu học (độ tuổi, thu nhập, nghề nghiệp) và dữ liệu hành vi số (nhật ký lướt web, thời gian dừng trên trang).

Hướng nghiên cứu tiếp

  • Mở rộng thu thập và tích hợp dữ liệu nhân khẩu học và tâm lý học để hoàn thiện chân dung khách hàng (Customer Persona) toàn diện từ giới tính, tình trạng hôn nhân, nghề nghiệp đến sở thích và lối sống.
  • Thử nghiệm các mô hình học máy nâng cao và thuật toán phân cụm khác (như Hierarchical Clustering, Fuzzy C-means, hoặc mạng nơ-ron tự giám sát) kết hợp các biến thể RFMIC, TRFM nhằm nâng cao độ chính xác dự báo hành vi mua lại.

Giá trị tham khảo

Đồ án là tài liệu tham khảo hữu ích cho:

  • Sinh viên và học viên chuyên ngành Hệ thống thông tin quản lý, Thương mại điện tử, Khoa học dữ liệu và Phân tích kinh doanh (Business Analytics): Tham khảo quy trình xử lý dữ liệu thực tế từ dữ liệu bán hàng quan hệ sang ma trận RFM, phương pháp trực quan hóa 3D và cách lập trình K-means trên Python.
  • Chuyên viên Marketing và CRM tại các doanh nghiệp bán lẻ: Vận dụng khung phân tích 4 cụm khách hàng, phương pháp đọc hiểu ma trận duy trì Cohort và các giải pháp chăm sóc khách hàng mục tiêu theo từng nhóm giá trị.

Câu hỏi thường gặp

1. Tập dữ liệu thực nghiệm của đồ án có quy mô như thế nào?

Nghiên cứu sử dụng tập dữ liệu AdventureWorks Sales của công ty AdventureWorks Cycles trong lĩnh vực sản xuất và kinh doanh xe đạp, gồm 121.253 dòng giao dịch ghi nhận từ tháng 07/2017 đến tháng 06/2020 tại 6 quốc gia (Mỹ, Canada, Pháp, Đức, Úc, Anh). Sau khi loại bỏ dữ liệu ngoại lệ và gom nhóm theo khách hàng, tập dữ liệu đạt 18.484 khách hàng định danh duy nhất.

2. Số lượng cụm $K$ tối ưu trong mô hình K-means được xác định bằng cách nào?

Nhóm tác giả sử dụng công cụ KElbowVisualizer để thực hiện phương pháp khuỷu tay (Elbow method), xác định điểm uốn của hàm mất mát tại giá trị $K=4$. Kết quả này sau đó được kiểm tra và xác nhận lại độ tin cậy bằng chỉ số kiểm định Silhouette trước khi tiến hành gán nhãn dữ liệu.

3. Tỷ trọng số lượng và doanh thu của 4 cụm K-means phân bổ ra sao?

Cơ cấu 4 cụm khách hàng theo thuật toán K-means bao gồm:

  • Cụm 0 (Xanh dương): 10.446 khách hàng (62,38% số lượng; 4,87% doanh thu).
  • Cụm 1 (Xanh lá): 2.266 khách hàng (13,53% số lượng; 21,70% doanh thu).
  • Cụm 2 (Vàng): 2.131 khách hàng (12,73% số lượng; 36,66% doanh thu).
  • Cụm 3 (Đỏ): 1.901 khách hàng (11,35% số lượng; 36,77% doanh thu).

4. Kết quả phân tích đoàn hệ (Cohort Analysis) phản ánh điều gì về tỷ lệ giữ chân khách hàng?

Biểu đồ phân tích Cohort cho thấy tỷ lệ quay lại mua sắm trong những tháng đầu tiên rất thấp, chỉ đạt khoảng 3%–4%, và chu kỳ mua lặp lại thường kéo dài từ 6 chu kỳ trở lên. Đặc biệt, từ giai đoạn tháng 06/2019 trở đi, tỷ lệ duy trì từ chu kỳ thứ 6 giảm mạnh từ mức 17%–22% xuống còn 1%–4% (giảm khoảng 20%), báo hiệu doanh nghiệp cần điều chỉnh lại chính sách hậu mãi.


Kết luận

Đồ án đã xây dựng thành công quy trình nghiên cứu liên ngành ứng dụng mô hình RFM kết hợp thuật toán phân cụm K-means và phân tích Cohort trên tập dữ liệu bán lẻ AdventureWorks Sales. Nghiên cứu đã phân tách chính xác 18.484 khách hàng thành 4 cụm hành vi rõ rệt, đồng thời chỉ ra các đặc trưng quan trọng về doanh thu và chu kỳ duy trì khách hàng. Những phát hiện này cung cấp cơ sở khoa học và thực tiễn vững chắc giúp doanh nghiệp bán lẻ tối ưu hóa chiến lược tiếp thị mục tiêu và nâng cao hiệu quả giữ chân khách hàng.