CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI 1.1 Data Clustering Phân cụm là nhiệm vụ nhóm một tập hợp các đối tượng lại với nhau theo cách mà các đối tượng trong cùng một cụm giống nhau hơn so với các đối tượng trong các cụm khác. Độ tương tự là một số liệu phản ánh sức mạnh của mối quan hệ giữa hai đối tượng dữ liệu. Phân cụm chủ yếu được sử dụng để khai thác dữ liệu khám phá. Nó được sử dụng đa dạng trong nhiều lĩnh vực như học máy, nhận dạng mẫu, phân tích hình ảnh, truy xuất thông tin, tin sinh học, nén dữ liệu và đồ họa máy tính.
Phương pháp gom cụm dữ liệu 1.2 Các loại phương pháp gom cụm phổ biến Phân hoạch (partitioning): các phân hoạch được tạo ra và đánh giá theo một tiêu chí nào đó Phân cấp (hierarchical): phân rã tập dữ liệu/đối tượng có thứ tự phân cấp theo một tiêu chí nào đó Dựa trên mật độ (density-based): dựa trên độ kết nối (connectivity) và mật độ (density) Dựa trên mô hình (model-based): một mô hình giả thuyết được đưa ra cho mỗi cụm; sau đó hiệu chỉnh các thông số để mô hình phù hợp với cụm dữ liệu nhất 2 Một số phương pháp gom cụm khác: Gom cụm cứng (hard clustering): Mỗi đối tượng chỉ thuộc về một cụm Mức thành viên (degree of membership) của mỗi đối tượng với một cụm hoặc là 0 hoặc là 1 Ranh giới (boundary) giữa các cụm rõ ràng Gom cụm mờ (fuzzy clustering): Mỗi đối tượng thuộc về nhiều hơn một cụm với mức thành viên nào đó từ 0 đến 1 Ranh giới giữa các cụm không rõ ràng (mờ - vague/fuzzy) 1.3 Các phương pháp đánh giá chất lượng gom cụm Đánh giá ngoại (external validation): Đánh giá kết quả gom cụm dựa vào cấu trúc được chỉ định trước cho tập dữ liệu. Độ đo: Rand statistic, Jaccard coefficient, Folkes and Mallows index, … Đánh giá nội (internal validation): Đánh giá kết quả gom cụm theo số lượng các vector của chính tập dữ liệu (ma trận gần – proximity matrix). Độ đo: Silhouette index, Dunn’s index, … Đánh giá tương đối (relative validation): Đánh giá kết quả gom cụm bằng việc so sánh các kết quả gom cụm khác ứng với các bộ trị thông số khác nhau => Tiêu chí đánh giá và chọn kết quả gom cụm tối ưu: - Độ nén (compactness): các đối tượng trong cụm nên gần nhau - Độ phân tách (separation): các cụm nên xa nhau 1.4 THUẬT TOÁN K-MEANS DỰA TRÊN PHÂN HOẠCH Một trong những phương pháp nghiên cứu hành vi dữ liệu bằng kỹ thuật gom cụm.Có rất nhiều mô hình để phân cụm ngoài kia. Mặc dù đơn giản nhưng K-means được sử dụng rộng rãi để phân cụm trong nhiều ứng dụng khoa học dữ liệu, đặc biệt hữu ích nếu bạn cần nhanh chóng khám phá thông tin chi tiết từ dữ liệu chưa được gắn nhãn.
Phân cụm K-mean là một loại học tập không giám sát, được sử dụng khi bạn có dữ liệu chưa được gắn nhãn (nghĩa là dữ liệu không có danh mục hoặc nhóm được xác định). Mục tiêu của thuật toán này là tìm các nhóm trong dữ liệu, với số lượng nhóm được đại diện bởi biến K. Thuật toán hoạt động lặp đi lặp lại để gán từng điểm dữ liệu cho một trong K nhóm dựa trên các tính năng được cung cấp. Các 3 điểm dữ liệu được phân cụm dựa trên tính tương tự của tính năng.
Kết quả của thuật toán phân cụm K-mean là: 1. Trọng tâm của cụm K, có thể được sử dụng để dán nhãn dữ liệu mới 2. Phân cụm cho từng dữ liệu huấn luyện (mỗi điểm dữ liệu được gán cho một cụm) Ưu điểm: Bài toán tối ưu hóa với “Cực trị cục bộ” Mỗi cụm được đặc trưng hóa bởi trung tâm của cụm (đối tượng trung bình (mean)) Số cụm k nên là bao nhiêu? Độ phức tạp: O(nkt), với n là số đối tượng, k là số cụm, t là số lần lặp (k<<n, t<<n) Nhược điểm: Ảnh hưởng bởi nhiễu (các phần tử kì dị/biên gọi là outlier) Không phù hợp trong việc khai phá ra các cụm có dạng không lồi (nonconvex) hay các cụm có kích thước rất khác nhau Kết quả gom cụm có dạng siêu cầu (hyperspherial) Kích thước các cụm thường không đồng đều (relatively uniform sizes) 1.5 GIẢI THUẬT AGGLOMERATIVE DỰA TRÊN PHÂN CẤP Trong phân cụm bằng phân cấp có hai loại chiến lược phân cấp tạo kiến trúc cụm: Agglomerative (Hợp nhất) và Divisive (Phân chia). Trong bài toán sử dụng chiến lược đầu tiên là Agglomerative.
Chiến lược này sẽ đi theo chiều bottum-up (từ dưới lên trên). Quá trình phân cụm bắt đầu ở dưới cùng tại các node lá (còn gọi là leaf node hoặc termial node). Ban đầu mỗi quan sát sẽ được xem là một cụm tách biệt được thể hiện bởi một node lá. Ở mỗi level chúng ta sẽ tìm cách hợp một cặp cụm thành một cụm duy nhất nhằm tạo ra một cụm mới ở level cao hơn tiếp theo.
Cụm mới này tương ứng với các node quyết định (non-leaf node). Như vậy sau khi hợp cụm thì số lượng cụm ít hơn. Một cặp được chọn để hợp nhất sẽ là những cụm trung gian không giao nhau. Ưu điểm: Hữu dụng đối trên các tập dữ liệu vừa phải trở lại.
Không phải xác định trước số lượng cụm điều này khá vượt trội so với k-means 4 Nhược điểm: Độ phức tạp là (( 3 ) ) không phù hợp đối với tập dữ liệu lớn.2 NỘI DUNG ĐỀ TÀI 1.1 Phân cụm khách hàng Phân cụm khách hàng là quá trình gom nhóm khách hàng dựa trên bộ dữ liệu đã thu thập được từ khách hàng. Tùy vào mục tiêu phân cụm và các đặc tính chung của khách hàng (Thói quen mua sắm, hành vi của khách hàng trong khi mua sắm, tuổi tác, giới tính, …) 1.3 MỤC TIÊU NGHIÊN CỨU 1.1 Nhu cầu đời sống Xã hội phát triển, nhu cầu thị yếu của họ cũng nâng cao theo, chẳng hạn như phong phú trong trang phục, điều kiện ăn uống đa dạng,… Dựa vào lý do trên, các doanh nghiệp đã xây dựng nên các khu trung tâm mua sắm đô thị chủ yếu tập trung ở các trung tâm thành phố lớn đông dân cư, du khách qua lại với đa dạng sản phẩm thiết yếu cho đời sống con người. Việc áp dụng bài toán khai phá có thể chia nhỏ khách hàng theo từng mục đích khác nhau, gợi ý những sản phẩm phù hợp dựa vào đặc tính của từng khách hàng. Tương tự như các doanh nghiệp, công ty lớn như Shopee, Điện Máy Xanh, CellphoneS, … 1.2 Lợi ích cho doanh nghiệp Hành động: Đưa ra cácchiến lược sản xuất hàng hóa, tiếp thị, quản bá sản phẩm tùy theo nhóm khách hàng dựa trên đặc tính của họ.
Từ đó, các doanh nghiệp nhận được những lợi ích như: Tiết kiệm chi phí sản xuất, vận chuyển. Tăng độ uy tín, chất lượng của công ty. Giữ chân các khách hàng quan trọng ảnh hưởng trực tiếp đến doanh thu công ty Tăng số lượng khách hàng từ phương thức tiếp thị, marketing. Nâng cao lãi xuất công ty, nâng cao giá cả mặc hàng dựa trên độ chất lượng của thương hiệu Vì thế, công ty của doanh nghiệp phát triển hay xuống dốc phụ thuộc vào độ hảo cảm của khách hàng, buộc họ phải quyết định các chiến lược đúng đắn nhằm giảm 5 thiểu kinh phí, tăng số doanh thu, tăng lượng khách hàng, tạo uy tín cho công ty.
Do đó, em đã chọn đề tài “ Xây dựng bài toán khai phá dữ liệu của khách hàng tại khu trung tâm mua sắm” 1.4 ĐỐI TƯỢNG NGHIÊN CỨU Đối tượng là thông tin của 200 khách hàng đến trung tâm mua sắm là một phần của cuộc khảo sát cuộc thi dữ liệu phân khúc khách hàng (Mall Customer Segementation Data) được tổ chức trên trang Kaggle. Nghiên cứu được thực hiện trên 200 đối tượng là các khách hàng mua sắm tại trung tâm với 4 đặc điểm về giới tính, độ tuổi, mức thu nhập và điểm chỉ tiêu dựa vào hành vi mua sắm và chi trả.5 KẾT QUẢ MONG ĐỢI Khi đã có ý tưởng xây dựng thì chắc chắn phải có kết quả mong muốn: Gom nhóm khách hàng đạt độ tin cậy tối ưu nhất tùy vào các thuật toán gom cụm. Tập dữ liệu mới các khách hàng đã được phân thành từng cụm rõ ràng. Từ một input mới cho ra danh sách cụm tương ứng.
Xây dựng trang web mô phỏng kết quả đạt được sau khi phân cụm thành công. 6 CHƯƠNG 2: BÀI BÁO LIÊN QUAN 2.1 TRONG NƯỚC - Lĩnh vực nghiên cứu: Toán học ứng dụng - Tác giả: Phạm Kiên Trung, Nguyễn Đức Thắng, Lê Văn Chiến, Nguyễn Văn Thưởng - Nhan đề: Ứng dụng thuật toán K-means trong phân cụm khách hàng mục tiêu - Nguồn Trích: Tạp chí Khoa học Kỹ thuật Mỏ - Địa chất - Năm xuất bản: 2020 - ISSN (Mã công nhận tiêu chuẩn quốc tế): 1859-1469 Hình 2. Bài báo trong nước về phân cụm khách hàng Bài báo thu thập số liệu thông tin từ 272 khách hàng tại điểm bán hàng của công ty Trường Hải Auto, các thông tin được tập hợp gồm 6 cột: mã khách hàng ID, Chủng loại xe quan tâm, Kênh thông tin phản hồi, độ tuổi, thu nhập bình quân/tháng và điểm chi tiêu ID LOAIXE KENH AGE THUNHAP DIEM 1 …06482 MORNING-SI- Showroom 20 9 55 AT-1. Tập dữ liệu của bài báo trong nước 2.2 NGOÀI NƯỚC - Lĩnh vực nghiên cứu: Student, Department of Computer Science Engineering, GITAM University, India - Tác giả: Hemashree Kilari, Sailesh Edara, Guna Ratna Sai Yarra, Dileep Varma Gadhiraju - Nhan đề: Customer Segmentation using K-means Clustering - Nguồn trích: ijert.org - Thời gian xuất bản: 03 tháng 3 năm 2022 - ISSN: 2278 - 0181 Hình 2.
Bài báo trong nước về phân cụm khách hàng Bộ dữ liệu với 4 thuộc tính customerid, gender, age, annual income (k$), spending score (1-100) của 200 khách hàng được lấy từ Kaggle 8 Hình 2. Bảng dữ liệu của bài báo ngoài nước Với tập dữ liệu 200 khách hàng áp dụng giải thuật K-means cho thấy kết quả phân cụm tối ưu nhất có thể với k = 4 sử dụng khoảng cách euclidean Hình 2. Tìm số k cụm bằng Elbow của bài báo Tuy nhiên để đảm bảo độ tin cậy họ tiến hành tính điểm Silhouette score cho việc tìm giá trị k. Kết quả ngược lại họ nhận được giá trị tốt nhất cho phân cụm là k = 5.
Tìm số k cụm bằng hệ số Silhouette của bài báo 9 2.3 TRONG VÀ NGOÀI NƯỚC - Lĩnh vưc nghiên cứu: Department of Infomatics Alma Ata University, Yogyakarta, Indonesia – Department Management Information System University of Danang, Viet Nam - Tác giả: Musthofa Galih Pradana, Hoàng Thị Hà. - Nhan đề: Maximizing Strategy Improvement in Mall Customer Segmentation using K-means Clustering - Ngày xuất bản: 01, January, 2021 - ISSN: 2723 - 6471 Hình 2.
