Phân Tích Dữ Liệu Kinh Doanh Cửa Hàng Bán Lẻ Trực Tuyến

Đồ án nghiên cứu Tiểu luận đồ án môn họclập trình phân tích dữ liệu đề tài phân tích dữ liệu kinh doanh của cửa hàng, áp dụng công nghệ tiên tiến, tối ưu giải pháp kỹ thuật cho

• Đề tài: Phân Tích Dữ Liệu Kinh Doanh Cửa Hàng Bán Lẻ Trực Tuyến

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. Chương I: Tổng Quan Đề Tài
• 1.1. Giới thiệu đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Phương pháp nghiên cứu
• 1.4. Tài nguyên sử dụng
• 2. Chương II: Tổng Quan Bộ Dữ Liệu
• 2.1. Tổng quan bộ dữ liệu thu thập
• 2.2. Các thuộc tính của bộ dữ liệu
• 3. Chương III: Tiền xử lý dữ liệu
• 3.1. Exploratory Data Analysis (EDA)
• 3.1.1. Tổng quan bộ dữ liệu nguyên bản
• 3.1.2. Biểu diễn dữ liệu nguyên bản
• 3.2. Chỉnh dạng dữ liệu
• 3.3. Xử lý dữ liệu bị thiếu (Missing Values)
• 3.4. Xử lý outliers của các biến định lượng
• 3.5. Xử lý biến Description
• 4. Chương IV: Phân Tích Dữ Liệu
• 4.1. Time Series
• 4.2. FP-Growth
• 4.2.1. Lý thuyết FP-Growth
• 4.2.2. Các bước thực hiện
• 5. Chương V: Machine Learning
• 5.1. Cluster Category by Product Name (Description) - K-means
• 5.2. Customer Segmentation by Country and Behavior - K-Prototypes
• 6. CHƯƠNG VI: KẾT LUẬN
• Tài Liệu Tham Khảo
• Bảng phân công

Tóm tắt

I. Mở Khóa Bí Mật Dữ Liệu Kinh Doanh Bán Lẻ Trực Tuyến

Trong bối cảnh thương mại điện tử bùng nổ, phân tích dữ liệu kinh doanh cửa hàng bán lẻ trực tuyến không còn là một lựa chọn mà đã trở thành yếu tố sống còn. Doanh nghiệp sở hữu một kho tàng thông tin khổng lồ từ mỗi giao dịch, mỗi lượt truy cập và mỗi tương tác của khách hàng. Việc khai thác hiệu quả nguồn dữ liệu này giúp đưa ra các quyết định chiến lược, tối ưu hóa vận hành và tạo ra lợi thế cạnh tranh bền vững. Theo nghiên cứu trên bộ dữ liệu “Online Retails Sale Data” từ Kaggle, bao gồm 541,909 giao dịch của một công ty tại Anh từ năm 2010 đến 2011, việc phân tích sâu có thể khám phá các mẫu hành vi mua sắm tiềm ẩn, dự báo xu hướng và cá nhân hóa trải nghiệm khách hàng. Quá trình này không chỉ dừng lại ở việc tạo báo cáo kinh doanh định kỳ, mà còn đi sâu vào việc áp dụng các thuật toán khai phá dữ liệu (data mining) và học máy để biến những con số thô thành thông tin chi tiết có giá trị. Từ đó, doanh nghiệp có thể xây dựng các chiến dịch data-driven marketing chính xác, cải thiện quản lý tồn kho và nâng cao doanh thu một cách khoa học. Mục tiêu cuối cùng là chuyển đổi từ mô hình kinh doanh dựa trên cảm tính sang mô hình dựa trên dữ liệu, nơi mọi quyết định đều được củng cố bởi bằng chứng xác thực.

1.1. Tầm quan trọng của phân tích dữ liệu ecommerce hiện nay

Thương mại điện tử (ecommerce) là một môi trường cực kỳ cạnh tranh. Việc hiểu rõ khách hàng và thị trường là chìa khóa để thành công. Phân tích dữ liệu ecommerce cung cấp cái nhìn 360 độ về hoạt động kinh doanh. Nó giúp xác định sản phẩm nào đang bán chạy, kênh marketing nào mang lại hiệu quả cao nhất, và chân dung khách hàng trung thành là ai. Thay vì phỏng đoán, các nhà quản lý có thể dựa vào dữ liệu để điều chỉnh chiến lược giá, tối ưu hóa chuỗi cung ứng và cá nhân hóa các chương trình khuyến mãi. Ví dụ, phân tích xu hướng theo thời gian có thể chỉ ra các sản phẩm bán chạy theo mùa, giúp doanh nghiệp chủ động trong việc nhập hàng và triển khai các chiến dịch quảng cáo đúng thời điểm, từ đó tối đa hóa lợi nhuận và giảm thiểu rủi ro tồn kho. Việc này tạo ra một vòng lặp cải tiến liên tục, giúp doanh nghiệp nhanh chóng thích ứng với sự thay đổi của thị trường.

1.2. Mục tiêu chính khi khai phá dữ liệu bán lẻ trực tuyến

Mục tiêu cốt lõi của việc khai phá dữ liệu trong ngành bán lẻ là tìm ra những insight giá trị. Các mục tiêu cụ thể bao gồm: (1) Phân khúc khách hàng để hiểu rõ hơn về các nhóm người mua khác nhau, từ đó đưa ra các chiến dịch tiếp thị phù hợp. (2) Phân tích giỏ hàng (market basket analysis) nhằm khám phá các sản phẩm thường được mua cùng nhau, tạo cơ sở cho các chiến lược bán chéo (cross-selling) và bán thêm (up-selling). (3) Dự báo doanh thu và nhu cầu sản phẩm để tối ưu hóa kế hoạch kinh doanh và quản lý dòng tiền. (4) Tối ưu hóa trải nghiệm người dùng trên website thông qua phân tích hành vi khách hàng, xác định các điểm gây khó khăn trong quá trình mua sắm và cải thiện để tăng tỷ lệ chuyển đổi (CRO). Các mục tiêu này đều hướng đến việc nâng cao hiệu quả hoạt động và gia tăng sự hài lòng của khách hàng.

II. Top Thách Thức Khi Phân Tích Dữ Liệu Kinh Doanh Thô

Quá trình phân tích dữ liệu kinh doanh cửa hàng bán lẻ trực tuyến thường đối mặt với nhiều thách thức đến từ chất lượng của dữ liệu gốc. Dữ liệu thô hiếm khi hoàn hảo và sẵn sàng để phân tích ngay lập tức. Theo tài liệu phân tích, bộ dữ liệu ban đầu có tới 135,080 dòng (chiếm gần 25%) bị thiếu giá trị CustomerID, một thuộc tính quan trọng để nhận dạng khách hàng. Việc bỏ qua các dòng thiếu sót này là bước đi cần thiết để đảm bảo tính toàn vẹn của các phân tích về sau. Bên cạnh đó, dữ liệu định lượng như Quantity và TotalSale thường chứa các giá trị ngoại lai (outliers), ví dụ như các đơn hàng có số lượng âm (do trả hàng) hoặc các giá trị quá lớn/nhỏ bất thường. Nếu không được xử lý, những outliers này có thể làm sai lệch kết quả thống kê và ảnh hưởng đến độ chính xác của các mô hình học máy. Một thách thức khác là sự không nhất quán trong dữ liệu dạng chuỗi, chẳng hạn như cột Description chứa cả chữ hoa, chữ thường, ký tự đặc biệt và khoảng trắng thừa. Việc chuẩn hóa những dữ liệu này đòi hỏi các kỹ thuật tiền xử lý phức tạp để đảm bảo mô hình có thể nhận diện đúng các sản phẩm tương tự nhau.

2.1. Xử lý giá trị thiếu và dữ liệu ngoại lai outliers

Xử lý giá trị thiếu (missing values) là bước đầu tiên và quan trọng nhất. Trong trường hợp cột CustomerID bị thiếu, quyết định loại bỏ các dòng này là hợp lý vì không thể xác định được hành vi của khách hàng ẩn danh. Đối với các biến định lượng, việc phát hiện và xử lý outliers là tối quan trọng. Biểu đồ hộp (Boxplot) là một công cụ hiệu quả để trực quan hóa dữ liệu và xác định các điểm ngoại lệ. Dựa trên phương pháp tứ phân vị (Interquartile Range - IQR), các giá trị nằm ngoài khoảng [Q1 - 1.5IQR, Q3 + 1.5IQR] được xem là outliers và cần được loại bỏ. Quá trình này giúp làm "sạch" bộ dữ liệu, đảm bảo các phân tích thống kê như giá trị trung bình hay phương sai phản ánh đúng thực tế, từ đó tăng độ tin cậy cho các mô hình dự báo doanh thu và phân cụm.

2.2. Làm sạch chuẩn hóa mô tả sản phẩm description

Cột Description (mô tả sản phẩm) đóng vai trò trung tâm trong việc phân nhóm sản phẩm. Tuy nhiên, dữ liệu văn bản thường không đồng nhất. Quy trình chuẩn hóa bao gồm nhiều bước: chuyển đổi tất cả văn bản về chữ thường, loại bỏ khoảng trắng dư thừa, xóa các ký tự đặc biệt và các "stop words" (những từ phổ biến nhưng không mang nhiều ý nghĩa như 'a', 'an', 'the'). Hơn nữa, việc áp dụng kỹ thuật lemmatization hoặc stemming giúp đưa các từ về dạng gốc (ví dụ: 'bags', 'bagged' đều trở thành 'bag'). Quá trình này đảm bảo rằng các sản phẩm có bản chất giống nhau nhưng mô tả hơi khác nhau sẽ được nhận diện là một, tạo nền tảng vững chắc cho các thuật toán phân cụm như K-Means hoạt động hiệu quả, giúp gom nhóm sản phẩm một cách chính xác.

III. Phương Pháp Phân Khúc Khách Hàng Dựa Trên Dữ Liệu Mua Sắm

Hiểu rõ khách hàng là nền tảng của mọi chiến lược kinh doanh thành công. Phân khúc khách hàng là quá trình chia nhỏ tệp khách hàng lớn thành các nhóm nhỏ hơn có cùng đặc điểm, nhu cầu hoặc hành vi. Việc này cho phép doanh nghiệp tạo ra các chiến dịch marketing cá nhân hóa, cải thiện dịch vụ và tối ưu hóa sản phẩm. Trong phân tích dữ liệu kinh doanh cửa hàng bán lẻ trực tuyến, các phương pháp phân khúc không chỉ dựa trên thông tin nhân khẩu học mà còn tập trung vào dữ liệu hành vi. Tài liệu nghiên cứu đã áp dụng thuật toán K-Prototypes, một phiên bản cải tiến của K-Means, để xử lý bộ dữ liệu hỗn hợp chứa cả thuộc tính số (số lượng mua, giá trị đơn hàng) và thuộc tính phân loại (quốc gia). Kết quả phân cụm cho thấy sự khác biệt rõ rệt giữa nhóm khách hàng tại Anh (UK) và các quốc gia khác. Phương pháp này giúp xác định các nhóm khách hàng tiềm năng, từ đó có thể xây dựng các chiến lược riêng biệt để tăng giá trị vòng đời khách hàng (CLV) và giảm chi phí thu hút khách hàng (CAC) một cách hiệu quả.

3.1. Kỹ thuật phân nhóm theo hành vi và vị trí địa lý

Thuật toán K-Prototypes được lựa chọn vì khả năng xử lý đồng thời cả dữ liệu số và dữ liệu hạng mục. Nghiên cứu đã tiến hành phân nhóm khách hàng thành 3 cụm (k=3) dựa trên phương pháp Elbow. Các biến đầu vào bao gồm quốc gia (được gán nhãn UK và non-UK), số lượng sản phẩm, đơn giá và tần suất mua hàng. Kết quả phân tích hành vi khách hàng cho thấy các cụm có đặc điểm riêng biệt. Ví dụ, một cụm có thể bao gồm các khách hàng ở ngoài nước Anh mua hàng với giá trị cao nhưng tần suất thấp, trong khi cụm khác là khách hàng nội địa mua hàng thường xuyên với giá trị đơn hàng nhỏ. Việc nhận diện các nhóm này giúp doanh nghiệp tùy chỉnh thông điệp marketing, chính sách vận chuyển và các chương trình khách hàng thân thiết cho từng đối tượng cụ thể.

3.2. Áp dụng phân tích RFM để xác định khách hàng giá trị

Phân tích RFM (Recency, Frequency, Monetary) là một kỹ thuật mạnh mẽ để xếp hạng và phân loại khách hàng dựa trên ba yếu tố chính: Recency (Lần mua hàng gần nhất), Frequency (Tần suất mua hàng), và Monetary (Giá trị tiền tệ đã chi tiêu). Khách hàng có điểm R, F, và M cao là những khách hàng giá trị nhất (ví dụ: mới mua gần đây, mua thường xuyên và chi tiêu nhiều). Mặc dù tài liệu gốc không đi sâu vào RFM, nhưng đây là bước tiếp theo logic sau khi đã có dữ liệu giao dịch sạch. Bằng cách áp dụng RFM, doanh nghiệp có thể xác định các nhóm như 'Khách hàng VIP', 'Khách hàng tiềm năng', 'Khách hàng có nguy cơ rời bỏ'. Từ đó, các hành động cụ thể có thể được triển khai: gửi ưu đãi độc quyền cho nhóm VIP, chiến dịch remarketing cho nhóm tiềm năng, và chương trình giữ chân cho nhóm có nguy cơ rời bỏ, giúp tối ưu hóa nỗ lực marketing.

IV. Bí Quyết Phân Tích Giỏ Hàng Tối Ưu Hóa Danh Mục Sản Phẩm

Việc phân tích dữ liệu kinh doanh cửa hàng bán lẻ trực tuyến không chỉ dừng lại ở khách hàng mà còn phải đi sâu vào sản phẩm. Hiểu được sản phẩm nào bán chạy, sản phẩm nào thường được mua cùng nhau là chìa khóa để tối ưu hóa doanh thu và cải thiện trải nghiệm mua sắm. Nghiên cứu đã sử dụng hai phương pháp chính: thuật toán FP-Growth cho phân tích giỏ hàng (market basket analysis) và K-Means Clustering để gom nhóm các sản phẩm tương tự. FP-Growth là một thuật toán hiệu quả để tìm ra các luật kết hợp (association rules) trong tập dữ liệu giao dịch lớn. Nó giúp trả lời câu hỏi: “Nếu khách hàng mua sản phẩm A, khả năng họ mua sản phẩm B là bao nhiêu?”. Kết quả phân tích cho thấy một bộ sản phẩm 'poppy's playhouse' (phòng khách, phòng ngủ, nhà bếp) thường xuyên được mua cùng nhau với độ tin cậy và độ tương quan rất cao. Thông tin này cực kỳ giá trị cho việc tạo combo khuyến mãi, sắp xếp layout sản phẩm trên website, và gợi ý sản phẩm liên quan. Đây là một ứng dụng thực tiễn của khai phá dữ liệu (data mining) để thúc đẩy doanh số.

4.1. Khai phá luật kết hợp với thuật toán FP Growth hiệu quả

Thuật toán FP-Growth được áp dụng trên một mẫu ngẫu nhiên gồm 350,000 giao dịch để đảm bảo hiệu suất tính toán. Sau khi xử lý, thuật toán đã phát hiện các luật kết hợp mạnh. Cụ thể, 5 luật hàng đầu đều liên quan đến các sản phẩm trong bộ 'poppy's playhouse', với độ tin cậy (confidence) đạt mức tuyệt đối (bằng 1). Điều này có nghĩa là gần như 100% các giao dịch chứa một món trong bộ này cũng sẽ chứa các món còn lại. Phân tích sâu hơn theo mùa cho thấy combo này được bán nhiều nhất vào mùa Thu và mùa Đông. Dựa trên insight này, doanh nghiệp có thể chủ động đẩy mạnh quảng cáo và tạo các gói sản phẩm hấp dẫn vào cuối năm, thời điểm nhu cầu mua sắm tăng cao, nhằm tối ưu hóa lượng hàng bán ra và gia tăng doanh thu.

4.2. Gom nhóm sản phẩm tương tự bằng K Means Clustering

Với hàng ngàn mã sản phẩm khác nhau, việc phân tích riêng lẻ từng sản phẩm là không hiệu quả. K-Means Clustering được sử dụng để gom 3,217 sản phẩm thành 300 nhóm (category) có ý nghĩa hơn dựa trên mô tả của chúng. Trước khi phân cụm, dữ liệu văn bản được vector hóa bằng phương pháp TF-IDF để chuyển chữ thành số. Kết quả cho thấy các sản phẩm như các loại túi xách khác nhau được gom chung vào một cụm 'bag'. Việc này mang lại cái nhìn tổng quan hơn về hiệu suất kinh doanh. Thay vì biết một mẫu túi cụ thể bán chạy, doanh nghiệp biết được rằng 'túi xách' là danh mục sản phẩm mang lại doanh thu cao nhất. Insight này giúp định hướng chiến lược phát triển sản phẩm, quản lý tồn kho và phân bổ ngân sách marketing cho các danh mục chủ lực.

V. Xây Dựng Hệ Thống Báo Cáo Thông Minh Để Ra Quyết Định

Mục đích cuối cùng của phân tích dữ liệu kinh doanh cửa hàng bán lẻ trực tuyến là hỗ trợ việc ra quyết định một cách nhanh chóng và chính xác. Để làm được điều này, các kết quả phân tích cần được trình bày một cách trực quan và dễ hiểu thông qua một hệ thống báo cáo thông minh hoặc dashboard theo dõi. Thay vì đọc những báo cáo dài dòng, các nhà quản lý có thể nắm bắt tình hình kinh doanh tổng thể chỉ qua vài biểu đồ. Trực quan hóa dữ liệu là một kỹ năng thiết yếu, giúp biến những con số phức tạp thành các biểu đồ cột, biểu đồ tròn, bản đồ nhiệt... thể hiện rõ xu hướng doanh thu, hiệu quả chiến dịch marketing, hay sự phân bổ của khách hàng theo địa lý. Một dashboard hiệu quả sẽ tích hợp các chỉ số hiệu suất chính (KPIs) quan trọng như tổng doanh thu, số lượng đơn hàng, giá trị đơn hàng trung bình (AOV), tỷ lệ chuyển đổi (CRO), và chi phí thu hút khách hàng (CAC). Việc theo dõi liên tục các chỉ số này giúp doanh nghiệp nhanh chóng phát hiện các vấn đề, nắm bắt cơ hội và điều chỉnh chiến lược kịp thời.

5.1. Trực quan hóa KPIs qua dashboard theo dõi kinh doanh

Một dashboard theo dõi hiệu quả cần được thiết kế để trả lời các câu hỏi kinh doanh quan trọng. Ví dụ, biểu đồ đường thể hiện doanh thu theo tháng giúp nhận diện tính mùa vụ. Biểu đồ cột so sánh số lượng bán ra của các danh mục sản phẩm (như 'bag', 'bowl') giúp xác định mặt hàng chủ lực. Biểu đồ tròn thể hiện tỷ trọng khách hàng theo quốc gia (UK vs. non-UK) giúp định hướng các chiến dịch marketing quốc tế. Việc tích hợp các bộ lọc (theo thời gian, theo sản phẩm, theo khu vực) cho phép người dùng tự khám phá dữ liệu sâu hơn. Các công cụ business intelligence như Tableau, Power BI hay thậm chí là các thư viện Python như Matplotlib, Seaborn đều có thể được sử dụng để xây dựng những dashboard mạnh mẽ này, biến dữ liệu thành công cụ hỗ trợ đắc lực cho quản lý.

5.2. Cách tối ưu tỷ lệ chuyển đổi CRO qua phân tích A B

Tối ưu hóa tỷ lệ chuyển đổi (CRO) là một mục tiêu trọng tâm trong ecommerce. Dữ liệu phân tích hành vi người dùng trên trang web có thể chỉ ra các điểm yếu trong phễu bán hàng (sales funnel). Phân tích A/B testing là một phương pháp khoa học để cải thiện CRO. Doanh nghiệp có thể tạo ra hai phiên bản (A và B) của một trang sản phẩm, một nút kêu gọi hành động (CTA), hoặc một email marketing và cho hai nhóm người dùng khác nhau trải nghiệm. Bằng cách đo lường và so sánh tỷ lệ chuyển đổi giữa hai phiên bản, doanh nghiệp có thể xác định được thiết kế hoặc thông điệp nào hiệu quả hơn và áp dụng nó trên diện rộng. Quá trình này, khi được thực hiện liên tục, sẽ giúp cải thiện đáng kể trải nghiệm người dùng và gia tăng doanh số mà không cần tăng chi phí quảng cáo.

Trích đoạn nội dung tài liệu

Chương I: Tổng Quan Đề Tài 1. Giới thiệu đề tài Ngày nay, mạng Internet là một trong những công cụ cần thiết trong cuộc sống hiện đại, là nền tảng cho sự truyền tải và trao đổi thông tin trên toàn cầu. Cùng với sự phát triển nhảy vọt của công nghệ thông tin, Internet đang dần chiếm giữ vai trò quan trọng trong mọi mặt của đời sống, giúp con người làm việc với độ chính xác cao, quản lý và tổ chức công việc hiệu quả, cũng như nhanh chóng cập nhật thông tin một cách chính xác. Vì vậy, thương mại điện tử ngày càng phát triển và đem lại bước đột phá mới cho công tác quản lý bán hàng.

Nó giúp doanh nghiệp dễ dàng nắm bắt thông tin, dữ liệu về người tiêu dùng, hàng hóa và các đơn đặt hàng một cách nhanh chóng. Cùng với đó là sự phát triển của việc phân tích dữ liệu khách hàng, giúp cho quản lý doanh nghiệp có cái nhìn tổng quát về tình hình bán hàng của doanh nghiệp, khai thác được những thông tin hữu ích từ bộ dữ liệu mả họ đang có để từ đó đưa ra những chính sách bán hàng hiệu quả. Mục tiêu nghiên cứu - Tìm ra những kết hợp sản phẩm có khả năng thường xuyên được bán cùng nhau nhất để từ đó biết được mối liên hệ giữa các sản phẩm và có thể đưa ra các chiến lược thúc đẩy khả năng bán chéo giữa các sản phẩm đó. - Phân tích chuỗi thời gian bán hàng tiềm năng để phát hiện ra được tính xu hướng và chu kỳ của tập dữ liệu khách hàng, từ đó đưa ra các chiến dịch quảng bá sản phẩm phù hợp theo từng mùa.

- Phân khúc khách hàng theo vị trí địa lý và hành vi mua hàng, xem xét những gì khách hàng mua, mức giá, tần suất và số lượng họ mua hàng để từ đó có thể đưa ra các chiến dịch tiếp thị phù hợp với từng nhóm khách hàng. Phương pháp nghiên cứu: EDA : Sử dụng các biểu đồ vẽ nhằm tương quan cũng như làm rõ mục đích nghiên cứu đề tài, sự liên kết với nhau giữa các biến. FP-Growth: Sử dụng FP-Growth để tìm ra các mặt hàng thường được bán chung với nhau (trong cùng 1 hóa đơn) và khoảng thời gian mà các mặt hàng được bán chạy nhất giúp tối ưu hóa lượng hàng được bán ra. Vì giới hạn về mặt phần cứng (nếu áp dụng FP-Growth trên dataset Online Retail đã qua tiền xử lý sẽ phát sinh một số lượng tập kết hợp quá lớn (lên đến gần 33000 tập kết hợp) khiến việc tính toán dựa vào các thiết bị thông thường là gần như không thể.

Vì thế ở đây, ta bắt đầu với việc lấy mẫu ngẫu nhiên 350000 dòng dữ liệu (sau khi thử nghiệm thì 350000 dòng dữ liệu là số dòng dữ liệu 1 được lấy từ bộ dữ liệu gốc có thể thực hiện thuật toán FP-Growth mà không bỏ quá nhiều dữ liệu, chỉ bỏ khoảng 5% dữ liệu) từ bộ dữ liệu gốc sau tiền xử lý. Tài nguyên sử dụng: - Ngôn ngữ lập trình: Python. - Bộ dữ liệu “Online Retails Sale Data” được lấy từ Kaggle. Chương II: Tổng Quan Bộ Dữ Liệu 1.

Tổng quan bộ dữ liệu thu thập - Bộ dữ liệu “Online Retails Sale Data” chứa các giao dịch từ ngày 12/01/2010 đến 12/09/2011 của một công ty bán lẻ trực tuyến có trụ sở tại UK. Bao gồm 10 thuộc tính, số dòng của bộ dữ liệu là 541909 dòng 2. Các thuộc tính của bộ dữ liệu Tên thuộc Mô tả Ghi chú tính InvoiceNo Mã đơn hàng cho Bao gồm 25900 mã đơn hàng mỗi order thành khác nhau công InvoiceDate Ngày đặt hàng Từ ngày 12 tháng 1 năm 2010 đến ngày 10 tháng 12 năm 2011 InvoiceTime Thời gian đặt hàng Phụ thuộc vào vị trí địa lí của từng khách hàng StockCode Mã sản phẩm Bao gồm 4070 mã sản phẩm khác nhau Description Mô tả sản phẩm Bao gồm 4224 mô tả, trong đó có các sản phẩm bị lỗi, hư hỏng, bị trả về, thất lạc Quantity Số lượng mỗi sản Số lượng của mỗi đơn vị sản phẩm phẩm được bán ra trong 1 đơn hàng. 2 UnitPrice Giá bán mỗi đơn vị Giá của 1 sản phẩm, mỗi sản sản phẩm phẩm sẽ có mức giá khác nhau.

Totalsale Doanh thu từ mỗi Totalsale = Quantity * UnitPrice sản phẩm trong 1 đơn hàng. CustomerID Mã khách hàng Mỗi khách hàng sẽ được cấp 1 mã duy nhất. Country Quốc gia của Căn cứ vào vị trí địa lý của khách đặt hàng khách hàng. Chương III: Tiền xử lý dữ liệu 1.

Exploratory Data Analysis (EDA) a. Tổng quan bộ dữ liệu nguyên bản - Để thăm dò bộ dữ liệu, ta cần biết được tổng quan các thông tin về: số dòng, số cột, có tồn tại giá trị bị thiếu hay không, nếu có thì ở dòng nào, thuộc cột nào và chiếm bao nhiêu phần trăm của bộ dữ liệu. - Xem số dòng, số cột hiện có của bộ dữ liệu nguyên bản để nắm được các thông tin sơ lược trước khi tiến hành tiền xử lý: 3 - Tiến hành kiểm tra các dòng chứa giá trị bị thiếu: - Kết quả trả về: Nhận xét: Bộ dữ liệu trên có 10 cột, số dòng dữ liệu là 541909, tồn tại cột CustomerID với số giá trị bị thiếu là 135080, tức xấp xỉ 25% bộ dữ liệu tồn tại giá trị bị thiếu ở cột này. Vì vậy ta sẽ xử lý các giá trị thiếu này ở bước sau.

- Để khám phá dữ liệu, chúng ta sẽ đưa ra số đơn hàng của từng nước, để tiện trong việc chọn các phân cụm clustering sau này 4 - Nhận thấy United Kingdom chiếm rất nhiều trong số đơn hàng (> 90%/ tổng số quốc gia), điều này giúp ta định hướng rằng, chúng ta sẽ tạo nhãn có thuộc tính country thành 2 loại : United Kingdom và các quốc gia khác. Biểu diễn dữ liệu nguyên bản: - Tiếp theo, việc phác hoạ biểu đồ tương quan giữa các biến làm nổi bật target của vấn đề. Qua biểu đồ cũng như các công thức liên quan, nhận thấy target 5 của bộ dữ liệu này có thể sử dụng được biến Quantity, Totalsale cũng như UnitPrice như nhau - Quá trình vẽ biểu đồ này sẽ tốn khoảng vài phút và vì bộ dữ liệu khá lớn nên phần biểu diễn biểu sẽ có những điểm đen dày đặc ở phần dưới mỗi biểu đồ. - Dưới đây là biểu đồ tương quan giữa 4 biến, điểm số càng tiệm cận 1 chứng tỏ độ tương thích giữa chúng càng cao, và ngược lại, nếu điểm số về 0 hoặc bé hơn 0 thì chúng có tương quan ngược.

6 7 - Nhận xét: EDA là bước giúp chúng ta định hình được các phương pháp mà chúng ta sẽ sử dụng sau này, ngoài ra với bộ dữ liệu này, nó giúp ta nhận thấy, muốn phân tích các trend theo thời gian, chúng ta cần phải tạo thêm các cột như tuần/ tháng hay gộp dữ liệu các ngày lại với nhau; Cần chỉnh dạng dữ liệu để hợp lý hoá các thông tin cần dùng - Kiểm tra xem bộ dữ liệu có tồn tại Outliers : 2. Chỉnh dạng dữ liệu a. Thêm cột - Thêm vào cột Month: - Lý do: Với mục tiêu phân loại các hóa đơn theo mùa, ta cần sắp xếp thời gian của các hoá đơn theo tháng (thay vì sắp xếp theo ngày) để thuận tiện cho việc phân loại. Nếu sắp xếp theo ngày thì không có ý nghĩa phân tích nhiều như tháng vì các ngày sẽ có sự trùng lặp rất nhiều.

- Thêm vào cột Year: - Lý do: Bộ dữ liệu bao gồm thời gian bán hàng của năm 2010 và 2011, ta cần phân loại hoá đơn dựa theo năm để phục vụ cho việc so sánh 2 năm, từ đó biết được xu hướng mua hàng của người mua tập trung vào loại sản phẩm nào. - Thêm vào cột Season: - Lý do: Để phục vụ cho mục tiêu nghiên cứu ở mục 2: tìm ra các sản phẩm bán chạy theo mùa. Ta cần thêm vào bộ dữ liệu cột Season nhằm sắp xếp các hoá đơn có tháng 1/2/3 vào mùa xuân, tháng 4/5/6 vào mùa hè, tháng 7/8/9 vào 8 mùa thu và các tháng 10/11/12 vào mùa đông. Như vậy, ở phần phân tích dữ liệu sẽ dễ dàng thực hiện hơn.

Xoá cột: - Loại bỏ cột InvoiceTime. - Lý do: Dữ liệu thời gian của tệp dữ liệu này không nhất quán giữa các khách hàng. Phụ thuộc vào mỗi vị trí địa lý khác nhau nên múi giờ đặt hàng sẽ có sự chênh lệch. Vì vậy, để khách quan và bao quát hơn, nhóm chỉ sử dụng dữ liệu dạng ngày của cột InvoiceDate 3.

Xử lý dữ liệu bị thiếu (Missing Values) - Tiến hành kiểm tra số lượng dòng chứa giá trị bị thiếu của mỗi cột: 9 - Quan sát từ kết quả, ta thấy rằng chỉ có cột CustomerID là còn tồn lại missing values. Ta tiến hành loại bỏ luôn các dòng này ra khỏi bộ dữ liệu: - Kiểm tra lại bộ dữ liệu sau khi xử lý: 10 - Nhận xét: Sau khi đã bỏ đi các dòng chứa giá trị bị thiếu của cột CustomerID, bộ dữ liệu đã không còn missing values ở bất kỳ cột nào. Xử lý outliers của các biến định lượng a. Biến Totalsale - Để quan sát trực quan dữ liệu của biến Totalsale, ta sẽ sử dụng biểu đồ hộp Boxplot để thể hiện các phân phối dữ liệu, nghĩa là giúp chúng ta biết được độ dàn trải của các điểm dữ liệu như thế nào, dữ liệu có đối xứng không, phân bố rộng hay hẹp, giá trị nhỏ nhất, lớn nhất và các điểm ngoại lệ.

- Nhận xét: Dựa vào Boxplot phía trên, ta thấy giá trị Max = 150000 và Min = -150000 lần lượt là giá trị lớn nhất và bé nhất để một phần tử được xem là 11 không phải Outliers. Vậy để xác định được Outliers của biến Total Sale, ta chỉ cần tìm các phần tử vượt quá 2 giá trị này. - Xác định giá trị của các tứ phân vị nhằm kiểm soát tác động của những giá trị ngoại lệ (Outliers) ở 2 đầu mút. Ở đây ta chỉ cần xác định giá trị của tứ phân vị thứ 1 và 3: - Sau khi đã có Q1 và Q3, ta tiếp tục xác định giá trị biên của biến Total Sale, nếu giá trị của 1 phần tử bất kì nằm trong khoảng lower và upper thì gọi là expected data, ngược lại gọi là Outliers.

Tạo 2 mảng chứa các index của phần tử là Outliers. 12 - Sau khi đã có index của các outliers, tiến hành loại bỏ outliers dựa trên index được lưu trong 2 array upper và lower. - Sau khi đã xử lý các outliers, sử dụng Boxplot để quan sát bộ dữ liệu.