Chương I: Tổng Quan Đề Tài 1 1. Giới thiệu đề tài 1 2. Mục tiêu nghiên cứu 1 3. Phương pháp nghiên cứu: 1 4.
Tài nguyên sử dụng: 2 Chương II: Tổng Quan Bộ Dữ Liệu 2 1. Tổng quan bộ dữ liệu thu thập 2 2. Các thuộc tính của bộ dữ liệu 2 Chương III: Tiền xử lý dữ liệu 4 1. Exploratory Data Analysis (EDA) 4 a.
Tổng quan bộ dữ liệu nguyên bản 4 b. Biểu diễn dữ liệu nguyên bản: 6 2. Xử lý dữ liệu bị thiếu (Missing Values) 10 4. Xử lý outliers của các biến định lượng 12 a.
Xử lý biến Description 19 Chương IV: Phân Tích Dữ Liệu 20 1. 25 Chương V: Machine Learning 33 1. 42 CHƯƠNG VI: KIỂM ĐỊNH VÀ GIẢM CHIỀU DỮ LIỆU 47 1. 53 CHƯƠNG VI: KẾT LUẬN 57 Tài Liệu Tham Khảo 58 Bảng phân công: 59 MỤC LỤC HÌNH ẢNH HÌNH 1: BIỂU ĐỒ SCATTER PLOT TƯƠNG QUAN GIỮA QUANTITY VÀ CÁC BIẾN KHÁC.
7 HÌNH 2: HEAT MAP BIỂU DIỄN TƯƠNG QUAN GIỮA CÁC CỘT DỮ LIỆU 8 HÌNH 3: SCATTER PLOT BIỂU DIỄN SỐ LƯỢNG HÀNG BÁN RA Ở MỖI QUỐC GIA. 9 HÌNH 4: BOX PLOT CỦA BIẾN TOTALSALE TRƯỚC KHI XỬ LÝ OUTLIERS. 12 HÌNH 5: BOX PLOT CỦA BIẾN TOTALSALE SAU KHI XỬ LÝ OUTLIERS. 15 HÌNH 6: BOX PLOT CỦA BIẾN QUANTITY TRƯỚC KHI XỬ LÝ OUTLIERS.
16 HÌNH 7: BOX PLOT CỦA BIẾN QUANTITY SAU KHI XỬ LÝ OUTLIERS. 19 HÌNH 8: BIỂU ĐỒ THANH THỂ HIỆN SỐ LƯỢNG ĐẶT HÀNG THEO MÙA 21 HÌNH 9: BIỂU ĐỒ THANH THỂ HIỆN SỐ LƯỢNG ĐƠN HÀNG THEO THÁNG. 22 HÌNH 10: BIỂU ĐỒ THANH BIỂU DIỄN TỶ LỆ ĐẶT HÀNG CỦA NĂM 2010 VÀ 2011. 22 HÌNH 11: BIỂU ĐỒ ĐƯỜNG THỂ HIỆN TỔNG DOANH THU THEO THÁNG CỦA NĂM 2010 VÀ 2011.
23 HÌNH 12: BIỂU ĐỒ THANH KẾT HỢP VỚI ĐƯỜNG BIỂU DIỄN TỔNG DOANH THU VÀ TỔNG LƯỢNG HÀNG BÁN RA THEO CÁC THÁNG CỦA NĂM 2011. 24 HÌNH 13: BIỂU ĐỒ THANH NGANG BIỂU DIỄN SỐ LƯỢNG SẢN PHẨM BÁN RA CỦA 5 MẶT HÀNG BÁN CHẠY NHẤT NĂM 2011. 24 HÌNH 14: BIỂU ĐỒ ĐƯỜNG BIỂU DIỄN DOANH THU BÁN HÀNG CỦA 5 MẶT HÀNG BÁN CHẠY NHẤT NĂM 2011 THEO CÁC THÁNG CHẴN. 25 HÌNH 15: BIỂU ĐỒ THANH DỌC THỂ HIỆN DOANH SỐ BÁN HÀNG THEO MÙA CỦA 4 MẶT HÀNG.
33 HÌNH 16 36 HÌNH 17: BIỂU ĐỒ CÂY THỂ HIỆN CÁC NHÓM SẢN PHẨM. 39 HÌNH 18: BIỂU ĐỒ THANH DỌC BIỂU DIỄN TỔNG SỐ LƯỢNG HÀNG BÁN RA CỦA 5 LOẠI HÀNG BÁN CHẠY NHẤT. 40 HÌNH 19: BIỂU ĐỒ THANH DỌC BIỂU DIỄN TỔNG SỐ ĐƠN ĐẶT HÀNG CHO 5 LOẠI HÀNG BÁN CHẠY NHẤT. 41 HÌNH 20: BIỂU ĐỒ THANH DỌC BIỂU DIỄN TỔNG DOANH THU CỦA 5 LOẠI HÀNG BÁN CHẠY NHẤT MANG LẠI.
41 HÌNH 21: BIỂU ĐỒ PAIRED PLOT PHÂN CỤM THEO COUNTRY VÀ CUSTOMER BEHAVIOUR. 54 HÌNH 22: BIỂU ĐỒ PHÂN TÁN SAU KHI GIẢM CHIỀU DỮ LIỆU. 56 LỜI CẢM ƠN Hiện nay, trong thời đại 4.0, mặc dù đã có sự xuất hiện của trí tuệ nhân tạo giúp hỗ trợ cho công việc phân tích kết quả kinh doanh nhằm dự báo, đưa ra các quyết định kinh doanh giúp tối ưu hóa doanh thu cho doanh nghiệp nhưng sự cần thiết của những người làm công việc phân tích dữ liệu vẫn là rất cần thiết đối với các doanh nghiệp. Ngoài công việc khai thác các thông tin, các vấn đề từ những dữ liệu kinh doanh, người làm phân tích dữ liệu còn phải biết thể hiện, truyền tải các thông tin đó một cách đầy đủ, chính xác, và dễ hiểu, dễ nhận thấy cho các đối tượng mình muốn truyền tải, các nhà đầu tư, các doanh nghiệp, khách hàng.
Chính vì vậy, nhóm đã quyết định chọn bộ dữ liệu “Online Retails Sale Dataset” làm bộ dữ liệu để làm báo cáo cho môn học “Biểu diễn trực quan dữ liệu”. Mục đích của việc phân tích bộ dữ liệu này là để tìm ra các mặt hàng được bán chạy theo combo, thời gian; tìm ra các khách hàng tiềm năng để từ đó có thể trực quan hóa, giúp các nhà đầu tư, khách hàng nhìn nhận, thấy được đúng các vấn đề, các insight, các thông tin mà những người phân tích dữ liệu, chúng em, muốn truyền tải đến. Trong quá trình làm đồ án môn học vẫn còn các hạn chế, sai sót, chưa tối ưu hóa về mặt kiến thức, kỹ thuật. Nhóm chúng em mong sẽ nhận được sự phản hồi, nhận xét của thầy cô giảng viên hướng dẫn để cải thiện các điểm này.
Đặc biệt nhóm xin được gửi lời cảm ơn đến thầy Nguyễn An Tế, giảng viên hướng dẫn của học phần “Biểu diễn trực quan dữ liệu” này. Thầy đã giúp đỡ, hướng dẫn, cung cấp các tài liệu, kiến thức, kỹ năng cần thiết để nhóm em có thể hoàn thành báo cáo Đồ án kết thúc môn học này. Chúng em xin chân thành cảm ơn thầy. Thay mặt nhóm sinh viên thực hiện đồ án, Hải, Nguyễn Phúc Hải Chương I: Tổng Quan Đề Tài 1.
Giới thiệu đề tài Ngày nay, mạng Internet là một trong những công cụ cần thiết trong cuộc sống hiện đại, là nền tảng cho sự truyền tải và trao đổi thông tin trên toàn cầu. Cùng với sự phát triển nhảy vọt của công nghệ thông tin, Internet đang dần chiếm giữ vai trò quan trọng trong mọi mặt của đời sống, giúp con người làm việc với độ chính xác cao, quản lý và tổ chức công việc hiệu quả, cũng như nhanh chóng cập nhật thông tin một cách chính xác. Vì vậy, thương mại điện tử ngày càng phát triển và đem lại bước đột phá mới cho công tác quản lý bán hàng. Nó giúp doanh nghiệp dễ dàng nắm bắt thông tin, dữ liệu về người tiêu dùng, hàng hóa và các đơn đặt hàng một cách nhanh chóng.
Cùng với đó là sự phát triển của việc phân tích dữ liệu khách hàng, giúp cho quản lý doanh nghiệp có cái nhìn tổng quát về tình hình bán hàng của doanh nghiệp, khai thác được những thông tin hữu ích từ bộ dữ liệu mả họ đang có để từ đó đưa ra những chính sách bán hàng hiệu quả. Mục tiêu nghiên cứu Phân tích bộ dữ liệu bán hàng giúp doanh nghiệp tìm ra các sản phẩm có khả năng thường xuyên được bán cùng nhau, chuỗi thời gian bán hàng tiềm năng, phân khúc khách hàng theo vị trí địa lý và hành vi mua hàng. Từ đó giúp đưa ra các chiến lược quảng cáo và phát triển sản phẩm phù hợp với từng vị trí địa lý, thúc đẩy khả năng bán chéo giữa các sản phẩm và các chiến dịch quảng bá theo mùa. Hình ảnh hoá các dữ liệu nhằm dễ dàng đưa ra các so sánh trực quan, tính toán tỷ trọng, nhận biết trend, phát hiện outlier, nhận diện đặc điểm phân phối của biến tốt hơn.
Phương pháp nghiên cứu: - EDA: Sử dụng các biểu đồ vẽ nhằm tương quan cũng như làm rõ mục đích nghiên cứu đề tài, sự liên kết với nhau giữa các biến. - FP-Growth: Sử dụng FP-Growth để tìm ra các mặt hàng thường được bán chung với nhau (trong cùng 1 hóa đơn) và khoảng thời gian mà các mặt hàng được bán chạy nhất giúp tối ưu hóa lượng hàng được bán ra. - Các loại biểu đồ: Sử dụng các loại biểu đồ chuyên dụng và phù hợp với mục đích trực quan hoá các dữ liệu, giúp người đọc báo cáo dễ dàng quan sát và đánh giá. - Kiểm định Chi-Squared: Kiểm định tính độc lập giữa 2 biến phân loại, xác định xem liệu có mối liên hệ giữa 2 biến phân loại hay không - Kiểm định ANOVA: một kỹ thuật thống kê tham số được sử dụng để phân tích sự khác nhau giữa giá trị trung bình của các biến phụ thuộc với nhau, thay vì chỉ so 1 sánh các đối tượng trong một nhóm nghiên cứu, phân tích ANOVA giúp so sánh trong phạm vi rộng hơn, giữa hai hoặc nhiều nhóm đối tượng.
- SVD: kĩ thuật giảm chiều dữ liệu dựa trên kĩ thuật phép chiếu các dữ liệu lên một chiều khác, lợi dụng sự tương quan giữa các chiều dữ liệu để giảm chiều biểu diễn dữ liệu mà không gây ra quá nhiều sai số 4. Tài nguyên sử dụng: - Ngôn ngữ lập trình: Python. - Bộ dữ liệu “Online Retails Sale Data” được lấy từ Kaggle. Chương II: Tổng Quan Bộ Dữ Liệu 1.
Tổng quan bộ dữ liệu thu thập - Bộ dữ liệu “Online Retails Sale Data” chứa các giao dịch từ ngày 12/01/2010 đến 12/09/2011 của một công ty bán lẻ trực tuyến có trụ sở tại UK. Bao gồm 10 thuộc tính, số dòng của bộ dữ liệu là 541909 dòng 2. Các thuộc tính của bộ dữ liệu Tên thuộc Mô tả Ghi chú tính InvoiceNo Mã đơn hàng cho Bao gồm 25900 mã đơn hàng mỗi order thành khác nhau công InvoiceDate Ngày đặt hàng Từ ngày 12 tháng 1 năm 2010 đến ngày 10 tháng 12 năm 2011 InvoiceTime Thời gian đặt hàng Phụ thuộc vào vị trí địa lí của từng khách hàng StockCode Mã sản phẩm Bao gồm 4070 mã sản phẩm khác nhau Description Mô tả sản phẩm Bao gồm 4224 mô tả, trong đó có các sản phẩm bị lỗi, hư hỏng, bị trả về, thất lạc 2 Quantity Số lượng mỗi sản Số lượng của mỗi đơn vị sản phẩm phẩm được bán ra trong 1 đơn hàng. UnitPrice Giá bán mỗi đơn vị Giá của 1 sản phẩm, mỗi sản sản phẩm phẩm sẽ có mức giá khác nhau.
Totalsale Doanh thu từ mỗi Totalsale = Quantity * UnitPrice sản phẩm trong 1 đơn hàng. CustomerID Mã khách hàng Mỗi khách hàng sẽ được cấp 1 mã duy nhất. Country Quốc gia của khách Căn cứ vào vị trí địa lý của đặt hàng khách hàng. 3 Chương III: Tiền xử lý dữ liệu 1.
Exploratory Data Analysis (EDA) a. Tổng quan bộ dữ liệu nguyên bản - Để thăm dò bộ dữ liệu, ta cần biết được tổng quan các thông tin về: số dòng, số cột, có tồn tại giá trị bị thiếu hay không, nếu có thì ở dòng nào, thuộc cột nào và chiếm bao nhiêu phần trăm của bộ dữ liệu. - Xem số dòng, số cột hiện có của bộ dữ liệu nguyên bản để nắm được các thông tin sơ lược trước khi tiến hành tiền xử lý: - Tiến hành kiểm tra các dòng chứa giá trị bị thiếu: - Kết quả trả về: 4 Nhận xét: Bộ dữ liệu trên có 10 cột, số dòng dữ liệu là 541909, tồn tại cột CustomerID với số giá trị bị thiếu là 135080, tức xấp xỉ 25% bộ dữ liệu tồn tại giá trị bị thiếu ở cột này. Vì vậy ta sẽ xử lý các giá trị thiếu này ở bước sau.