Bối cảnh và vấn đề nghiên cứu
Trong bối cảnh bùng nổ của cuộc Cách mạng Công nghiệp 4.0 và sự phổ biến của mạng Internet toàn cầu, thương mại điện tử đã trở thành phương thức kinh doanh mang lại bước chuyển biến lớn cho công tác quản lý và vận hành bán hàng. Nền tảng Internet cho phép các tổ chức kinh doanh nhanh chóng thu thập và lưu trữ khối lượng lớn dữ liệu liên quan đến giao dịch, đơn đặt hàng, danh mục hàng hóa và thông tin người tiêu dùng. Mặc dù các công cụ trí tuệ nhân tạo ngày càng phát triển nhằm hỗ trợ dự báo và tối ưu hóa doanh thu, vai trò của chuyên viên phân tích dữ liệu vẫn giữ vị trí trọng tâm trong việc khai thác thông tin chuyên sâu và chuyển hóa các tập dữ liệu thô thành tri thức trực quan, dễ hiểu, phục vụ trực tiếp cho các nhà quản lý và nhà đầu tư.
Đồ án môn học "Biểu diễn trực quan dữ liệu kinh doanh của cửa hàng bán lẻ trực tuyến" do nhóm sinh viên Khoa Công nghệ thông tin kinh doanh, Trường Đại học Kinh tế TP. Hồ Chí Minh thực hiện dưới sự hướng dẫn của TS. Nguyễn An Tế, tập trung giải quyết các bài toán cốt lõi trong khai thác dữ liệu bán lẻ trực tuyến.
Nhiệm vụ và mục tiêu nghiên cứu của đề tài được xác định cụ thể như sau:
- Phân tích bộ dữ liệu bán hàng nhằm tìm ra các sản phẩm có khả năng thường xuyên được mua cùng nhau (bán theo gói/combo) trong cùng một hóa đơn và xác định chuỗi thời gian bán hàng tiềm năng nhất.
- Phân khúc khách hàng dựa trên vị trí địa lý và hành vi mua hàng nhằm hỗ trợ doanh nghiệp xây dựng các chiến lược quảng cáo, phát triển sản phẩm phù hợp theo từng khu vực, thúc đẩy bán chéo (cross-selling) và triển khai các chiến dịch tiếp thị theo mùa.
- Hình ảnh hóa (trực quan hóa) toàn bộ dữ liệu kinh doanh nhằm phục vụ việc so sánh trực quan, tính toán tỷ trọng, nhận diện xu hướng biến động (trend), phát hiện các điểm dữ liệu ngoại lai (outliers), cũng như đánh giá đặc điểm phân phối của các biến số kinh doanh.
Đối tượng và phạm vi nghiên cứu:
- Đối tượng nghiên cứu: Các giao dịch bán hàng trực tuyến và hành vi mua sắm của khách hàng thông qua tập dữ liệu bán lẻ.
- Phạm vi không gian: Hoạt động kinh doanh của một công ty bán lẻ trực tuyến có trụ sở tại Vương quốc Anh (United Kingdom) với mạng lưới khách hàng quốc tế.
- Phạm vi thời gian: Tập trung vào chuỗi giao dịch phát sinh từ ngày 12/01/2010 đến ngày 10/12/2011 (trong đó dữ liệu giao dịch chi tiết phân tích sâu giai đoạn từ 12/01/2010 đến 12/09/2011).
Cơ sở lý thuyết và phương pháp
Đề tài kết hợp giữa các nguyên lý thống kê mô tả, thống kê suy diễn, kỹ thuật giảm chiều dữ liệu và các thuật toán học máy nhằm khai thác triệt để các khía cạnh thông tin trong bộ dữ liệu bán lẻ.
Nguồn dữ liệu
Bộ dữ liệu được sử dụng trong nghiên cứu là "Online Retails Sale Dataset" được thu thập từ nền tảng Kaggle. Dữ liệu ghi nhận chi tiết các giao dịch bán lẻ trực tuyến của công ty có trụ sở tại Vương quốc Anh với tổng quy mô 541.909 dòng dữ liệu và 10 thuộc tính đặc trưng.
Công cụ và phương pháp nghiên cứu
Nghiên cứu sử dụng ngôn ngữ lập trình Python làm môi trường tính toán và xử lý dữ liệu. Các phương pháp chuyên sâu bao gồm:
- Khám phá và trực quan hóa dữ liệu (Exploratory Data Analysis - EDA): Sử dụng các dạng biểu đồ chuyên dụng như biểu đồ phân tán (Scatter plot), biểu đồ nhiệt (Heat map), biểu đồ hộp (Box plot), biểu đồ thanh (Bar chart), biểu đồ đường (Line chart), biểu đồ kết hợp và biểu đồ cây (Tree chart) để khảo sát đặc trưng phân phối, tương quan giữa các biến và phát hiện ngoại lai.
- Thuật toán FP-Growth: Thuật toán khai phá tập mục phổ biến được áp dụng để trích xuất các quy tắc kết hợp, tìm ra các mặt hàng thường xuyên xuất hiện cùng nhau trong một đơn hàng và xác định khoảng thời gian sản phẩm đạt lượng tiêu thụ cao nhất.
- Kiểm định Chi-Squared ($\chi^2$): Phương pháp kiểm định phi tham số dùng để kiểm tra tính độc lập giữa hai biến phân loại (categorical variables), xác định xem có tồn tại mối quan hệ có ý nghĩa thống kê giữa các thuộc tính định tính hay không.
- Phân tích phương sai ANOVA (Analysis of Variance): Kỹ thuật thống kê tham số được sử dụng để phân tích và so sánh sự khác biệt về giá trị trung bình của các biến phụ thuộc giữa hai hoặc nhiều nhóm đối tượng nghiên cứu.
- Kỹ thuật phân tích suy biến ma trận SVD (Singular Value Decomposition): Phương pháp giảm chiều dữ liệu dựa trên phép chiếu tuyến tính, tận dụng mối tương quan giữa các chiều không gian để thu gọn số chiều biểu diễn dữ liệu mà không làm mất mát quá nhiều thông tin hay gây sai số lớn.
- Phân cụm dữ liệu (Clustering): Phương pháp gom cụm nhằm phân khúc khách hàng theo yếu tố địa lý và hành vi tiêu dùng.
Nội dung chính theo từng chương
Chương I: Tổng Quan Đề Tài
Chương I thiết lập nền tảng nghiên cứu thông qua việc giới thiệu bối cảnh phát triển của thương mại điện tử và vai trò của việc phân tích dữ liệu đối với công tác quản trị kinh doanh. Tác giả trình bày rõ ràng 3 mục tiêu nghiên cứu trọng tâm, xác định hệ thống các phương pháp thực hiện (EDA, FP-Growth, Chi-Squared, ANOVA, SVD) và nêu rõ nguồn tài nguyên sử dụng bao gồm ngôn ngữ lập trình Python và bộ dữ liệu bán lẻ trực tuyến từ Kaggle.
Chương II: Tổng Quan Bộ Dữ Liệu
Chương này cung cấp cái nhìn chi tiết về cấu trúc của tập dữ liệu "Online Retails Sale Dataset". Dữ liệu gồm 541.909 bản ghi với 10 thuộc tính kinh doanh được mô tả chi tiết trong bảng sau:
| Tên thuộc tính |
Mô tả thuộc tính |
Ghi chú từ dữ liệu |
InvoiceNo |
Mã đơn hàng cho mỗi giao dịch thành công |
Bao gồm 25.900 mã đơn hàng khác nhau |
InvoiceDate |
Ngày đặt hàng |
Giao dịch từ ngày 12/01/2010 đến ngày 10/12/2011 |
InvoiceTime |
Thời gian đặt hàng |
Phụ thuộc vào vị trí địa lý của từng khách hàng |
StockCode |
Mã sản phẩm |
Bao gồm 4.070 mã sản phẩm khác nhau |
Description |
Mô tả chi tiết sản phẩm |
Bao gồm 4.224 mô tả (chứa cả các bản ghi về hàng lỗi, hư hỏng, trả về, thất lạc) |
Quantity |
Số lượng của mỗi sản phẩm bán ra |
Số lượng đơn vị hàng hóa trong một đơn hàng |
UnitPrice |
Giá bán cho mỗi đơn vị sản phẩm |
Mức giá đơn vị của từng loại mặt hàng |
Totalsale |
Doanh thu từ mỗi sản phẩm trong đơn hàng |
Được tính toán theo công thức: $\text{Totalsale} = \text{Quantity} \times \text{UnitPrice}$ |
CustomerID |
Mã định danh khách hàng |
Mã duy nhất được cấp cho từng khách hàng |
Country |
Quốc gia của khách đặt hàng |
Xác định căn cứ vào vị trí địa lý của khách hàng |
Chương III: Tiền Xử Lý Dữ Liệu
Nội dung chương III tập trung vào quy trình làm sạch và chuẩn hóa dữ liệu trước khi đưa vào mô hình:
- Khảo sát dữ liệu khuyết thiếu (Missing Values): Kiểm tra toàn bộ 541.909 dòng dữ liệu, phát hiện thuộc tính
CustomerID bị thiếu 135.080 giá trị (chiếm xấp xỉ 25% tổng số dòng của bộ dữ liệu). Nhóm tác giả ghi nhận và thiết lập quy trình xử lý giá trị thiếu cho các bước phân tích tiếp theo.
- Khám phá phân bố địa lý: Phân tích số lượng đơn hàng theo quốc gia cho thấy khách hàng tại Vương quốc Anh (United Kingdom) chiếm hơn 90% tổng số đơn hàng toàn cầu. Từ phát hiện này, nhóm định hướng gán nhãn thuộc tính
Country thành hai nhóm chính phục vụ phân cụm: United Kingdom và các quốc gia khác.
- Khảo sát tương quan và trực quan hóa ban đầu: Sử dụng biểu đồ phân tán (Scatter plot) và biểu đồ nhiệt (Heat map) để đánh giá mối liên kết giữa
Quantity với các biến Totalsale, UnitPrice, Country, CustomerID. Trong quá trình thực hiện, nhóm nhận diện lỗi khách quan khi biểu đồ bị hiện tượng "đen đặc" và dính tên cột do mật độ dữ liệu lớn; nhóm đã khắc phục bằng cách tái cấu trúc kích thước subplot từ ma trận $(6, 4)$ sang ma trận $(4, 3)$, giúp các nhãn hiển thị rõ ràng.
- Xử lý giá trị ngoại lai (Outliers): Sử dụng biểu đồ hộp (Box plot) để phân tích phân phối trước và sau xử lý ngoại lai đối với hai biến định lượng trọng yếu là
Totalsale và Quantity.
- Xử lý biến định tính: Tiến hành tiền xử lý và chuẩn hóa chuỗi ký tự đối với thuộc tính
Description.
Chương IV: Phân Tích Dữ Liệu
Chương IV trình bày hệ thống các kết quả phân tích trực quan về hiệu quả kinh doanh thông qua nhiều dạng biểu đồ chuyên biệt:
- Phân tích biến động theo thời gian: Đánh giá số lượng đơn đặt hàng theo mùa và theo từng tháng; so sánh tỷ lệ đặt hàng giữa năm 2010 và 2011 qua biểu đồ thanh.
- Phân tích diễn biến doanh thu: Khảo sát tổng doanh thu theo tháng của hai năm 2010 và 2011 qua biểu đồ đường; kết hợp biểu đồ thanh và biểu đồ đường để đối sánh đồng thời tổng doanh thu và tổng lượng hàng bán ra theo từng tháng trong năm 2011.
- Phân tích cơ cấu mặt hàng trọng điểm:
- Xác định Top 5 mặt hàng bán chạy nhất năm 2011 về số lượng thông qua biểu đồ thanh ngang.
- Phân tích biến động doanh thu của Top 5 mặt hàng bán chạy nhất năm 2011 theo các tháng chẵn qua biểu đồ đường.
- Phân tích doanh số bán hàng theo mùa của 4 mặt hàng tiêu biểu bằng biểu đồ thanh dọc.
- Phân loại nhóm hàng hóa: Sử dụng biểu đồ cây (Tree chart) để phân nhóm sản phẩm; phân tích và so sánh Top 5 loại hàng bán chạy nhất dựa trên 3 tiêu chí riêng biệt: tổng số lượng bán ra, tổng số đơn đặt hàng phát sinh, và tổng doanh thu mang lại.
Chương V: Machine Learning
Chương V triển khai các thuật toán học máy và khai phá mẫu:
- Ứng dụng thuật toán FP-Growth: Khai thác các tập mục dữ liệu phổ biến để nhận diện danh mục các sản phẩm thường xuyên được khách hàng đặt mua cùng nhau trong một hóa đơn (combo sản phẩm), đồng thời xác định các khung thời gian có lượng tiêu thụ cao nhất nhằm tối ưu hóa chiến lược định giá và đóng gói sản phẩm.
- Phân cụm khách hàng (Clustering): Gom nhóm dữ liệu khách hàng theo các chiều đặc trưng để xác định các phân khúc khách hàng tiềm năng.
Chương VI: Kiểm Định Và Giảm Chiều Dữ Liệu
Chương VI áp dụng các phương pháp thống kê nâng cao và kỹ thuật giảm chiều:
- Kiểm định giả thuyết thống kê: Sử dụng kiểm định Chi-Squared để đánh giá tính độc lập của các biến phân loại và phân tích phương sai ANOVA để kiểm tra sự khác biệt có ý nghĩa thống kê giữa các nhóm đối tượng nghiên cứu.
- Giảm chiều dữ liệu bằng SVD: Chiếu ma trận dữ liệu sang không gian chiều thấp hơn nhằm tối ưu hóa quá trình tính toán và trực quan hóa.
- Biểu diễn phân cụm nâng cao: Trực quan hóa kết quả phân cụm dựa trên mối quan hệ giữa biến quốc gia và hành vi khách hàng (
Country và Customer Behaviour) thông qua biểu đồ cặp (Paired plot) và biểu đồ phân tán (Scatter plot) sau khi đã giảm chiều dữ liệu.
Chương VI (tiếp theo): Kết Luận
Chương kết luận tổng hợp lại toàn bộ quá trình thực hiện đồ án, đánh giá mức độ hoàn thành so với các mục tiêu đã đề ra ban đầu và khẳng định giá trị thực tiễn của việc trực quan hóa dữ liệu trong quản trị bán lẻ trực tuyến.
Kết quả và đóng góp
Nghiên cứu đã đạt được các kết quả cụ thể dựa trên việc phân tích dữ liệu thực nghiệm:
- Xử lý và làm sạch thành công tập dữ liệu lớn với 541.909 dòng giao dịch; giải quyết hiện tượng khuyết thiếu 135.080 giá trị tại biến
CustomerID và xử lý triệt để ngoại lai trên các biến định lượng Totalsale, Quantity.
- Xác định được đặc điểm phân bố thị trường với hơn 90% lượng giao dịch tập trung tại Vương quốc Anh, tạo cơ sở phân chia nhóm địa lý (UK và non-UK) cho các bài toán phân tích hành vi tiếp theo.
- Xây dựng hệ thống trực quan hóa đa chiều bao gồm hơn 22 biểu đồ chuyên biệt, phản ánh toàn diện các chỉ số kinh doanh từ tổng quan doanh thu theo tháng/mùa, đối sánh tỷ lệ đơn hàng 2010-2011, cho đến phân tích chi tiết Top 5 mặt hàng/loại hàng bán chạy nhất theo số lượng, đơn hàng và doanh thu.
- Tối ưu hóa kỹ thuật hiển thị biểu đồ trong Python thông qua việc hiệu chỉnh kích thước ma trận subplot từ $(6, 4)$ sang $(4, 3)$, khắc phục lỗi dính nhãn và chồng lấp điểm dữ liệu.
- Ứng dụng thành công thuật toán FP-Growth trong việc phát hiện các combo sản phẩm bán kèm và áp dụng kỹ thuật SVD cùng các kiểm định Chi-Squared, ANOVA để phân khúc khách hàng theo hành vi và vị trí địa lý một cách khoa học.
Hạn chế và hướng nghiên cứu tiếp
- Hạn chế: Nhóm tác giả tự nhìn nhận báo cáo đồ án vẫn còn tồn tại một số điểm hạn chế và sai sót nhất định về mặt kiến thức chuyên sâu và kỹ thuật tối ưu hóa mô hình; quá trình xử lý trực quan ban đầu gặp trở ngại do dữ liệu quá lớn dẫn đến hiện tượng biểu đồ bị đen đặc trên trục tọa độ.
- Hướng phát triển: Tiếp tục cải thiện và tối ưu hóa các kỹ thuật xử lý dữ liệu, nâng cao độ chính xác của các mô hình phân cụm và mở rộng việc áp dụng các mô hình học máy nâng cao trong dự báo doanh thu thương mại điện tử.
Giá trị tham khảo
Đồ án là tài liệu tham khảo hữu ích cho sinh viên các ngành Công nghệ thông tin kinh doanh, Hệ thống thông tin quản lý, Khoa học dữ liệu và Phân tích kinh doanh (Business Analytics).
Nội dung đồ án mang lại giá trị thực hành cao ở các phần:
- Quy trình tiền xử lý dữ liệu giao dịch thực tế (xử lý dữ liệu thiếu quy mô lớn và khử nhiễu ngoại lai bằng Box plot).
- Phương pháp phối hợp linh hoạt giữa các kỹ thuật biểu diễn trực quan (Scatter plot, Heat map, Box plot, Tree chart, Paired plot) để truyền tải insight kinh doanh.
- Cách thức tích hợp các kiểm định thống kê cổ điển (Chi-Squared, ANOVA) với các thuật toán hiện đại (FP-Growth, SVD) trong cùng một bài toán phân tích kinh doanh.
Câu hỏi thường gặp
1. Bộ dữ liệu "Online Retails Sale Dataset" trong đồ án có quy mô và đặc điểm thời gian như thế nào?
Bộ dữ liệu gồm 541.909 dòng và 10 thuộc tính, ghi nhận các giao dịch bán lẻ trực tuyến của một công ty tại Vương quốc Anh phát sinh từ ngày 12/01/2010 đến ngày 10/12/2011 (trong đó khoảng thời gian phân tích chi tiết từ ngày 12/01/2010 đến 12/09/2011).
2. Tỷ lệ khuyết thiếu dữ liệu ở thuộc tính CustomerID là bao nhiêu và tác giả đã đưa ra định hướng phân nhóm địa lý ra sao?
Thuộc tính CustomerID bị khuyết 135.080 giá trị, chiếm xấp xỉ 25% tổng số dòng dữ liệu. Về mặt địa lý, do thị trường Vương quốc Anh chiếm trên 90% tổng số đơn hàng, nhóm nghiên cứu đã gán nhãn thuộc tính Country thành hai nhóm chính: United Kingdom và các quốc gia khác để phục vụ việc phân cụm.
3. Đồ án đã áp dụng những phương pháp thống kê và thuật toán học máy nào?
Đồ án sử dụng thuật toán FP-Growth để khai phá tập mục phổ biến tìm combo hàng hóa, áp dụng kiểm định Chi-Squared để kiểm tra tính độc lập giữa hai biến định loại, phân tích phương sai ANOVA để so sánh giá trị trung bình giữa các nhóm, và kỹ thuật phân tích suy biến ma trận SVD để giảm chiều dữ liệu.
4. Nhóm nghiên cứu đã xử lý sự cố kỹ thuật nào trong quá trình vẽ biểu đồ tương quan?
Do lượng dữ liệu quá lớn khiến trục tọa độ bị đen đặc và tên các cột ở trục tung bị dính vào nhau gây khó nhìn, nhóm tác giả đã điều chỉnh cấu hình ma trận subplot từ kích thước $(6, 4)$ thành $(4, 3)$, giúp các biểu đồ trở nên rõ ràng và dễ quan sát hơn.
5. Thuộc tính Totalsale được tính toán như thế nào và thuộc tính Description chứa những thông tin gì đặc biệt?
Biến Totalsale được tính toán theo công thức $\text{Totalsale} = \text{Quantity} \times \text{UnitPrice}$. Thuộc tính Description gồm 4.224 mô tả khác nhau, bao gồm cả các mô tả phản ánh tình trạng sản phẩm bị lỗi, hư hỏng, bị trả về hoặc thất lạc.
Kết luận
Đồ án môn học "Biểu diễn trực quan dữ liệu kinh doanh của cửa hàng bán lẻ trực tuyến" của nhóm sinh viên Trường Đại học Kinh tế TP. Hồ Chí Minh đã triển khai một quy trình phân tích và trực quan hóa dữ liệu toàn diện trên tập dữ liệu thương mại điện tử quy mô hơn 540.000 dòng. Báo cáo kết hợp chặt chẽ giữa các bước tiền xử lý, trực quan hóa khám phá (EDA), kiểm định thống kê (Chi-Squared, ANOVA), giảm chiều dữ liệu (SVD) và học máy (FP-Growth). Các kết quả phân tích cung cấp những góc nhìn trực quan rõ nét về xu hướng doanh thu, cơ cấu sản phẩm bán chạy và phân khúc khách hàng, tạo cơ sở khoa học hỗ trợ cho công tác ra quyết định kinh doanh bán lẻ.