Bối cảnh và vấn đề nghiên cứu

Trong kỷ nguyên chuyển đổi số, sự bùng nổ của công nghệ dữ liệu lớn (Big Data) đang làm thay đổi căn bản phương thức quản trị và vận hành của các doanh nghiệp. Lượng dữ liệu khổng lồ phát sinh liên tục từ các hoạt động thường nhật—từ các giao dịch bán lẻ, sử dụng thẻ tín dụng, liên lạc viễn thông đến kiểm tra sức khỏe—đã dẫn đến tình trạng "ngập lụt thông tin" đối với các nhà quản trị. Việc phân tích dữ liệu bằng các phương pháp thủ công truyền thống bộc lộ nhiều điểm hạn chế như tốn kém chi phí, thời gian xử lý kéo dài và dễ phát sinh sai sót. Để biến nguồn dữ liệu thô thành tri thức hữu ích phục vụ việc ra quyết định, các công nghệ tự động hóa như Học máy (Machine Learning) và Khai phá dữ liệu (Data Mining) đóng vai trò then chốt.

Đồ án môn học "Ứng dụng phần mềm Orange để thực hiện khai phá dữ liệu trong dịch vụ bán hàng tại siêu thị Lotte Mart" do nhóm sinh viên Lê Thị Ngọc Dung và Hoàng Nguyễn Ánh Vy (ngành Công nghệ Thông tin, Trường Đại học Tài chính – Marketing) thực hiện dưới sự hướng dẫn của ThS. Nguyễn Thị Trần Lộc vào tháng 04 năm 2023. Nghiên cứu tập trung giải quyết bài toán khai thác dữ liệu bán hàng tại siêu thị Lotte Mart nhằm phát hiện các mẫu hành vi tiêu dùng, quy luật kết hợp giữa các sản phẩm và phân nhóm khách hàng, từ đó hỗ trợ siêu thị xây dựng chiến lược kinh doanh và gợi ý sản phẩm phù hợp.

Mục tiêu và nhiệm vụ nghiên cứu được xác định cụ thể như sau:

  1. Ứng dụng phần mềm mã nguồn mở Orange để phân tích và khai thác dữ liệu bán hàng.
  2. Dự đoán và mô tả chính xác các xu hướng, quy luật tiềm ẩn trong dữ liệu khách hàng.
  3. Sử dụng các công cụ và thuật toán sẵn có trong Orange (Cây quyết định, Gom cụm, Luật kết hợp) để xử lý tập dữ liệu thực nghiệm.
  4. Tổng hợp, trình bày kết quả khai phá dữ liệu một cách trực quan, minh bạch nhằm hỗ trợ doanh nghiệp đưa ra các quyết định kinh doanh hiệu quả.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Quy trình khai phá dữ liệu bán hàng và các thuật toán học máy (Cây quyết định, K-means, Luật kết hợp) ứng dụng trên phần mềm Orange.
  • Không gian nghiên cứu: Dịch vụ bán hàng tại hệ thống siêu thị Lotte Mart (thuộc Tập đoàn Lotte Hàn Quốc, có mặt tại Việt Nam từ năm 2008 với chi nhánh Lotte Mart Nam Sài Gòn tại Quận 7, TP.HCM; tính đến tháng 02/2018 có 13 siêu thị tại Việt Nam và 294 siêu thị toàn cầu; trụ sở chính đặt tại Thành phố Thủ Dầu Một, tỉnh Bình Dương).
  • Thời gian nghiên cứu: Dữ liệu và nghiên cứu được triển khai, hoàn thành trong tháng 04 năm 2023.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và các mô hình tác giả sử dụng trong đồ án bao gồm:

  • Khai phá dữ liệu (Data Mining) và Trí tuệ doanh nghiệp (Business Intelligence - BI): Quá trình trích xuất các mẫu thông tin tiềm ẩn, có giá trị từ các tập dữ liệu lớn. Vai trò trong kinh doanh gồm: nhận diện hành vi khách hàng, phân tích thị trường, nâng cao hiệu quả vận hành, dự đoán xu hướng, đánh giá rủi ro và cá nhân hóa trải nghiệm mua sắm.
  • Quy trình khai phá dữ liệu chuẩn: Gồm 7 bước: (1) Xác định vấn đề, (2) Thu thập dữ liệu, (3) Khám phá dữ liệu, (4) Chuẩn bị dữ liệu, (5) Lập mô hình dữ liệu, (6) Đánh giá mô hình, (7) Triển khai, theo dõi và duy trì mô hình.
  • Kiến trúc luồng dữ liệu trong Kho dữ liệu (Data Warehouse): Phân tích 3 mô hình kiến trúc gồm:
    • Kiến trúc một tầng: Kho dữ liệu ảo, giảm thiểu dữ liệu lưu trữ nhưng không tách biệt giữa xử lý phân tích và giao dịch.
    • Kiến trúc hai tầng: Tách biệt lớp nguồn (Source), giai đoạn trích xuất - chuyển đổi - nạp (ETL), lớp kho dữ liệu trung tâm/Data Marts, và lớp phân tích (Analysis).
    • Kiến trúc ba tầng: Bổ sung lớp đối chiếu (Reconciliation layer) nằm giữa lớp nguồn và kho dữ liệu nhằm chuẩn hóa mô hình dữ liệu tham chiếu cho toàn doanh nghiệp.
  • Các phương pháp khai phá dữ liệu chính:
    • Phương pháp phân lớp (Classification): Kỹ thuật học có giám sát; mô hình được sử dụng là Cây quyết định (Decision Tree) giúp trực quan hóa các quy tắc suy luận rẽ nhánh để phân loại hoặc dự báo.
    • Phương pháp gom cụm (Clustering): Kỹ thuật học không giám sát; thuật toán K-means được sử dụng để nhóm các điểm dữ liệu tương đồng mà không cần nhãn định trước.
    • Phương pháp luật kết hợp (Association Rule Mining): Thuật toán Apriori dùng để tìm các tập mục phổ biến (Frequent Itemsets) và tạo quy tắc dạng "Nếu X thì Y", đánh giá qua hai chỉ số độ hỗ trợ (Support) và độ tin cậy (Confidence).

Phương pháp nghiên cứu thực tế và công cụ:

  • Công cụ khai phá: Phần mềm mã nguồn mở Orange (do Đại học Ljubljana, Slovenia phát triển), chạy trên nền tảng môi trường Anaconda/Python với giao diện lập trình trực quan (visual programming) qua các widget kéo thả.
  • Công cụ tiền xử lý: Sử dụng Microsoft Excel để làm sạch dữ liệu thô (xóa dòng trống, ký tự đặc biệt, lọc trùng mã hóa đơn, gộp các sản phẩm có cùng mã hóa đơn về một dòng) trước khi nạp vào Orange.
  • Nguồn dữ liệu: Các tập dữ liệu mẫu giao dịch bán hàng được chuẩn bị thành các bảng dữ liệu dạng tệp tính bảng (Excel/CSV) tương ứng với từng bài toán: Bộ dữ liệu 1 (cho Cây quyết định và Gom cụm) và Bộ dữ liệu 2 (cho Luật kết hợp).

Nội dung chính theo từng chương

Dẫn nhập: Kế hoạch và phân công thực hiện đồ án

Phần dẫn nhập xác định tính cấp thiết của việc áp dụng Machine Learning trong xử lý dữ liệu lớn thương mại, giới thiệu các tính năng tổng quan của phần mềm Orange và phân chia trách nhiệm giữa hai thành viên trong nhóm nghiên cứu.

Thành viên thực hiện Nội dung công việc đảm nhận
Lê Thị Ngọc Dung Tìm kiếm tài liệu, tìm hiểu công cụ Orange; định dạng báo cáo; thực hiện thuật toán luật kết hợp; góp ý xây dựng thuật toán gom cụm và cây ra quyết định.
Hoàng Nguyễn Ánh Vy Tìm kiếm tài liệu, tìm hiểu công cụ Orange; thực hiện thuật toán cây ra quyết định; thực hiện thuật toán gom cụm; góp ý xây dựng thuật toán luật kết hợp.

Kế hoạch triển khai được thiết lập qua 8 giai đoạn từ chọn đề tài, khảo sát phần mềm, tìm hiểu thuật toán, thu thập dữ liệu mẫu, tiền xử lý dữ liệu thô, chạy thử nghiệm thuật toán và tổng hợp báo cáo.

Chương 1: Tổng quan đề tài

Chương này làm rõ lý do hình thành đồ án, khẳng định khai phá dữ liệu là công cụ cung cấp góc nhìn toàn diện 360 độ về khách hàng, giúp Lotte Mart giữ chân khách hàng hiện hữu và tối ưu hóa chi phí vận hành. Nội dung chương trình bày lịch sử hình thành và cơ cấu của Tập đoàn Lotte (hoạt động trên 6 lĩnh vực: Thực phẩm, Bán lẻ, Du lịch/Dịch vụ, Hóa chất/Xây dựng/Sản xuất, Tài chính, Nghiên cứu phát triển) cùng quá trình phát triển của Lotte Mart tại thị trường Việt Nam từ năm 2008 đến nay.

Chương 2: Cơ sở lý thuyết

Chương 2 cung cấp hệ thống lý thuyết nền tảng về Data Mining, Data Warehouse và Business Intelligence, đồng thời phân tích chi tiết cấu trúc phần mềm Orange. Báo cáo phân loại và mô tả các nhóm widget chức năng chính trong Orange:

  • Data: File, Save Data, Datasets, Feature, Edit Domain (quản lý, nhập/xuất và định nghĩa thuộc tính dữ liệu).
  • Transform: Select Columns, Select Rows, Merge Data, Pivot Table, Data Sample, Preprocess, Discretize, Continuize (biến đổi, lọc, chuẩn hóa dữ liệu).
  • Visualize: Scatter Plot, Box Plot, Heat Map, Line Plot, Distributions, Tree Viewer (trực quan hóa phân phối và mối quan hệ giữa các biến).
  • Model: Tree, Random Forests, Support Vector Machines (SVM), Neural Networks, k-Nearest Neighbor (k-NN), Linear Regression, Naive Bayes (huấn luyện mô hình học máy).
  • Evaluate: Confusion Matrix, Calibration Plot, Test and Score, Predictions, ROC Analysis, Performance Curve (đánh giá hiệu năng mô hình).
  • Unsupervised: Principal Component Analysis (PCA), K-Means Clustering, Hierarchical Clustering, Distances, Distance Matrix, Correlations (phân tích không giám sát).
  • Associate: Frequent Itemsets, Association Rules (khai phá tập phổ biến và quy tắc kết hợp bằng thuật toán Apriori).

Chương này cũng hướng dẫn quy trình cài đặt phần mềm Orange thông qua bộ phân phối Anaconda Distribution trên hệ điều hành Windows.

Chương 3: Ứng dụng phần mềm Orange

Chương 3 là phần thực nghiệm trọng tâm, triển khai 3 bài toán khai phá dữ liệu trên dữ liệu bán hàng:

Bài toán khai phá Các bước tiền xử lý Luồng widget trên Orange Kết quả thực nghiệm chính
1. Thuật toán Cây ra quyết định (Tree Viewer) Sử dụng widget Select Columns để loại bỏ các cột không liên quan hoặc gây nhiễu đến yếu tố ra quyết định mua hàng. File $\rightarrow$ Select Columns $\rightarrow$ Tree $\rightarrow$ Tree Viewer. Xây dựng cây phân cấp điều kiện; xác định các thuộc tính có ảnh hưởng lớn nhất đến quyết định mua hàng của khách hàng; cho phép điều chỉnh các tham số độ sâu của cây để tối ưu cấu trúc rẽ nhánh.
2. Thuật toán Phân cụm (K-means / Scatter Plot) Lọc bỏ các cột dữ liệu không tham gia vào quá trình gom nhóm; chuẩn hóa dữ liệu đầu vào. File $\rightarrow$ Select Columns $\rightarrow$ K-means $\rightarrow$ Scatter Plot (kết hợp tính năng "Find Informative Projections"). Phân chia tập dữ liệu khách hàng thành các cụm (cluster) riêng biệt dựa trên độ tương đồng; biểu đồ Scatter Plot hiển thị rõ ranh giới các cụm, giúp nhận diện đặc trưng tiêu dùng của từng nhóm khách hàng mục tiêu.
3. Thuật toán Luật kết hợp (Association Rules) Tiền xử lý trên Excel: loại bỏ ô trống, xóa ký tự đặc biệt, lọc mã hóa đơn trùng, đưa toàn bộ mặt hàng trong cùng 1 hóa đơn về cùng 1 dòng dữ liệu. File / Datasets $\rightarrow$ Data Table $\rightarrow$ Frequent Itemsets $\rightarrow$ Association Rules. Trích xuất các tập sản phẩm phổ biến và danh sách các luật kết hợp theo dạng "Nếu mua sản phẩm X thì sẽ mua kèm sản phẩm Y"; kiểm thử với các trường hợp đầu vào có số lượng bằng 1 và số lượng bằng 3.

Chương 4: Kết luận

Chương cuối tổng kết các kết quả đạt được, chỉ ra các điểm nghẽn kỹ thuật và đề xuất định hướng phát triển đồ án trong tương lai.

Kết quả và đóng góp

Kết quả thực nghiệm chính:

  • Làm sạch và cấu trúc hóa dữ liệu bán hàng: Hoàn thiện quy trình tiền xử lý dữ liệu giao dịch bán lẻ từ dạng thô chưa chuẩn hóa thành các bảng dữ liệu có cấu trúc phù hợp cho từng thuật toán học máy cụ thể trên môi trường Excel và Orange.
  • Xây dựng thành công 3 mô hình khai phá dữ liệu trực quan:
    • Mô hình Cây quyết định hỗ trợ phân loại và dự đoán xu hướng lựa chọn mặt hàng của khách hàng theo các điều kiện thuộc tính đầu vào.
    • Mô hình Gom cụm K-means phân đoạn thành công tập khách hàng/mặt hàng thành các nhóm có cùng hành vi mua sắm thông qua biểu đồ phân tán Scatter Plot.
    • Mô hình Luật kết hợp (Apriori) phát hiện các mẫu sản phẩm thường xuyên được mua cùng nhau trong một giao dịch.
  • Giải pháp và kiến nghị ứng dụng cho Lotte Mart:
    • Sắp xếp gian hàng và quầy kệ: Bố trí các sản phẩm có mối liên kết cao (như các mặt hàng thường xuyên xuất hiện cùng nhau trong luật kết hợp) tại các vị trí gần nhau trong siêu thị để kích thích nhu cầu mua sắm.
    • Xây dựng chương trình khuyến mãi chéo (Cross-selling): Thiết kế các gói combo sản phẩm đi kèm với chính sách giảm giá đồng thời nhằm gia tăng giá trị giỏ hàng của người tiêu dùng.
    • Cá nhân hóa tiếp thị: Dựa trên kết quả phân cụm để triển khai các chiến dịch tiếp thị hướng đúng đến từng phân khúc khách hàng mục tiêu.

Đóng góp của đồ án:

  • Minh chứng tính khả thi và hiệu quả của việc ứng dụng phần mềm mã nguồn mở Orange trong phân tích dữ liệu bán lẻ mà không đòi hỏi kỹ năng lập trình phức tạp.
  • Cung cấp tài liệu hướng dẫn từng bước từ cài đặt Anaconda, cấu hình Orange đến quy trình nối các widget phân tích dữ liệu kinh doanh.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được tác giả chỉ ra trong văn bản:

  • Phần mềm Orange có hạn chế về khả năng xử lý dữ liệu quy mô lớn (Big Data); phần mềm được thiết kế tối ưu cho tập dữ liệu vừa và nhỏ, có hiện tượng phản hồi chậm hoặc quá tải khi nạp các tập dữ liệu có kích thước quá lớn.
  • Mức độ tùy chỉnh các mô-đun phân tích và độ phức tạp của thuật toán trong Orange còn hạn chế so với việc lập trình thuần bằng mã nguồn.
  • Bản phân phối Orange trong nghiên cứu chủ yếu hỗ trợ môi trường Python 2.7 trong khi Python 3.x đã là chuẩn phổ biến.
  • Giao diện đồ họa của một số widget còn gây khó khăn nhất định cho người mới bắt đầu làm quen.

Hướng nghiên cứu tiếp theo:

  • Mở rộng quy mô tập dữ liệu giao dịch thực tế với thời gian khảo sát dài hơn và số lượng mặt hàng đa dạng hơn.
  • Kết hợp thử nghiệm thêm các thuật toán phân lớp và dự báo nâng cao có sẵn trong Orange (như Random Forest, Support Vector Machines, Neural Networks) để so sánh độ chính xác.
  • Nghiên cứu tích hợp quy trình khai phá dữ liệu tự động vào hệ thống phần mềm quản lý bán hàng thực tế tại doanh nghiệp.

Giá trị tham khảo

Đồ án là tài liệu tham khảo hữu ích cho:

  • Sinh viên ngành Công nghệ thông tin, Hệ thống thông tin quản lý và Khoa học dữ liệu: Tham khảo phương pháp xây dựng đồ án môn học Khai phá dữ liệu, cách kết nối các luồng widget trên phần mềm Orange và kỹ thuật tiền xử lý dữ liệu giao dịch bán lẻ.
  • Sinh viên khối ngành Kinh tế, Quản trị kinh doanh, Marketing: Tham khảo cách ứng dụng công cụ trực quan không cần viết mã (no-code/low-code) để phân tích hành vi khách hàng, phân khúc thị trường và khai thác luật kết hợp sản phẩm.
  • Phần đáng tham khảo nhất: Quy trình xử lý dữ liệu hóa đơn nhiều sản phẩm về một dòng trong Excel tại [Chương 3] và tài liệu chi tiết về chức năng của từng nhóm widget (Data, Transform, Visualize, Model, Evaluate, Unsupervised, Associate) tại [Chương 2].

Câu hỏi thường gặp

1. Đồ án sử dụng phần mềm và thuật toán nào để khai phá dữ liệu bán hàng tại Lotte Mart?
Đồ án sử dụng phần mềm mã nguồn mở Orange (chạy qua môi trường Anaconda) và triển khai 3 nhóm thuật toán chính: Thuật toán Cây ra quyết định (Decision Tree / Tree Viewer) cho bài toán phân lớp, thuật toán K-means (kết hợp Scatter Plot) cho bài toán gom cụm, và thuật toán Apriori (Frequent Itemsets, Association Rules) cho bài toán khai phá luật kết hợp.

2. Tập đoàn Lotte và hệ thống siêu thị Lotte Mart có quy mô và lĩnh vực hoạt động như thế nào theo văn bản?
Tập đoàn Lotte hoạt động trên 6 lĩnh vực (Thực phẩm, Bán lẻ, Du lịch/Dịch vụ, Hóa chất/Xây dựng/Sản xuất, Tài chính, Nghiên cứu phát triển). Siêu thị Lotte Mart đầu tiên thành lập năm 1998 tại Guui-Dong, Seoul. Tại Việt Nam, Lotte Mart xuất hiện từ năm 2008 (chi nhánh Nam Sài Gòn, Q.7). Tính đến tháng 02/2018, Lotte Mart có 294 siêu thị toàn cầu (123 tại Hàn Quốc, 112 tại Trung Quốc, 46 tại Indonesia, 13 tại Việt Nam) và phục vụ hơn 20 triệu lượt khách mỗi năm.

3. Quy trình tiền xử lý dữ liệu cho thuật toán luật kết hợp (Association Rules) trong đồ án được thực hiện như thế nào?
Dữ liệu thô ban đầu được tiền xử lý trong Microsoft Excel bằng cách: loại bỏ các ô trống và ký tự đặc biệt, lọc các mã hóa đơn trùng lặp, và tổng hợp đưa các sản phẩm thuộc cùng một mã hóa đơn về nằm trên cùng một dòng trước khi nạp vào widget File/Datasets của Orange để tìm tập phổ biến.

4. Kiến trúc kho dữ liệu được tác giả phân tích gồm những mô hình nào?
Tác giả phân tích 3 mô hình kiến trúc luồng dữ liệu: Kiến trúc một tầng (kho dữ liệu ảo, không tách biệt xử lý phân tích và giao dịch), Kiến trúc hai tầng (gồm lớp nguồn, lớp ETL trung gian, lớp kho dữ liệu/Data Marts và lớp phân tích), và Kiến trúc ba tầng (bổ sung thêm lớp đối chiếu nằm giữa dữ liệu nguồn và kho dữ liệu để chuẩn hóa dữ liệu toàn doanh nghiệp).

5. Nhóm nghiên cứu đề xuất giải pháp thực tiễn nào cho siêu thị Lotte Mart từ kết quả khai phá dữ liệu?
Từ kết quả của luật kết hợp và phân cụm, nhóm đề xuất siêu thị sắp xếp các sản phẩm thường được mua cùng nhau ở các gian hàng liền kề, triển khai các gói giảm giá combo sản phẩm kèm theo (như sữa kèm tã sơ sinh, đồ ăn cay kèm nước giải khát) và cá nhân hóa các chương trình tiếp thị theo từng phân khúc khách hàng.

Kết luận

Đồ án môn học của nhóm tác giả Lê Thị Ngọc Dung và Hoàng Nguyễn Ánh Vy đã hệ thống hóa cơ sở lý thuyết về kho dữ liệu, Business Intelligence và các kỹ thuật khai phá dữ liệu phổ biến. Thông qua việc ứng dụng công cụ trực quan Orange, đồ án đã thực nghiệm thành công ba bài toán phân lớp, gom cụm và tìm luật kết hợp trên tập dữ liệu bán hàng tại siêu thị Lotte Mart. Kết quả nghiên cứu cung cấp các căn cứ thực tế để doanh nghiệp tối ưu hóa việc trưng bày hàng hóa và triển khai các chiến lược bán chéo sản phẩm nhằm nâng cao hiệu quả kinh doanh.