Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh công nghệ thông tin phát triển và được ứng dụng sâu rộng vào mọi lĩnh vực kinh tế - xã hội, khối lượng dữ liệu được các tổ chức, doanh nghiệp thu thập và lưu trữ đang gia tăng nhanh chóng. Khối lượng thông tin lưu trữ kỹ thuật số ước tính tăng gấp đôi sau mỗi ba năm. Tuy nhiên, phần lớn nguồn dữ liệu này chưa được khai thác hiệu quả; doanh nghiệp thu thập dữ liệu lớn nhưng thiếu phương pháp phân tích để chuyển hóa thành tri thức phục vụ quản trị và ra quyết định kinh doanh. Trong môi trường cạnh tranh hiện đại, yêu cầu xử lý dữ liệu quy mô lớn với tốc độ cao để trả lời các bài toán kinh doanh trở nên cấp thiết.

Khóa luận tốt nghiệp của tác giả Phạm Hồng Ánh (Khoa Kinh tế số, Học viện Chính sách và Phát triển) tập trung vào việc nghiên cứu và thực nghiệm kỹ thuật khai phá luật kết hợp (Association Rule Mining) – một nhánh quan trọng của khai phá dữ liệu – thông qua phần mềm mã nguồn mở Weka. Đề tài nhằm giải quyết bài toán phát hiện các mối quan hệ tiềm ẩn giữa các mặt hàng trong cơ sở dữ liệu giao dịch bán lẻ.

Nhiệm vụ và mục tiêu nghiên cứu được xác định cụ thể như sau:

  1. Mục tiêu chung:
    • Hệ thống hóa cơ sở lý thuyết tổng quan về khai phá dữ liệu (Data Mining).
    • Nghiên cứu bản chất, nguyên lý hoạt động và các thuật toán tiêu biểu của kỹ thuật khai phá luật kết hợp.
  2. Mục tiêu cụ thể:
    • Thực nghiệm ứng dụng khai phá luật kết hợp trong phân tích hành vi mua sắm của khách hàng bằng phần mềm Weka.
    • Sử dụng hai thuật toán nền tảng là Apriori và FP-Growth để phát hiện các quy luật kết hợp giỏ hàng, từ đó đánh giá và đề xuất giải pháp ứng dụng vào hoạt động kinh doanh.
  • Đối tượng nghiên cứu: Kỹ thuật khai phá luật kết hợp và phần mềm khai phá dữ liệu Weka.
  • Phạm vi nghiên cứu: Tập dữ liệu giao dịch thương mại supermarket có sẵn trong môi trường cài đặt của phần mềm Weka.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình nghiên cứu

Khóa luận tiếp cận khai phá dữ liệu dưới góc độ là giai đoạn cốt lõi trong quy trình khám phá tri thức từ cơ sở dữ liệu (Knowledge Discovery in Databases - KDD). Quy trình này được chuẩn hóa thành 6 bước tuần tự:

  1. Xác định mục tiêu bài toán.
  2. Thu thập dữ liệu từ các nguồn tệp tin, cơ sở dữ liệu hoặc hệ thống web.
  3. Tiền xử lý dữ liệu (làm sạch nhiễu, xử lý dữ liệu thiếu, chuẩn hóa định dạng).
  4. Lựa chọn và áp dụng các phương pháp khai phá dữ liệu thích hợp.
  5. Đánh giá và lựa chọn mô hình tối ưu.
  6. Triển khai, giám sát và kiểm tra lại mô hình trong thực tế.

Trong bức tranh tổng thể của khai phá dữ liệu, tác giả tổng hợp bốn nhóm kỹ thuật chính:

  • Phân lớp (Classification): Dự đoán nhãn danh mục thông qua Cây quyết định (Decision Tree), Naïve Bayes, K-Láng giềng (KNN), Máy vector hỗ trợ (SVM) và Hồi quy Logistic.
  • Phân cụm (Clustering): Gom nhóm dữ liệu dựa trên độ tương đồng bằng các thuật toán như k-means, phân cụm phân cấp (Hierarchical Clustering), DBSCAN.
  • Hồi quy (Regression): Xây dựng mô hình toán học $y \approx f(x)$ để dự báo biến đầu ra liên tục qua hồi quy tuyến tính, hồi quy phi tuyến, spline, loess.
  • Khai phá luật kết hợp (Association Rule Mining): Phát hiện các mối quan hệ đồng xuất hiện giữa các tập mục dữ liệu dựa trên mô hình nhị phân ban đầu do R. Swami đề xuất năm 1993.

Các tham số đo lường cơ bản của luật kết hợp $A \rightarrow B$ bao gồm:

  • Độ hỗ trợ (Support): Tỷ lệ phần trăm các giao dịch chứa đồng thời cả tập mục $A$ và $B$ trên tổng số giao dịch. Ngưỡng hỗ trợ tối thiểu ký hiệu là minsup.
  • Độ tin cậy (Confidence): Tỷ lệ phần trăm các giao dịch chứa tập mục $B$ trong tổng số các giao dịch đã có tập mục $A$. Ngưỡng tin cậy tối thiểu ký hiệu là minconf.
  • Luật kết hợp mạnh (Strong Association Rule): Luật thỏa mãn đồng thời cả hai ngưỡng minsup và minconf do người phân tích chỉ định.

Phương pháp nghiên cứu và thuật toán thực tế

Đề tài sử dụng phương pháp nghiên cứu thực nghiệm trên máy tính, so sánh hai cơ chế sinh luật:

  • Thuật toán Apriori (R. Srikant, 1993): Tiếp cận theo phương pháp sinh tập mục ứng viên (candidate generation). Thuật toán hoạt động dựa trên nguyên lý: Mọi tập con của một tập mục phổ biến đều phải là tập mục phổ biến; nếu một tập con không phổ biến thì mọi tập cha của nó cũng không phổ biến. Thuật toán tiến hành các vòng lặp kết nối (join) và tỉa nhánh (prune), yêu cầu quét cơ sở dữ liệu nhiều lần.
  • Thuật toán FP-Growth (J. Mao / J. Han): Khắc phục nhược điểm chi phí tính toán của Apriori bằng cách nén toàn bộ cơ sở dữ liệu giao dịch vào một cấu trúc cây tiền tố gọi là FP-tree (Frequent Pattern Tree). Thuật toán phân chia cơ sở dữ liệu thành các cơ sở mẫu điều kiện và khai phá đệ quy mà không cần sinh tập ứng viên, chỉ cần quét cơ sở dữ liệu 2 lần.
Tiêu chí so sánh Thuật toán Apriori Thuật toán FP-Growth
Cơ chế hoạt động Sinh tập mục ứng viên và kiểm tra độ hỗ trợ qua từng bước $k$-itemset Nén dữ liệu vào cây FP-tree và khai phá phát triển mẫu đệ quy
Số lần quét cơ sở dữ liệu Quét nhiều lần (tương ứng với độ dài tập mục lớn nhất) Quét cơ sở dữ liệu cố định 2 lần
Chi phí bộ nhớ và thời gian Tốn kém tài nguyên khi dữ liệu lớn hoặc ngưỡng hỗ trợ thấp Tối ưu thời gian và bộ nhớ, không phát sinh ứng viên trung gian
Môi trường phù hợp Cơ sở dữ liệu thưa Phù hợp cho cả cơ sở dữ liệu có mật độ thưa và mật độ dày

Nguồn dữ liệu

Nghiên cứu sử dụng tập dữ liệu thực nghiệm supermarket.arff được cung cấp sẵn trong gói cài đặt chuẩn của phần mềm Weka (phiên bản 3.8.6). Dữ liệu phản ánh các giao dịch mua sắm tại một siêu thị bán lẻ, bao gồm 4.627 bản ghi giao dịch (instances) và 217 trường thuộc tính (attributes) mô tả các nhóm gian hàng và 105 mặt hàng cụ thể.

Nội dung chính theo từng chương

Chương 1: Tổng quan về khai phá dữ liệu và khai phá luật kết hợp trong kinh doanh

Chương 1 trình bày hệ thống lý luận về khai phá dữ liệu và bài toán phân tích giỏ hàng trong kinh doanh. Tác giả phân tích các khó khăn thường gặp trong khai phá dữ liệu gồm: dữ liệu thiếu, dữ liệu nhiễu, dữ liệu kích thước lớn, mất cân bằng phân phối lớp, yêu cầu bảo vệ quyền riêng tư và chi phí tài nguyên tính toán. Bên cạnh Weka, chương này điểm qua các công cụ khai phá phổ biến như RapidMiner, KNIME, Apache Mahout, Oracle Data Mining, Teradata và Orange.

Để làm rõ phương pháp tính toán luật kết hợp, tác giả đưa ra ví dụ minh họa với cơ sở dữ liệu gồm 4 giao dịch trên tập mục $I = {\text{Bánh mì, Bơ, Sữa, Trứng}}$:

STT Luật kết hợp ($A \rightarrow B$) Độ tin cậy tính toán (%) Đánh giá với ngưỡng $\text{minconf} \ge 60%$
1 Bánh mì $\rightarrow$ Bơ 100% Thỏa mãn (Luật mạnh)
2 Bơ $\rightarrow$ Bánh mì 50% Loại (Không thỏa mãn)
3 Bơ $\rightarrow$ Trứng 50% Loại (Không thỏa mãn)
4 Trứng $\rightarrow$ Bơ 100% Thỏa mãn (Luật mạnh)

Ví dụ chứng minh rằng quan hệ giữa các mặt hàng mang tính định hướng có điều kiện: việc khách hàng mua bánh mì hoặc trứng dẫn đến xác suất cao sẽ mua bơ (độ tin cậy 100%), nhưng chiều ngược lại từ bơ sang bánh mì hoặc trứng chỉ đạt 50% nên bị loại bỏ. Chương 1 cũng hệ thống hóa các hướng mở rộng của luật kết hợp: luật kết hợp nhị phân, luật kết hợp thuộc tính số và hạng mục (thông qua kỹ thuật rời rạc hóa), và luật kết hợp đánh trọng số nhằm tìm kiếm các luật hiếm có ý nghĩa kinh tế cao.

Chương 2: Khai phá luật kết hợp trong kinh doanh với phần mềm Weka

Chương 2 là phần thực nghiệm trọng tâm của khóa luận. Tác giả giới thiệu tổng quan về Weka (Waikato Environment for Knowledge Analysis) do Đại học Waikato (New Zealand) phát triển từ năm 1993, viết lại bằng Java năm 1997, từng nhận giải thưởng SIGKDD Service Award năm 2005. Weka sở hữu hơn 600 lớp thuật toán phân bố trong 10 gói chức năng, hỗ trợ các định dạng dữ liệu như ARFF, CSV (.data) và XRFF.

Cấu trúc menu của Weka gồm 5 môi trường:

  1. Explorer: Môi trường khảo sát tương tác dữ liệu với các phân hệ Preprocess, Classify, Cluster, Associate, Select attributes, Visualize.
  2. Experimenter: Môi trường thiết lập và so sánh hiệu năng các mô hình học máy.
  3. Knowledge Flow: Giao diện trực quan dạng kéo - thả hỗ trợ xử lý dữ liệu và học tăng dần (incremental learning).
  4. Workbench: Ứng dụng tích hợp tất cả các thành phần chức năng.
  5. Simple CLI: Giao diện dòng lệnh trực tiếp.

Tiến trình thực nghiệm trên bộ dữ liệu supermarket (4.627 giao dịch) được triển khai qua các bước:

Bước 1: Khám phá và thống kê tần suất bán chạy của sản phẩm
Khảo sát trường dữ liệu xác định có 105 mặt hàng. Tác giả tổng hợp số lượng giao dịch của nhóm sản phẩm có sản lượng tiêu thụ lớn nhất:

Tên mặt hàng (Item) Số lượng giao dịch xuất hiện (Instances)
Bread and Cake (Bánh mì và bánh ngọt) 3.330
Fruit (Hoa quả) 2.962
Vegetables (Rau củ) 2.961
Milk cream (Sữa và kem) 2.939
Baking needs (Đồ làm bánh) 2.795
Frozen Foods (Thực phẩm đông lạnh) 2.717
Biscuits (Bánh quy) 2.605
Juice sat cord (Nước ép) 2.463

Bước 2: Tiền xử lý dữ liệu (Preprocess)
Dữ liệu gốc chứa cả thông tin các gian hàng (department). Vì mục tiêu nghiên cứu là tìm sự kết hợp giữa các mặt hàng cụ thể trong giỏ hàng, tác giả sử dụng bộ lọc Remove trong tab Preprocess để loại bỏ các thuộc tính gian hàng, nâng cao độ chính xác cho việc sinh luật.

Bước 3: Thực thi thuật toán và phát hiện luật kết hợp (Associate)

  • Áp dụng thuật toán Apriori: Thiết lập tham số độ hỗ trợ tối thiểu $\text{minSupport} = 0.4$ (40%), độ đo tin cậy tối thiểu $\text{minMetric (confidence)} = 0.7$ (70%), số lượng luật cần tìm $\text{numRules} = 50$.
  • Kết quả: Hệ thống sinh ra 10 luật kết hợp mạnh thỏa mãn tiêu chí với độ tin cậy sắp xếp giảm dần từ 0,8 xuống 0,7.
  • Một số luật tiêu biểu được trích xuất:
    • Luật 1: Khách hàng mua biscuits (2.605 lượt) thì có 2.083 lượt mua kèm bread and cake (độ tin cậy đạt xấp xỉ 80%).
    • Luật 3: Khách hàng mua fruit có xu hướng cao mua kèm bread and cake.
    • Luật 8 và Luật 9: Mối liên kết hai chiều chặt chẽ giữa fruit và vegetables (mua hoa quả kèm rau củ và ngược lại).
    • Thống kê chung: Trong 10 luật mạnh tìm được, có tới 8 luật có sự xuất hiện của mặt hàng bread and cake kết hợp cùng các nhóm thực phẩm khác.
  • Áp dụng thuật toán FP-Growth: Tác giả cấu hình thuật toán trên cùng tập dữ liệu để kiểm chứng tính ưu việt về tốc độ nén dữ liệu và hạn chế việc sinh ứng viên trung gian trên cây FP-tree đối với các cơ sở dữ liệu mật độ dày.

Chương 3: Đánh giá và đề xuất ứng dụng

Chương 3 tổng kết các phát hiện thực nghiệm và đưa ra khuyến nghị quản trị cho các doanh nghiệp bán lẻ:

  • Bố trí không gian bán hàng: Sắp xếp các nhóm hàng có luật kết hợp mạnh (như fruit cạnh vegetables, hoặc đặt biscuits tại các lối đi dẫn tới quầy bread and cake) để kích thích hành vi mua sắm chéo của người tiêu dùng.
  • Xây dựng chương trình tiếp thị và khuyến mại: Thiết kế các gói combo giảm giá kết hợp sản phẩm chủ lực (bread and cake) với các sản phẩm kèm theo nhằm gia tăng giá trị đơn hàng trung bình.
  • Quản lý chuỗi cung ứng và kho vận: Tối ưu hóa kế hoạch dự trữ hàng tồn kho đồng bộ; khi nhu cầu tiêu thụ mặt hàng hoa quả tăng, siêu thị cần chuẩn bị lượng hàng dự phòng tương ứng cho rau củ và bánh ngọt để tránh đứt gãy nguồn cung.

Kết quả và đóng góp

Kết quả nghiên cứu chính

  • Định lượng hành vi mua sắm: Trong tổng số 4.627 giao dịch của tập dữ liệu siêu thị, sản phẩm bread and cake chiếm ưu thế tiêu thụ tuyệt đối với 3.330 giao dịch, tiếp sau là fruit (2.962 giao dịch) và vegetables (2.961 giao dịch).
  • Phát hiện tri thức bán lẻ: Với ngưỡng $\text{minsup} = 0.4$ và $\text{minconf} = 0.7$, nghiên cứu đã trích xuất được 10 luật kết hợp mạnh. Trong đó, mặt hàng bánh mì và bánh ngọt đóng vai trò là sản phẩm trung tâm khi xuất hiện trong 8/10 luật kết hợp. Quy luật mua kèm bánh quy dẫn đến mua bánh mì/bánh ngọt đạt 2.083 giao dịch trên tổng số 2.605 giao dịch mua bánh quy.
  • Mối tương quan ngành hàng tươi sống: Dữ liệu chứng minh sự kết hợp hai chiều rõ rệt giữa hai nhóm hàng hoa quả và rau củ, phản ánh thói quen mua sắm thực phẩm tươi sống đồng thời trong một lượt giao dịch của khách hàng.

Đóng góp của khóa luận

  • Đề tài chuẩn hóa quy trình phân tích giỏ hàng (Market Basket Analysis) từng bước trên phần mềm Weka: từ chuẩn bị dữ liệu, lọc bỏ nhiễu thuộc tính gian hàng, thiết lập ngưỡng tham số đến diễn giải ý nghĩa thương mại của các luật kết hợp.
  • Minh họa tính ứng dụng thực tiễn của công cụ mã nguồn mở Weka trong việc giải quyết bài toán phân tích kinh doanh mà không cần lập trình phức tạp.

Hạn chế và hướng nghiên cứu tiếp

  • Hạn chế: Nghiên cứu chỉ thực nghiệm trên tệp dữ liệu mẫu đóng gói sẵn supermarket.arff của phần mềm Weka, chưa kiểm chứng trên cơ sở dữ liệu bán lẻ quy mô lớn thu thập từ các chuỗi siêu thị thực tế tại Việt Nam.
  • Hướng nghiên cứu tiếp:
    • Kết nối trực tiếp Weka với các hệ quản trị cơ sở dữ liệu quan hệ của doanh nghiệp thông qua giao tiếp JDBC để phân tích dữ liệu thời gian thực.
    • Ứng dụng các kỹ thuật khai phá nâng cao như luật kết hợp có trọng số để tìm kiếm các luật hiếm (sản phẩm có tần suất mua thấp nhưng mang lại biên lợi nhuận cao), hoặc luật kết hợp đa mức (multi-level association rules) trên các phân cấp hàng hóa chi tiết hơn.

Giá trị tham khảo

  • Đối tượng thụ hưởng:
    • Sinh viên và học viên chuyên ngành Kinh tế số, Hệ thống thông tin quản lý, Khoa học dữ liệu ứng dụng, Phân tích kinh doanh (Business Analytics).
    • Nhân sự làm công tác phân tích dữ liệu bán lẻ, quản lý siêu thị và tối ưu hóa vận hành thương mại điện tử.
  • Phần nội dung giá trị:
    • Quy trình tiền xử lý và loại bỏ thuộc tính không liên quan trong Weka Preprocess.
    • Hướng dẫn thiết lập các tham số minSupport, minMetric (confidence) và phương pháp đọc hiểu báo cáo kết quả của thuật toán Apriori và FP-Growth trong môi trường Weka Associate.

Câu hỏi thường gặp

1. Bộ dữ liệu thực nghiệm supermarket trong khóa luận có quy mô và cấu trúc như thế nào?
Bộ dữ liệu gồm 4.627 dòng giao dịch (instances) và ban đầu có 217 thuộc tính (attributes) mô tả các gian hàng và mặt hàng. Qua khảo sát trường dữ liệu, tác giả xác định có 105 mặt hàng riêng biệt được kinh doanh trong siêu thị.

2. Tác giả đã thực hiện thao tác tiền xử lý nào trước khi tiến hành khai phá luật kết hợp?
Trong giao diện Weka Explorer (tab Preprocess), tác giả đã chọn lọc và sử dụng chức năng Remove để loại bỏ toàn bộ các thuộc tính đại diện cho các gian hàng tổng quát (department), giữ lại các thuộc tính mặt hàng cụ thể nhằm đảm bảo kết quả sinh luật chỉ tập trung vào quan hệ giữa các sản phẩm trong giỏ hàng.

3. Mặt hàng nào có số lượng bán ra cao nhất và xuất hiện nhiều nhất trong các luật kết hợp?
Mặt hàng Bread and Cake (bánh mì và bánh ngọt) có sản lượng bán cao nhất với 3.330 giao dịch xuất hiện trên tổng số 4.627 giao dịch. Mặt hàng này cũng là thành phần kết quả hoặc điều kiện trong 8/10 luật kết hợp mạnh được thuật toán Apriori phát hiện.

4. Các ngưỡng tham số được thiết lập cho thuật toán Apriori trong thực nghiệm là bao nhiêu và kết quả đạt được như thế nào?
Tác giả thiết lập ngưỡng độ hỗ trợ tối thiểu $\text{minSupport} = 0.4$ (40%), ngưỡng độ tin cậy tối thiểu $\text{minMetric (confidence)} = 0.7$ (70%) và yêu cầu sinh tối đa $\text{numRules} = 50$. Kết quả thu được 10 luật kết hợp mạnh thỏa mãn với độ tin cậy phân bố từ 0,7 đến 0,8.

5. Điểm khác biệt cốt lõi giữa hai thuật toán Apriori và FP-Growth được khóa luận trình bày là gì?
Thuật toán Apriori sinh các tập mục ứng viên qua từng bước và phải quét cơ sở dữ liệu nhiều lần, gây tốn kém tài nguyên khi dữ liệu lớn. Ngược lại, thuật toán FP-Growth nén dữ liệu giao dịch vào cấu trúc cây FP-tree và khai phá đệ quy mà không cần sinh tập ứng viên, chỉ cần quét cơ sở dữ liệu 2 lần.

Kết luận

Khóa luận tốt nghiệp của tác giả Phạm Hồng Ánh đã hệ thống hóa đầy đủ cơ sở lý thuyết về khai phá dữ liệu và kỹ thuật khai phá luật kết hợp trong kinh doanh. Thông qua việc thực nghiệm hai thuật toán Apriori và FP-Growth trên phần mềm Weka với bộ dữ liệu siêu thị gồm 4.627 giao dịch, đề tài đã phát hiện được 10 quy luật mua sắm kết hợp điển hình gắn liền với nhóm hàng tiêu dùng nhanh. Các kết quả phân tích cung cấp luận cứ thực nghiệm hữu ích cho việc sắp xếp trưng bày hàng hóa, thiết kế gói khuyến mại chéo và quản trị danh mục sản phẩm trong ngành bán lẻ.