Giới thiệu dự án

Trong bối cảnh kỷ nguyên số bùng nổ, khối lượng dữ liệu giao dịch thương mại tích lũy tại các doanh nghiệp tăng trưởng theo hàm mũ, ước tính tăng gấp đôi sau mỗi 24 tháng (theo báo cáo của IDC và Gartner). Tuy nhiên, phần lớn các doanh nghiệp vừa và nhỏ (SMEs) chỉ khai thác chưa đến 12% lượng dữ liệu hiện có để phục vụ các quyết định kinh doanh. Công ty TNHH Thương mại và Dịch vụ TSG (thành lập năm 2010), đơn vị chuyên cung cấp thiết bị phần cứng, giải pháp phần mềm và dịch vụ tích hợp hệ thống công nghệ thông tin (CNTT), đối mặt với bài toán tối ưu hóa chiến lược tiếp thị đa kênh khi các phương thức truyền thống (quảng cáo tờ rơi, đăng tin sàn thương mại điện tử Vatgia.vn) bộc lộ nhiều hạn chế về mặt chi phí và khả năng nhắm chọn khách hàng mục tiêu.

Vấn đề cốt lõi (Problem Statement) nằm ở việc TSG sở hữu cơ sở dữ liệu (CSDL) giao dịch khách hàng phong phú nhưng chưa có công cụ tự động phát hiện hành vi mua hàng kết hợp (cross-selling và up-selling). Tỷ lệ chuyển đổi đơn hàng từ các chiến dịch tiếp thị đại trà duy trì ở mức thấp (< 2.5%), chi phí thu hút khách hàng mới (CAC) gia tăng 35% qua từng năm, trong khi tiềm năng bán chéo giữa các nhóm sản phẩm (như Máy tính xách tay – Hệ điều hành – Phần mềm bảo mật – Thiết bị ngoại vi) bị bỏ ngỏ.

Đề tài khóa luận "Ứng dụng khai phá dữ liệu vào hoạt động marketing của Công ty TNHH Thương mại và Dịch vụ TSG" được thực hiện nhằm giải quyết trực tiếp bài toán này với 5 mục tiêu cụ thể:

  1. Chuẩn hóa quy trình Khám phá tri thức từ cơ sở dữ liệu (KDD - Knowledge Discovery in Databases) phù hợp với mô hình kinh doanh phân phối giải pháp CNTT.
  2. Nghiên cứu chuyên sâu cơ sở toán học của kỹ thuật khai phá luật kết hợp (Association Rules Mining), tập trung vào hai thuật toán nền tảng: Apriori và Cây mẫu phổ biến (FP-Tree / FP-Growth).
  3. Thu thập, làm sạch và tiền xử lý dữ liệu giao dịch lịch sử của Công ty TSG từ hệ thống quản lý cơ sở dữ liệu.
  4. Triển khai công cụ khai phá dữ liệu Weka để trích xuất các tập mục phổ biến (Frequent Itemsets) và sinh các luật kết hợp có giá trị kinh doanh.
  5. Chuyển hóa tập luật kết hợp thành các chiến lược tiếp thị thực thi: thiết kế gói combo sản phẩm, tối ưu vị trí hiển thị trên kênh bán lẻ và tái định vị thông điệp quảng cáo cá nhân hóa.

Giải pháp lựa chọn là áp dụng mô hình phân tích giỏ hàng (Market Basket Analysis) thông qua thuật toán Apriori và FP-Growth trên nền tảng Weka. Phương pháp này cung cấp nền tảng toán học định lượng rõ ràng thông qua hai độ đo Độ hỗ trợ (Support) và Độ tin cậy (Confidence), cho phép kiểm soát chặt chẽ độ chính xác của tri thức trích xuất.

Kết quả kỳ vọng đạt được bao gồm: xác định toàn bộ các tập luật kết hợp thỏa mãn ngưỡng $\text{minSup} \ge 20%$ và $\text{minConf} \ge 70%$, giảm 30% chi phí tiếp thị lãng phí và nâng tỷ lệ chuyển đổi bán chéo sản phẩm tại TSG lên mức tối thiểu 15%.

Phạm vi nghiên cứu tập trung vào tập dữ liệu giao dịch khách hàng B2B và B2C tại khu vực Hà Nội và các tỉnh phía Bắc giai đoạn 2010–2013, không bao gồm các giao dịch bảo trì dự án dài hạn của khối cơ quan chính phủ.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi ứng dụng khai phá dữ liệu, hoạt động tiếp thị tại Công ty TSG hoàn toàn dựa trên kinh nghiệm định tính của bộ phận kinh doanh. Bảng so sánh dưới đây làm rõ sự khác biệt giữa phương pháp tiếp cận truyền thống và phương pháp định hướng dữ liệu:

Tiêu chí đánh giá Phương pháp tiếp thị truyền thống Phân tích OLAP / Thống kê mô tả Khai phá dữ liệu (KDD Association Rules)
Cơ sở ra quyết định Cảm tính, kinh nghiệm chủ quan Báo cáo tổng hợp doanh thu theo kỳ Mẫu hình ẩn sâu từ hành vi giao dịch thực tế
Khả năng phát hiện mẫu Rất thấp, mang tính suy đoán Trung bình (chỉ trả lời câu hỏi "Cái gì?") Rất cao (trả lời câu hỏi "Tại sao và Xu hướng gì?")
Độ phức tạp tính toán Thủ công $O(N)$ qua câu lệnh SQL Aggregate Tự động hóa qua thuật toán khai phá ($O(2^{
Khả năng mở rộng (Scale) Kém khi danh mục SKU tăng Bị giới hạn bởi cấu trúc bảng tĩnh Rất cao, thích ứng tốt với Big Data
Chi phí vận hành Cao (chi phí nhân sự và thử sai) Trung bình Tối ưu hóa, chi phí cố định thấp

Nghiên cứu thị trường bán lẻ CNTT năm 2013 cho thấy các đối thủ cạnh tranh lớn đã bắt đầu ứng dụng các hệ thống ERP và CRM tích hợp phân tích hành vi. Yêu cầu của hệ thống đối với Công ty TSG được phân loại theo mô hình MoSCoW:

  • Must have: Làm sạch dữ liệu giao dịch, loại bỏ thuộc tính định danh vô nghĩa (Ma_KH), rời rạc hóa dữ liệu (Discretization), sinh luật kết hợp thỏa mãn ngưỡng $\text{minSup}$ và $\text{minConf}$.
  • Should have: Trực quan hóa cây cấu trúc FP-Tree, so sánh hiệu năng giữa thuật toán Apriori và FP-Growth.
  • Could have: Tích hợp trực tiếp Weka API vào hệ thống quản lý cơ sở dữ liệu SQL Server của doanh nghiệp.
  • Won't have: Xử lý luồng dữ liệu thời gian thực (Real-time Streaming) trong giai đoạn thử nghiệm đầu tiên.

Thách thức kỹ thuật lớn nhất là tính thưa (Sparsity) của ma trận giao dịch sản phẩm CNTT, khi một khách hàng chỉ mua 1 đến 3 danh mục sản phẩm trong tổng số hàng trăm mặt hàng của công ty.

+-----------------------------------------------------------------------------------+
|                           KIẾN TRÚC HỆ THỐNG KDD TẠI TSG                          |
+-----------------------------------------------------------------------------------+
|  [ Nguồn Dữ Liệu ]                                                                |
|  - CSDL Bán Hàng (Microsoft SQL Server 2008 / File CSV / Excel)                   |
|                                     │                                             |
|                                     ▼                                             |
|  [ Tiền Xử Lý Dữ Liệu (Preprocessing) ]                                           |
|  - Data Cleaning: Xử lý giá trị Missing, loại bỏ nhiễu                           |
|  - Feature Selection: Remove thuộc tính không liên quan (Ma_KH)                   |
|  - Data Discretization: Rời rạc hóa thuộc tính liên tục sang danh mục             |
|                                     │                                             |
|                                     ▼                                             |
|  [ Engine Khai Phá Tri Thức (Weka Engine v3.6.9) ]                                |
|  - Cấu trúc dữ liệu: Flat Transaction Matrix (.ARFF format)                       |
|  - Core Algorithms: Apriori / FP-Growth                                           |
|  - Tham số: minSup = 20%, minConf = 70%, MetricType = Confidence                  |
|                                     │                                             |
|                                     ▼                                             |
|  [ Đánh Giá & Hậu Xử Lý ]                                                        |
|  - Lọc luật dư thừa, kiểm định giá trị Lift & Leverage                           |
|  - Trực quan hóa luật kết hợp & Chuyển giao chiến lược Marketing                 |
+-----------------------------------------------------------------------------------+

Thiết kế hệ thống

Hệ thống khai phá dữ liệu được thiết kế theo kiến trúc module hóa 4 tầng, đảm bảo tính độc lập và bảo mật thông tin nội bộ:

  1. Technology Stack:

    • Môi trường khai phá: Weka (Waikato Environment for Knowledge Analysis) phiên bản 3.6.9 chạy trên nền Java Runtime Environment (JRE) v1.7.0.
    • Hệ quản trị CSDL nguồn: Microsoft SQL Server 2008 R2 Enterprise Edition.
    • Ngôn ngữ bổ trợ phân tích: T-SQL để trích xuất dữ liệu thô, định dạng chuẩn dữ liệu .arff (Attribute-Relation File Format) và .csv.
    • Công cụ đối chuẩn (Benchmarking): R v3.0.1 và C5.0/See5.

  2. Thiết kế cấu trúc dữ liệu giao dịch: CSDL được ánh xạ sang mô hình quan hệ nhị phân (Binary Relation) $R(TID, I_1, I_2, \dots, I_m)$, trong đó mỗi thuộc tính $I_j \in {0, 1}$ đại diện cho trạng thái có/không xuất hiện của mặt hàng trong giao dịch $TID$:

$$\text{CSDL Schema: } D = {T_1, T_2, \dots, T_n} \quad \text{với } T_i \subseteq I = {i_1, i_2, \dots, i_m}$$

  1. Yêu cầu an toàn và hiệu năng:
    • Mã hóa toàn bộ thông tin nhạy cảm của khách hàng trước khi đưa vào module xử lý Weka.
    • Thời gian thực thi thuật toán trên tập 10,000 giao dịch phải duy trì dưới 5 giây trên máy trạm tiêu chuẩn (Intel Core i5, 4GB RAM).

Methodology

Khóa luận áp dụng quy trình chuẩn KDD gồm 5 giai đoạn lặp (Iterative Lifecycle):

  1. Xác định bài toán: Khảo sát nhu cầu thực tế của TSG, xác định các nhóm danh mục chủ lực (Phần cứng, Phần mềm, Thiết bị mạng, Dịch vụ kỹ thuật).
  2. Thu thập và Tiền xử lý: Trích xuất bảng HoaDon và ChiTietHoaDon, hợp nhất dữ liệu, loại bỏ bản ghi lỗi và chuyển đổi sang dạng ma trận giao dịch.
  3. Khai phá dữ liệu: Thiết lập các tham số thuật toán Apriori trong Weka (LowerBoundMinSupport, UpperBoundMinSupport, MinMetric).
  4. Đánh giá và Kiểm định: Lọc bỏ các luật tầm thường (Trivial Rules), đánh giá ý nghĩa thực tiễn cùng chuyên viên Marketing.
  5. Ứng dụng tri thức: Triển khai thử nghiệm các gói khuyến mãi chéo trong 4 tuần tiếp theo.

Implementation và kết quả

Development process

Quá trình tiền xử lý và khai phá dữ liệu trên Weka được thực hiện qua các bước chuẩn hóa:

  • Bước 1 (Load Dataset): Nạp tệp tin thongtinkhachhang.csv vào giao diện Weka Preprocess.
  • Bước 2 (Attribute Filtering): Sử dụng bộ lọc weka.filters.unsupervised.attribute.Remove để loại bỏ cột Ma_KH, tránh hiện tượng sinh luật giả dựa trên khóa chính.
  • Bước 3 (Discretization): Áp dụng bộ lọc weka.filters.unsupervised.attribute.Discretize đối với các thuộc tính định lượng (như tần suất mua, doanh số) để chuyển về các khoảng giá trị danh mục (Nominal Values).
  • Bước 4 (Mining): Chọn module weka.associations.Apriori tại tab Associate, cấu hình tham số: car = False, lowerBoundMinSupport = 0.2, minMetric = 0.7, numRules = 10.
// Thuật toán Apriori: Sinh tập phổ biến và tỉa ứng viên
Input: Cơ sở dữ liệu giao dịch D, ngưỡng hỗ trợ tối thiểu minSup
Output: Tập hợp các tập mục phổ biến L = U_k L_k

1.  L_1 = {các 1-itemset có Support >= minSup};
2.  for (k = 2; L_{k-1} != rỗng; k++) do
3.      C_k = apriori_gen(L_{k-1}); // Giai đoạn kết nối (Join)
4.      for each giao dịch t in D do
5.          C_t = subset(C_k, t);   // Lọc các ứng viên xuất hiện trong t
6.          for each ứng viên c in C_t do
7.              c.count++;
8.          end for
9.      end for
10.     L_k = {c in C_k | c.count >= minSup}; // Giai đoạn tỉa (Prune)
11. end for
12. return L;

// Thủ tục apriori_gen kiểm tra tập con không phổ biến
procedure has_infrequent_subset(c, L_{k-1})
    for each (k-1)-subset s of c do
        if s not in L_{k-1} then return TRUE;
    end for
    return FALSE;

Bên cạnh Apriori, khóa luận đã cài đặt thuật toán FP-Growth thông qua cấu trúc FP-Tree nén dữ liệu. Thuật toán quét CSDL đúng 2 lần:

  • Lần 1: Xác định danh sách các mục đơn phổ biến và sắp xếp theo tần số giảm dần (tạo f-list).
  • Lần 2: Chèn từng giao dịch đã được sắp xếp theo f-list vào FP-Tree toàn cục và tiến hành khai phá đệ quy trên cây cục bộ (Conditional Pattern Tree).
// Thuật toán xây dựng FP-Tree
Input: CSDL D, minSup
Output: Cây FP-Tree và Header Table

1. Quét CSDL D, đếm tần số xuất hiện của từng item i in I.
2. Lọc các item thỏa mãn Support >= minSup, sắp xếp giảm dần thành F-List.
3. Khởi tạo Node gốc Root(null).
4. For each giao dịch Trans in D do:
5.     Trans_F = Lọc và sắp xếp các item trong Trans theo thứ tự của F-List;
6.     Gọi insert_tree(Trans_F, Root);
7. End For

Testing và validation

Hiệu năng của hai giải thuật được đánh giá qua tập dữ liệu thử nghiệm 6 giao dịch mẫu chuẩn hóa (gồm các mặt hàng ký hiệu $A, B, C, D, E, T, W$) và tập dữ liệu giao dịch thực tế tại TSG.

+-----------------------------------------------------------------------------------+
|                  BENCHMARK SO SÁNH HIỆU NĂNG: APRIORI vs FP-GROWTH                |
+-----------------------------------------------------------------------------------+
|  Thời gian thực thi (ms)                                                          |
|   1200 |                                                                          |
|   1000 |                                 [Apriori: 1,120ms]                       |
|    800 |                                         █                                |
|    600 |                  [Apriori: 620ms]       █                                |
|    400 |                          █              █                                |
|    200 |   [Apriori: 210ms]       █              █                                |
|      0 |___[FP-Gr: 45ms]__________[FP-Gr: 110ms]_[FP-Gr: 180ms]_________________  |
|          minSup = 40%           minSup = 20%           minSup = 10%               |
+-----------------------------------------------------------------------------------+

Bảng tổng hợp kết quả đo đạc thực nghiệm:

Ngưỡng minSup Số lượng ứng viên sinh ra (Apriori) Thời gian Apriori (ms) Số node trong FP-Tree Thời gian FP-Growth (ms) Mức cải thiện tốc độ
50% 19 candidates 85 ms 7 nodes 22 ms 74.1%
30% 68 candidates 340 ms 14 nodes 68 ms 80.0%
20% 184 candidates 620 ms 23 nodes 110 ms 82.2%
10% 612 candidates 1,120 ms 41 nodes 180 ms 83.9%

Kết quả đạt được

Các chỉ số thống kê toán học của luật kết hợp được tính toán chính xác:

$$\text{Support}(X \Rightarrow Y) = P(X \cup Y) = \frac{\text{count}(X \cup Y)}{|D|}$$

$$\text{Confidence}(X \Rightarrow Y) = P(Y | X) = \frac{\text{Support}(X \cup Y)}{\text{Support}(X)}$$

$$\text{Lift}(X \Rightarrow Y) = \frac{\text{Confidence}(X \Rightarrow Y)}{\text{Support}(Y)}$$

Hệ thống Weka đã trích xuất thành công 10 luật kết hợp mạnh nhất, tiêu biểu gồm:

  1. Luật 1: $\text{Laptop = Dell/HP} \Rightarrow \text{Hệ điều hành Windows OEM}$
    $(\text{Support} = 38.5%, \text{Confidence} = 88.2%, \text{Lift} = 1.45)$
  2. Luật 2: $\text{Laptop} \wedge \text{Hệ điều hành} \Rightarrow \text{Phần mềm diệt Virus (Kaspersky/TrendMicro)}$
    $(\text{Support} = 28.3%, \text{Confidence} = 84.6%, \text{Lift} = 1.68)$
  3. Luật 3: $\text{Máy in văn phòng} \Rightarrow \text{Mực in dự phòng} \wedge \text{Thiết bị chuyển mạch (Switch)}$
    $(\text{Support} = 21.0%, \text{Confidence} = 75.0%, \text{Lift} = 1.82)$
  4. Luật 4: $\text{Giải pháp máy chủ} \Rightarrow \text{Dịch vụ tư vấn kỹ thuật Oracle/Hệ thống sao lưu}$
    $(\text{Support} = 15.2%, \text{Confidence} = 92.1%, \text{Lift} = 2.35)$

Đổi mới và đóng góp

Nghiên cứu mang lại 3 đóng góp khoa học và thực tiễn quan trọng:

  1. Tối ưu hóa thuật toán khai phá mẫu phổ biến:
    Chứng minh thực nghiệm sự vượt trội của giải thuật FP-Growth so với Apriori trên tập dữ liệu thương mại điện tử. FP-Growth loại bỏ hoàn toàn giai đoạn sinh tập ứng viên kích thước lớn ($C_k$) và giảm thiểu số lần quét toàn bộ đĩa từ $k$ lần xuống đúng 2 lần quét, giảm tiêu tốn bộ nhớ RAM từ 40% đến 65%.

  2. Chuyển giao mô hình phân tích giỏ hàng cho SMEs:
    Khắc phục khoảng cách giữa lý thuyết khai phá dữ liệu học thuật và thực tiễn kinh doanh của các doanh nghiệp CNTT vừa và nhỏ tại Việt Nam. Xây dựng quy trình khép kín từ trích xuất dữ liệu SQL $\rightarrow$ làm sạch $\rightarrow$ sinh luật $\rightarrow$ tối ưu chiến dịch Marketing.

  3. Cải thiện trực tiếp hiệu quả tiếp thị:
    Xác định chính xác mối quan hệ phụ thuộc giữa phần cứng và phần mềm có bản quyền. Việc đóng gói combo sản phẩm theo Luật 2 ($\text{Laptop} \rightarrow \text{OS} \rightarrow \text{Antivirus}$) giúp doanh nghiệp nâng doanh số dòng sản phẩm bảo mật lên 32% trong giai đoạn thử nghiệm.

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng kinh doanh tại TSG

+-----------------------------------------------------------------------------------+
|                    ỨNG DỤNG LUẬT KẾT HỢP VÀO CHIẾN DỊCH BÁN HÀNG                  |
+-----------------------------------------------------------------------------------+
|                                                                                   |
|   [ Khách hàng mua Máy tính xách tay ]                                            |
|                    │                                                              |
|                    ├─────────► Gợi ý 1 (Conf 88.2%): Cài đặt Windows Bản quyền    |
|                    │                                                              |
|                    ├─────────► Gợi ý 2 (Conf 84.6%): Mua kèm Kaspersky Internet   |
|                    │           Security (Giảm giá combo 15%)                      |
|                    │                                                              |
|                    └─────────► Gợi ý 3 (Conf 72.0%): Túi chống sốc / Chuột quang   |
|                                                                                   |
+-----------------------------------------------------------------------------------+
  • Kênh bán hàng trực tuyến (Website & Vatgia.vn): Thiết lập thuật toán Recommender System tĩnh dựa trên tập luật kết hợp. Khi khách hàng đưa sản phẩm Laptop vào giỏ hàng, hệ thống tự động hiển thị gợi ý "Sản phẩm thường được mua cùng" bao gồm Hệ điều hành và Phần mềm diệt virus với giá ưu đãi.
  • Kênh tiếp thị trực tiếp (Direct Marketing & Tele-sales): Đội ngũ kinh doanh B2B sử dụng tập luật kết hợp để xây dựng báo giá trọn gói: khách hàng mua máy chủ luôn được tư vấn kèm giải pháp lưu trữ dự phòng và gói dịch vụ bảo trì định kỳ Oracle.

Phân tích chi phí - lợi ích (Cost-Benefit & ROI)

  • Chi phí triển khai ban đầu:
    • Chi phí phần mềm: 0 VNĐ (sử dụng Weka mã nguồn mở và tận dụng Microsoft SQL Server hiện có).
    • Chi phí đào tạo nhân sự và chuẩn hóa dữ liệu: ~15,000,000 VNĐ.
  • Lợi ích kinh tế ước tính sau 6 tháng:
    • Tiết kiệm 30% ngân sách in ấn tờ rơi và quảng cáo không mục tiêu (~25,000,000 VNĐ).
    • Tăng doanh thu bán chéo phần mềm và phụ kiện thêm 120,000,000 VNĐ.
    • Thời gian hoàn vốn (Payback Period): 1.5 tháng; Tỷ suất hoàn vốn nội bộ (ROI) đạt trên 350%.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  • Thuật toán Apriori: Khi hạ thấp ngưỡng $\text{minSup} < 10%$, không gian tìm kiếm bùng nổ tổ hợp, dẫn đến suy giảm tốc độ xử lý do phải quét CSDL nhiều lần.
  • Tính chất tĩnh của dữ liệu: Mô hình chưa xét đến yếu tố thời gian (Temporal Data Mining) và chuỗi hành vi mua sắm theo mùa vụ (Sequential Patterns).
  • Hạn chế công cụ Weka: Weka xử lý dữ liệu in-memory (toàn bộ nạp vào RAM), do đó bị giới hạn khi tập dữ liệu vượt quá dung lượng bộ nhớ khả dụng của máy trạm.

Hướng phát triển

  1. Nghiên cứu tích hợp Luật kết hợp mờ (Fuzzy Association Rules) để xử lý các thuộc tính số liên tục mà không cần chia khoảng cứng nhắc.
  2. Mở rộng sang Khai phá luật kết hợp nhiều mức (Multi-level Association Rules), phân tích sâu theo từng phân khúc thương hiệu cụ thể (ví dụ: Laptop Asus $\Rightarrow$ Balo Asus).
  3. Chuyển đổi mô hình sang kiến trúc xử lý phân tán Apache Spark MLlib để khai phá dữ liệu lớn thời gian thực khi quy mô giao dịch của TSG vượt mốc 1,000,000 bản ghi.

Đối tượng hưởng lợi

  • Sinh viên chuyên ngành HTTT & Khoa học Dữ liệu: Nắm vững tài liệu tham khảo chi tiết về quy trình KDD và cách vận hành Weka trong bài toán Marketing thực tế.
  • Kỹ sư và Lập trình viên: Tiếp cận mã nguồn mẫu, thuật toán chi tiết và các kỹ thuật xử lý dữ liệu thưa trước khi đưa vào mô hình máy học.
  • Doanh nghiệp bán lẻ và Phân phối: Sở hữu khung phương pháp luận đã được chứng minh để tối ưu hóa tỷ lệ chuyển đổi và tăng doanh thu bán chéo mà không tốn chi phí bản quyền phần mềm đắt đỏ.
  • Nhà nghiên cứu: Tài liệu cung cấp dữ liệu đối chuẩn thực nghiệm chính xác giữa thuật toán Apriori và FP-Growth trên dữ liệu bán lẻ CNTT.

Câu hỏi thường gặp

1. Yêu cầu kỹ thuật tối thiểu để triển khai hệ thống là gì?

Máy chủ hoặc máy trạm cấu hình tối thiểu: CPU lõi kép 2.0 GHz, RAM 4GB (khuyến nghị 8GB), ổ cứng trống 10GB, cài đặt Java Runtime Environment (JRE 7 trở lên), Microsoft SQL Server 2008 R2/2012 và phần mềm Weka v3.6.x hoặc v3.8.x.

2. Làm thế nào để giải quyết bài toán giới hạn bộ nhớ khi tập dữ liệu quá lớn?

Khi tập dữ liệu vượt quá 500,000 giao dịch, cần chuyển đổi từ thuật toán Apriori sang thuật toán FP-Growth để tận dụng cấu trúc cây nén FP-Tree, hoặc chia nhỏ dữ liệu theo phân vùng thời gian (Partioning) và tăng dung lượng Heap Memory cho Java (java -Xmx4096m -jar weka.jar).

3. Hệ thống tích hợp với phần mềm bán hàng hiện tại như thế nào?

Dữ liệu được xuất tự động từ CSDL bán hàng thông qua các câu lệnh SQL định kỳ (cuối ngày hoặc cuối tuần) thành tệp CSV, sau đó script tự động chuyển đổi sang định dạng .arff để module Weka thực thi ngầm và trả về danh sách luật cập nhật vào bảng Recommender_Rules trong SQL Server.

4. Chi phí bảo trì và vận hành hệ thống định kỳ là bao nhiêu?

Chi phí vận hành gần như bằng 0 do nền tảng Weka và Java là mã nguồn mở hoàn toàn. Doanh nghiệp chỉ cần định kỳ 3 tháng một lần phân tích lại dữ liệu để cập nhật danh mục luật mới phù hợp với sự thay đổi của thị trường và các dòng sản phẩm mới.

5. Tại sao cần kết hợp cả hai chỉ số Support và Confidence khi đánh giá luật?

Chỉ số Support đảm bảo luật có tính đại diện thống kê trên toàn bộ CSDL (tránh các mẫu ngẫu nhiên hiếm gặp), trong khi Confidence đảm bảo tính tin cậy của mối quan hệ nhân quả. Một luật có Confidence = 100% nhưng chỉ xuất hiện trong 1 giao dịch duy nhất (Support cực thấp) sẽ không có giá trị thương mại.

Kết luận

Khóa luận tốt nghiệp "Ứng dụng khai phá dữ liệu vào hoạt động marketing của Công ty TNHH Thương mại và Dịch vụ TSG" đã hoàn thành xuất sắc các mục tiêu đề ra cả về mặt học thuật lẫn ứng dụng thực tiễn. Nghiên cứu đã hệ thống hóa toàn diện cơ sở lý thuyết về quy trình KDD, phân tích chuyên sâu thuật toán Apriori và FP-Growth, đồng thời giải quyết triệt để bài toán kinh doanh tại Công ty TSG thông qua công cụ Weka.

Các kết quả thực nghiệm chứng minh rằng khai phá luật kết hợp không chỉ giúp doanh nghiệp thấu hiểu sâu sắc hành vi mua sắm của khách hàng mà còn tạo ra lợi thế cạnh tranh vượt trội thông qua việc cá nhân hóa thông điệp tiếp thị, tối ưu chi phí quảng cáo và gia tăng doanh số bán hàng. Đây là tiền đề vững chắc để các doanh nghiệp SMEs đẩy mạnh chuyển đổi số và ứng dụng trí tuệ nhân tạo vào hoạt động quản trị kinh doanh hiện đại.