Giới thiệu dự án

Trong kỷ nguyên kinh tế số và thương mại điện tử bùng nổ, dữ liệu người dùng được thu thập liên tục với tốc độ cao (velocity), khối lượng lớn (volume) và độ đa dạng phức tạp (variety). Theo báo cáo e-Conomy SEA, thị trường thương mại điện tử Việt Nam duy trì tốc độ tăng trưởng hơn 20% mỗi năm, đồng nghĩa với việc mỗi nền tảng trực tuyến phải xử lý hàng triệu phiên truy cập (sessions) mỗi ngày. Tuy nhiên, việc gia tăng số lượng trường dữ liệu hành vi (features) dẫn tới hiện tượng "Lời nguyền số chiều" (Curse of Dimensionality). Không gian dữ liệu nhiều chiều làm ma trận dữ liệu trở nên thưa thớt (sparse matrix), tăng chi phí tính toán luỹ thừa ($O(d^3)$ với một số thuật toán tối ưu), gây quá khớp (overfitting) và làm suy giảm nghiêm trọng độ chính xác cũng như độ trễ của các mô hình học máy phục vụ thời gian thực.

Vấn đề cốt lõi đặt ra cho các doanh nghiệp bán hàng trực tuyến tại Việt Nam là: Làm thế nào để dự báo chính xác ý định mua hàng hoặc nguy cơ rời bỏ dịch vụ của khách hàng từ tập dữ liệu hành vi lớn mà vẫn tối ưu hóa được tài nguyên phần cứng và thời gian xử lý?

Đề tài khóa luận "Giảm chiều dữ liệu và ứng dụng trong bài toán phân lớp dữ liệu lớn" do sinh viên Nguyễn Vũ Phi Khanh thực hiện dưới sự hướng dẫn của TS. Nguyễn Hữu Xuân Trường tại Học viện Chính sách và Phát triển (2023) tập trung giải quyết trực tiếp bài toán này.

flowchart LR
    A[Dữ liệu hành vi Web 18 chiều] --> B[Tiền xử lý & Chuẩn hóa]
    B --> C[Giảm chiều PCA / Truncate SVD]
    C --> D[Không gian đặc trưng thu gọn t chiều]
    D --> E[Mô hình Phân lớp Đa thuật toán]
    E --> F[Dự báo Churn / Mua hàng Thời gian thực]

Mục tiêu nghiên cứu cụ thể:

  1. Hệ thống hóa cơ sở lý thuyết: Nghiên cứu toàn diện các phương pháp chọn lọc đặc trưng (Feature Selection: Filter, Wrapper, Embedded) và trích xuất đặc trưng (Feature Extraction: SVD, PCA, KPCA, ICA).
  2. Xây dựng giải pháp giảm chiều tối ưu: Ứng dụng phương pháp Phân tích thành phần chính (Principal Component Analysis - PCA) trên nền tảng Phân tích suy biến cắt cụt (Truncate Singular Value Decomposition - Truncate SVD) nhằm giảm số chiều dữ liệu nhưng vẫn bảo toàn trên 90% phương sai toàn cục.
  3. Thực nghiệm phân lớp đa mô hình: Huấn luyện và đánh giá 05 thuật toán phân lớp phổ biến (Logistic Regression, Decision Tree, Random Forest, Naive Bayes, K-Nearest Neighbors) trên tập dữ liệu 12.330 phiên giao dịch thương mại điện tử từ kho dữ liệu Machine Learning UCI/Kaggle.
  4. Đánh giá hiệu năng và tính khả thi: Đo lường sự đánh đổi giữa độ chính xác phân loại (Accuracy, F1-Score) và thời gian huấn luyện/suy luận trước và sau khi áp dụng PCA.

Phạm vi và giới hạn nghiên cứu:

  • Phạm vi dữ liệu: Tập dữ liệu hành vi mua sắm trực tuyến gồm 12.330 quan sát, 18 trường thuộc tính phản ánh các chỉ số lướt web, thời gian lưu trang, tỷ lệ thoát trang, đặc trưng hệ điều hành và doanh thu.
  • Giới hạn kỹ thuật: Tập trung chính vào kỹ thuật giảm chiều tuyến tính PCA dựa trên đại số ma trận SVD; so sánh với các baseline chọn biến truyền thống và định hướng mở rộng cho dữ liệu phi tuyến (Kernel PCA).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi áp dụng phương pháp giảm chiều hiện đại, các doanh nghiệp thường tiếp cận bài toán phân lớp dữ liệu lớn thông qua các kỹ thuật truyền thống:

Phương pháp tiếp cận Ưu điểm Nhược điểm Đánh giá độ phù hợp với Big Data
Mô hình hóa toàn bộ biến gốc (Full Features) Giữ nguyên 100% ngữ nghĩa thông tin ban đầu. Chi phí tính toán cao, dễ overfitting, nhạy cảm với đa cộng tuyến và nhiễu. Rất kém khi số lượng biến vượt ngưỡng hàng trăm.
Lọc biến theo ngưỡng phương sai (Variance Threshold) Đơn giản, loại bỏ nhanh các biến hằng số hoặc biến biến động cực thấp. Không xét đến mối quan hệ giữa biến độc lập và biến mục tiêu ($Y$). Chỉ đóng vai trò lọc thô ban đầu.
Chọn biến tuần tự (Sequential Feature Selection - SFS) Tìm được tập con biến tối ưu thông qua đánh giá hàm mất mát trực tiếp. Độ phức tạp tính toán cực lớn $O(2^n)$, tốn thời gian với tập dữ liệu lớn. Không khả thi cho hệ thống thời gian thực.
Phân tích thành phần chính (PCA / Truncate SVD) Nén dữ liệu trực giao, triệt tiêu đa cộng tuyến, tối ưu hóa tốc độ huấn luyện. Mất đi ngữ nghĩa vật lý trực tiếp của các biến thành phần gốc ($PC_i$). Tối ưu nhất cho xử lý dữ liệu lớn.

Phân loại yêu cầu hệ thống theo mô hình MoSCoW:

  • Must have (Bắt buộc phải có): Khả năng xử lý 18 thuộc tính hỗn hợp (numerical, categorical, boolean); module chuẩn hóa chuẩn tắc (StandardScaler); thuật toán Truncate SVD/PCA giữ lại tỷ lệ phương sai tích lũy tối thiểu 85%; module phân lớp nhị phân dự báo doanh thu/rời bỏ.
  • Should have (Nên có): Tự động đánh giá ma trận tương quan Pearson; pipeline tự động hóa qua sklearn.pipeline.Pipeline; phương pháp kiểm định chéo $K$-Fold ($k=5$).
  • Could have (Có thể có): Xử lý mất cân bằng mẫu bằng SMOTE; trực quan hóa 2D/3D không gian PCA; kỹ thuật trích xuất phi tuyến Kernel PCA (KPCA).
  • Won't have (Chưa thực hiện): Triển khai mạng nơ-ron sâu End-to-End Deep Autoencoder trong phiên bản hiện tại.

Thiết kế hệ thống

Kiến trúc giải pháp được thiết kế theo dạng đường ống xử lý tuần tự (Data Processing Pipeline), đảm bảo dữ liệu đi từ dạng thô đến kết quả dự báo mà không bị rò rỉ thông tin (data leakage).

graph TD
    subgraph Ingestion["1. Tầng Thu Thập & Làm Sạch"]
        RawData["Tập dữ liệu thô (12.330 rows x 18 cols)"] --> MissingImpute["Kiểm tra & Xử lý Missing Values"]
        MissingImpute --> Encoding["One-Hot Encoding & Label Encoding"]
        Encoding --> Scaling["StandardScaler Z-score Standardization"]
    end

    subgraph Reduction["2. Tầng Giảm Chiều Dữ Liệu"]
        Scaling --> SVD["Phân tích suy biến SVD / Hiệp phương sai Cov(X)"]
        SVD --> Truncate["Truncate SVD / PCA Projection"]
        Truncate --> ReducedData["Không gian đặc trưng rút gọn (t components)"]
    end

    subgraph Modeling["3. Tầng Huấn Luyện & Đánh Giá"]
        ReducedData --> CV["5-Fold Cross Validation"]
        CV --> Classifiers["Classifiers: Logistic Regression, Random Forest, DT, NB, KNN"]
        Classifiers --> Metrics["Đo lường: Accuracy, Latency, Confusion Matrix"]
    end

Ngăn xếp công nghệ sử dụng (Technology Stack):

  • Ngôn ngữ lập trình: Python v3.9+
  • Thư viện xử lý dữ liệu: Pandas v1.5.3, NumPy v1.24.3
  • Thư viện học máy & thống kê: Scikit-Learn v1.2.2 (các module decomposition, feature_selection, ensemble, linear_model, tree, neighbors, naive_bayes), MLxtend v0.22.0
  • Thư viện trực quan hóa: Matplotlib v3.7.1, Seaborn v0.12.2
  • Môi trường tính toán: Jupyter Notebook / Google Colaboratory GPU/TPU Support

Lược đồ thuộc tính dữ liệu đầu vào:

Tên trường (Attribute) Kiểu dữ liệu Ý nghĩa nghiệp vụ
Administrative, Administrative_Duration int64, float64 Số lượng trang quản trị đã xem và tổng thời gian lưu lại (giây).
Informational, Informational_Duration int64, float64 Số lượng trang thông tin đã xem và tổng thời gian lưu lại.
ProductRelated, ProductRelated_Duration int64, float64 Số lượng trang sản phẩm tương tác và thời gian xem sản phẩm.
BounceRates, ExitRates float64, float64 Tỷ lệ thoát ngay trang đầu và tỷ lệ rời khỏi website từ trang đó.
PageValues float64 Giá trị trung bình của trang web do Google Analytics tính toán.
SpecialDay float64 Mức độ gần gũi với ngày lễ đặc biệt (Black Friday, Tết, Valentine,...).
Month, OperatingSystems, Browser, Region object, int64 Tháng tương tác, hệ điều hành, trình duyệt web, vùng địa lý truy cập.
TrafficType, VisitorType, Weekend int64, object, bool Loại nguồn truy cập, loại khách (mới/quay lại), phiên vào cuối tuần.
Revenue (Biến mục tiêu $Y$) bool Trạng thái phát sinh đơn hàng (True) hoặc rời bỏ/không mua (False).

Methodology

Quy trình phát triển được xây dựng dựa trên khung chuẩn CRISP-DM (Cross-Industry Standard Process for Data Mining):

  1. Hiểu bài toán nghiệp vụ (Business Understanding): Xác định tỷ lệ churn/mua hàng tác động trực tiếp tới doanh số của doanh nghiệp bán lẻ trực tuyến.
  2. Khám phá dữ liệu (Data Understanding): Đánh giá phân phối biến, phát hiện tương quan giữa các biến thời gian lướt trang và tỷ lệ chuyển đổi.
  3. Tiền xử lý dữ liệu (Data Preparation): Biến đổi dữ liệu thời gian, mã hóa One-Hot Encoding cho các biến phân loại (Month, VisitorType), chuẩn hóa phân phối Z-score.
  4. Mô hình hóa (Modeling): Triển khai nén ma trận với Truncate SVD/PCA và huấn luyện song song 5 bộ phân loại.
  5. Đánh giá (Evaluation): Kiểm thử độc lập bằng ma trận nhầm lẫn (Confusion Matrix) và phương pháp 5-Fold Cross Validation.
gantt
    title Kế hoạch Triển khai Đề tài Khóa luận
    dateFormat  YYYY-MM-DD
    section Giai đoạn 1
    Nghiên cứu lý thuyết giảm chiều & SVD/PCA :2023-01-05, 30d
    section Giai đoạn 2
    Thu thập & Tiền xử lý dữ liệu 12.330 mẫu   :2023-02-05, 20d
    section Giai đoạn 3
    Lập trình thực nghiệm PCA & 5 thuật toán  :2023-02-25, 35d
    section Giai đoạn 4
    Đánh giá Benchmark & Viết báo cáo khóa luận:2023-04-01, 30d

Implementation và kết quả

Development process

Cốt lõi toán học của đề tài dựa trên việc xấp xỉ ma trận hiệp phương sai thông qua kỹ thuật Phân tích suy biến cắt cụt (Truncate SVD).

Cho ma trận dữ liệu đã chuẩn hóa $\mathbf{X} \in \mathbb{R}^{m \times n}$ với $m$ quan sát và $n$ thuộc tính ban đầu. Ma trận hiệp phương sai đối xứng bán xác định dương được tính theo công thức: $$\mathbf{A} = \text{cov}(\mathbf{X}, \mathbf{X}) = \frac{1}{m} (\mathbf{X} - \mathbf{\bar{X}})^T (\mathbf{X} - \mathbf{\bar{X}})$$

Thực hiện phân rã SVD trên ma trận $\mathbf{A}$: $$\mathbf{A} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T = \sum_{i=1}^{n} \mathbf{u}_i \delta_i \mathbf{v}_i^T$$

Trong đó:

  • $\mathbf{U} \in \mathbb{R}^{n \times n}, \mathbf{V} \in \mathbb{R}^{n \times n}$ là các ma trận trực giao ($\mathbf{U}^T\mathbf{U} = \mathbf{I}, \mathbf{V}^T\mathbf{V} = \mathbf{I}$).
  • $\mathbf{\Sigma} = \text{diag}(\delta_1, \delta_2, \dots, \delta_n)$ chứa các giá trị suy biến giảm dần ($\delta_1 \ge \delta_2 \ge \dots \ge \delta_n \ge 0$).

Để giảm chiều xuống $t$ thành phần ($t \ll n$), phương pháp Truncate SVD chỉ giữ lại $t$ giá trị suy biến lớn nhất: $$\hat{\mathbf{A}} = \mathbf{U}_t \mathbf{\Sigma}_t \mathbf{V}t^T = \sum{i=1}^{t} \mathbf{u}_i \delta_i \mathbf{v}_i^T$$

Tỷ lệ thông tin (phương sai) được bảo toàn trong không gian rút gọn được định lượng qua công thức chuẩn Frobenius: $$\text{Variance Ratio} = \frac{\sum_{i=1}^{t} \delta_i^2}{\sum_{j=1}^{n} \delta_j^2}$$

Không gian dữ liệu mới được ánh xạ qua phép chiếu tuyến tính: $$\mathbf{Y} = \mathbf{X} \mathbf{U}_t$$

import numpy as np
import pandas as pd
from sklearn.model_selection import cross_val_score, StratifiedKFold
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.neighbors import KNeighborsClassifier

# 1. Pipeline tích hợp Chuẩn hóa + PCA + Mô hình phân lớp
def build_ml_pipeline(classifier, n_components=0.90):
    return Pipeline([
        ('scaler', StandardScaler()),
        ('pca', PCA(n_components=n_components, svd_solver='full')),
        ('classifier', classifier)
    ])

# Khởi tạo các thuật toán phân lớp thực nghiệm
models = {
    "Logistic Regression": LogisticRegression(solver='lbfgs', max_iter=1000, random_state=42),
    "Decision Tree": DecisionTreeClassifier(max_depth=6, random_state=42),
    "Random Forest": RandomForestClassifier(n_estimators=100, max_depth=8, random_state=42),
    "Naive Bayes": GaussianNB(),
    "KNN": KNeighborsClassifier(n_neighbors=5)
}

Bên cạnh đó, đề tài xây dựng pipeline so sánh với phương pháp lọc biến dựa trên thống kê lọc biến phương sai và chọn lọc biến bằng mô hình nhúng (Embedded Selection):

from sklearn.feature_selection import SelectKBest, f_classif, SelectFromModel
from sklearn.svm import LinearSVC

# Pipeline trích chọn biến dựa trên Fisher Score (F-test)
pipe_kbest = Pipeline([
    ('scaler', StandardScaler()),
    ('selector', SelectKBest(score_func=f_classif, k=8)),
    ('classifier', LogisticRegression(solver='lbfgs', random_state=42))
])

# Pipeline trích chọn biến dựa trên LinearSVC L1 Penalty
pipe_l1_svc = Pipeline([
    ('scaler', StandardScaler()),
    ('selector', SelectFromModel(estimator=LinearSVC(C=0.01, penalty="l1", dual=False))),
    ('classifier', LogisticRegression(solver='lbfgs', random_state=42))
])

Testing và validation

Quá trình kiểm thử được thiết lập nghiêm ngặt bằng phương pháp 5-Fold Stratified Cross-Validation trên toàn bộ 12.330 bản ghi. Tiêu chí đánh giá bao gồm: Độ chính xác trung bình (Mean Accuracy), Độ lệch chuẩn ($\pm \text{Std}$), Thời gian huấn luyện (Training Latency), và Tỷ lệ nén dữ liệu.

                    MA TRẬN NHẦM LẪN (CONFUSION MATRIX)
                              Dự Báo: False       Dự Báo: True
        Thực Tế: False (10.422)    [    TN = 9.810  ]  [   FP = 612    ]
        Thực Tế: True  ( 1.908)    [    FN = 490    ]  [   TP = 1.418  ]

Kết quả đạt được

Bảng 3.1 tổng hợp kết quả thực nghiệm giữa việc sử dụng toàn bộ 18 đặc trưng ban đầu so với không gian rút gọn qua phương pháp PCA:

Mô hình phân lớp Độ chính xác (Gốc - 18 biến) Độ chính xác (Sau PCA - 8 Thành phần) Thời gian huấn luyện (Gốc) Thời gian huấn luyện (PCA) Tốc độ xử lý cải thiện (%)
Logistic Regression $88.35% \pm 0.42$ $88.12% \pm 0.38$ 142 ms 58 ms +59.15%
Decision Tree $86.74% \pm 0.65$ $85.90% \pm 0.51$ 95 ms 42 ms +55.78%
Random Forest $89.85% \pm 0.31$ $89.20% \pm 0.28$ 1.850 ms 720 ms +61.08%
Naive Bayes $82.10% \pm 0.88$ $84.35% \pm 0.45$ 32 ms 18 ms +43.75%
K-Nearest Neighbors (KNN) $86.40% \pm 0.55$ $87.15% \pm 0.40$ 520 ms 185 ms +64.42% 
                       SO SÁNH HIỆU NĂNG HUẤN LUYỆN
  Model                  Gốc (ms)   PCA (ms)    Cải thiện thời gian
  -----------------------------------------------------------------
  Random Forest         |==================> 1850ms |=======> 720ms (-61.08%)
  KNN                   |=====> 520ms               |==> 185ms      (-64.42%)
  Logistic Regression   |=> 142ms                   |=> 58ms        (-59.15%)

Nhận xét kết quả thực nghiệm:

  1. Bảo toàn chất lượng phân loại: Khi nén từ 18 biến ban đầu xuống 8 thành phần chính (giảm hơn 55% số chiều), độ chính xác của các mô hình gần như không suy giảm (độ lệch $<0.7%$ đối với Random Forest và Logistic Regression).
  2. Cải thiện độ chính xác trên một số thuật toán: Đối với Naive Bayes (tăng từ 82.10% lên 84.35%) và KNN (tăng từ 86.40% lên 87.15%), việc giảm chiều giúp triệt tiêu hiện tượng đa cộng tuyến giữa các biến thời gian lướt web (ProductRelated_Duration, BounceRates, ExitRates), giúp thuật toán tính khoảng cách Euclidean chuẩn xác hơn.
  3. Tiết kiệm tài nguyên vượt trội: Thời gian huấn luyện và tính toán giảm trung bình từ 43% đến 64% trên tất cả các mô hình.

Đổi mới và đóng góp

  1. Chuẩn hóa quy trình tiền xử lý kết hợp đại số ma trận: Đề xuất đường ống tích hợp chuẩn hóa Z-score với phân rã Truncate SVD, giải quyết triệt để tính thưa thớt của dữ liệu phiên người dùng và giảm thiểu chi phí lưu trữ RAM đến 55%.
  2. Khắc phục điểm yếu của các thuật toán phụ thuộc khoảng cách: Chứng minh thực nghiệm rằng PCA không chỉ đóng vai trò nén dữ liệu mà còn hoạt động như một bộ lọc nhiễu (Noise Filter), giúp thuật toán KNN và Naive Bayes tăng từ $0.75%$ đến $2.25%$ độ chính xác so với dữ liệu gốc.
  3. Mô hình hóa chi tiết bài toán Churn/Revenue trong thương mại điện tử: Thay vì tiếp cận theo hướng chọn lọc biến cảm tính, đề tài cung cấp bộ công cụ định lượng phương sai toán học, thiết lập cơ sở khoa học vững chắc cho các hệ thống phân tích kinh doanh (Business Intelligence).
Tiêu chí so sánh Phương pháp tiếp cận truyền thống (Manual/Heuristic) Phương pháp trích chọn đơn biến (Filter - Pearson/Fisher) Giải pháp đề xuất trong khóa luận (PCA via Truncate SVD)
Cơ sở toán học Dựa trên kinh nghiệm nghiệp vụ chủ quan. Thống kê đơn biến độc lập ($F$-score, Chi-square). Phân tích không gian đa chiều trực giao (Eigenvectors).
Xử lý đa cộng tuyến Không loại bỏ được triệt để. Kém hiệu quả nếu hai biến quan trọng cùng tương quan. Triệt tiêu hoàn toàn tương quan giữa các $PC_i$.
Thời gian xử lý Nhanh nhưng dễ sai lệch. Nhanh nhưng bỏ sót tương tác chéo. Nhanh, tối ưu hóa $O(t \cdot m \cdot n)$.
Độ chính xác mô hình Không ổn định ($75% - 82%$). Khá ($84% - 86%$). Xuất sắc ($88.1% - 89.2%$).

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng trong doanh nghiệp bán lẻ trực tuyến:

  • Hệ thống cảnh báo sớm khách hàng rời bỏ (Cart Abandonment / Churn Prevention): Khi khách hàng có chỉ số ExitRates và BounceRates tăng cao nhưng thời gian tương tác ProductRelated_Duration giảm, hệ thống suy luận qua mô hình PCA-Random Forest chỉ mất dưới 5ms để kích hoạt mã giảm giá tức thì (Dynamic Voucher).
  • Phân bổ tài nguyên máy chủ quảng cáo (Ad Targeting): Nhận diện khách hàng có PageValues cao để ưu tiên hiển thị banner sản phẩm cao cấp, tăng ROI cho chiến dịch tiếp thị.
                          KIẾN TRÚC TRIỂN KHAI MICROSERVICE
  [ Client Web App ] ---> ( API Gateway / FastAPI ) 
                                  |
                                  v
                        [ Ingestion Service ]
                                  |
                                  v
                       [ PCA Transformer (.pkl) ]
                                  |
                                  v
                    [ Random Forest Model Serving ]
                                  |
                                  v
                        [ Churn Score: 0.87 ] ---> ( Trigger Discount Coupon )

Phân tích hiệu quả kinh tế (Cost-Benefit & ROI Analysis):

  • Chi phí hạ tầng máy chủ: Giảm tải hơn 50% dung lượng tính toán CPU/RAM cho phép doanh nghiệp cắt giảm quy mô các cụm máy chủ ảo (AWS EC2 / GCP Compute Engine) từ phân khúc $c5.2xlarge$ xuống $c5.xlarge$, tiết kiệm ước tính 40% - 50% hóa đơn hạ tầng đám mây hàng tháng.
  • Thời gian hoàn vốn (ROI Timeline): Với một doanh nghiệp thương mại điện tử quy mô trung bình (xử lý 500.000 sessions/tháng), việc phát hiện sớm và giữ chân thành công thêm 2% lượng khách hàng có nguy cơ rời bỏ mang lại giá trị gia tăng doanh thu trong vòng 3 đến 6 tháng triển khai.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật:

  • Tính diễn giải của thuộc tính (Interpretability): Các thành phần chính sau phép chiếu PCA là tổ hợp tuyến tính của 18 biến ban đầu, khiến việc giải thích trực quan từng biến cho các nhà quản lý phi kỹ thuật gặp khó khăn.
  • Giả định tuyến tính: Thuật toán PCA chuẩn giả định cấu trúc dữ liệu xấp xỉ một siêu phẳng tuyến tính. Đối với các mối quan hệ phi tuyến phức tạp cao, PCA có thể làm mất mát một phần thông tin biên.

Hướng phát triển tương lai:

  1. Ứng dụng Kernel PCA (KPCA) và Phân tích thành phần độc lập (ICA): Khảo sát các hàm nhân RBF (Radial Basis Function) và đa thức để mô hình hóa các bề mặt dữ liệu phi tuyến.
  2. Kiến trúc Autoencoder học sâu: Nghiên cứu mạng nơ-ron nén phi tuyến (Deep Autoencoders) cho các tập dữ liệu có quy mô hàng triệu bản ghi.
  3. Triển khai Stream PCA (Incremental PCA): Xây dựng cơ chế cập nhật ma trận hiệp phương sai trực tuyến theo từng batch nhỏ (mini-batch) mà không cần tải lại toàn bộ dữ liệu vào bộ nhớ.

Đối tượng hưởng lợi

  • Sinh viên & Học viên chuyên ngành Kinh tế số / Khoa học dữ liệu: Tài liệu tham khảo học thuật hoàn chỉnh từ nền tảng toán đại số ma trận (SVD, Eigenvalues) đến mã nguồn thực thi chi tiết trên Python.
  • Kỹ sư Machine Learning / Data Scientists: Mã nguồn mẫu chuẩn mực về việc xây dựng Pipeline tích hợp tiền xử lý, nén chiều dữ liệu và tinh chỉnh siêu tham số chống rò rỉ dữ liệu.
  • Doanh nghiệp & Giám đốc công nghệ (CTO/CIO): Giải pháp kỹ thuật khả thi giúp tối ưu hóa hiệu năng hệ thống, giảm thiểu chi phí phần cứng và nâng cao năng lực cạnh tranh trong phân tích hành vi khách hàng.
  • Nhà nghiên cứu kinh tế ứng dụng: Bằng chứng thực nghiệm định lượng về mối tương quan giữa hành vi tương tác website và quyết định tạo ra doanh thu của người tiêu dùng trực tuyến.

Câu hỏi thường gặp

1. Yêu cầu kỹ thuật tối thiểu để triển khai pipeline PCA này trên môi trường sản xuất là gì?

Hệ thống yêu cầu máy chủ chạy hệ điều hành Linux (Ubuntu 20.04+), tối thiểu 2 vCPU, 4GB RAM, cài đặt Python 3.9+ cùng các thư viện Scikit-Learn, Pandas, FastAPI. Pipeline được đóng gói thông qua Docker container với dung lượng image chỉ dưới 350MB.

2. Khi nào nên sử dụng PCA thay vì các kỹ thuật chọn biến Feature Selection (Lasso, Random Forest)?

PCA là lựa chọn tối ưu khi tập dữ liệu có số lượng biến lớn, xuất hiện hiện tượng đa cộng tuyến cao giữa các biến đo lường (như các chỉ số thời gian, tỷ lệ thoát), và mục tiêu hàng đầu là tối ưu hóa tốc độ xử lý mà không cần giải trình tường minh ý nghĩa vật lý của từng biến đơn lẻ.

3. Làm thế nào để tích hợp pipeline PCA vào hệ thống cơ sở dữ liệu hiện có của doanh nghiệp?

Mô hình PCA và bộ phân loại sau khi huấn luyện được xuất thành tệp nhị phân .joblib hoặc định dạng chuẩn ONNX. Dịch vụ phân loại kết nối với hệ quản trị cơ sở dữ liệu (PostgreSQL, MongoDB) thông qua API RESTful hoặc message broker (Kafka/RabbitMQ) để xử lý theo luồng thời gian thực.

4. Chi phí bảo trì và tần suất cập nhật mô hình định kỳ như thế nào?

Do hành vi khách hàng có thể thay đổi theo mùa vụ, ma trận chuyển đổi PCA và trọng số mô hình phân lớp nên được tái huấn luyện (re-train) định kỳ hàng tháng hoặc hàng quý thông qua luồng CI/CD tự động (Airflow/MLflow).

5. Việc giảm chiều dữ liệu có làm sai lệch phân bố nhãn của tập dữ liệu mất cân bằng không?

Bản thân phép chiếu PCA không làm thay đổi phân bố nhãn mục tiêu ($Y$). Tuy nhiên, đối với tập dữ liệu có tỷ lệ chênh lệch nhãn lớn (như tỷ lệ mua hàng chỉ chiếm $\approx 15%$), nên kết hợp kỹ thuật tái lấy mẫu (SMOTE) sau bước chuẩn hóa và trước khi đưa vào bộ phân loại để tối ưu chỉ số Recall và F1-Score.

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Vũ Phi Khanh đã chứng minh một cách khoa học và thực nghiệm tính hiệu quả của phương pháp Giảm chiều dữ liệu PCA trên nền tảng Truncate SVD trong bài toán phân lớp dữ liệu lớn thương mại điện tử. Với việc giảm hơn 55% không gian đặc trưng nhưng vẫn duy trì độ chính xác ấn tượng đạt $89.20%$ và rút ngắn hơn $60%$ thời gian xử lý, nghiên cứu cung cấp một giải pháp công nghệ cân bằng hoàn hảo giữa hiệu năng thuật toán và chi phí hạ tầng máy chủ. Đây là bước đệm quan trọng giúp các doanh nghiệp Việt Nam chuyển đổi số thực chất, khai phóng giá trị từ nguồn tài nguyên dữ liệu lớn để tối ưu hóa quyết định kinh doanh.