Giới thiệu dự án
Thị trường tài chính toàn cầu là một hệ thống phi tuyến tính phức tạp bậc cao, nơi các giao dịch thuật toán (Algorithmic Trading) và hệ thống giao dịch tần suất cao (High-Frequency Trading - HFT) hiện chiếm hơn 65-70% tổng khối lượng giao dịch trên các sàn chứng khoán Hoa Kỳ. Sự biến động khôn lường từ các cuộc khủng hoảng tài chính (năm 2008), sự bùng nổ đại dịch COVID-19 (năm 2020), cùng áp lực lạm phát và suy thoái kinh tế (năm 2022) đã đẩy độ lệch chuẩn của các chỉ số tài chính lên mức kỷ lục. Thực trạng này đặt ra thách thức sống còn cho các nhà đầu tư ngắn hạn và tổ chức quản lý quỹ trong việc kiểm soát rủi ro và phân bổ danh mục tài sản sinh lời tối ưu.
+-----------------------------------------------------------------------------------+
| VẤN ĐỀ CỐT LÕI (PAIN POINTS) |
+-----------------------------------------------------------------------------------+
| 1. Tính phi dừng (Non-stationarity) & Biến động phi tuyến tính của chuỗi giá. |
| 2. Hiện tượng Overfitting khi mô hình học sâu chỉ khớp trên một mã cổ phiếu. |
| 3. Khoảng trống ứng dụng: Dự báo giá trị rời rạc (Point forecast) thiếu tính |
| thực tiễn nếu không gắn liền với mô hình xếp hạng danh mục đầu tư (Ranking). |
+-----------------------------------------------------------------------------------+
Đồ án khóa luận tốt nghiệp ngành Khoa học Dữ liệu tại Trường Đại học Công nghệ Thông tin - ĐHQG-HCM thực hiện bởi sinh viên Phan Thị Kim Chi (dưới sự hướng dẫn của TS. Đỗ Trọng Hợp và ThS. Tạ Thu Thuỷ) tập trung giải quyết bài toán: "Dự đoán giá cổ phiếu sử dụng học sâu và phân tích dự báo (Stock Price Forecast Using Deep Learning and Predictive Analysis)".
Mục tiêu dự án
- Xây dựng và chuẩn hóa tập dữ liệu FinSD_50S&P: Thu thập, xử lý chuỗi thời gian lịch sử của 50 cổ phiếu vốn hóa lớn thuộc rổ chỉ số S&P 500, tích hợp 9 chỉ số phân tích kỹ thuật và dữ liệu ngày nghỉ lễ thị trường chứng khoán Mỹ.
- Nghiên cứu khả năng tổng quát hóa đa tài sản (Cross-asset Generalizability): Huấn luyện mô hình mạng nơ-ron hồi quy Long Short-Term Memory (LSTM) và Sequence to Sequence (Seq2Seq) trên 2 cổ phiếu đại diện phân hóa (HST - độ biến động thấp, $\sigma = 5.815$ và GOOG - độ biến động cao, $\sigma = 671.671$), sau đó đánh giá khả năng suy luận dự báo xu hướng trên toàn bộ 50 cổ phiếu trong tập kiểm thử.
- Thử nghiệm tối ưu hóa cấu trúc dữ liệu và tiền xử lý: Đánh giá 3 dạng không gian đặc trưng (Đơn biến, Đa biến cơ bản OHLCV, Đa biến mở rộng 26 thuộc tính) kết hợp cùng 3 phương pháp chuẩn hóa dữ liệu (MinMaxScaler, Z-score, RobustScaler) và các khoảng thời gian trễ (Look-back window = 7 và 28 ngày).
- Mô hình hóa xếp hạng cổ phiếu theo tỷ suất sinh lời (Stock Ranking): Chuyển đổi kết quả dự báo giá thành phân phối xác suất lợi nhuận và xếp hạng 50 cổ phiếu theo 5 phân vị (Rank 1 đến Rank 5), đánh giá định lượng bằng chỉ số Ranked Probability Score (RPS).
Phạm vi và giới hạn
- Phạm vi nghiên cứu: 50 mã cổ phiếu đại diện các nhóm ngành rổ S&P 500 (Information Technology, Financials, Health Care, Energy, Consumer Discretionary,...). Dữ liệu huấn luyện đến ngày 03/04/2022; dữ liệu kiểm thử (Out-of-sample test) độc lập từ 04/04/2022 đến 03/06/2022.
- Giới hạn kỹ thuật: Dự báo theo chu kỳ kết phiên hàng ngày (Daily Adjusted Close Price) và khoảng thời gian 5 ngày / 20 ngày giao dịch tiếp theo; không áp dụng cho giao dịch khớp lệnh mili-giây (High-frequency tick data) và chưa tích hợp phân tích tâm lý tin tức (News Sentiment NLP).
Phân tích và thiết kế giải pháp
Phân tích hiện trạng
Trước khi tiếp cận bằng mạng nơ-ron học sâu, các mô hình thống kê kinh lượng và học máy cổ điển đã được áp dụng rộng rãi nhưng bộc lộ nhiều hạn chế về mặt lý thuyết thị trường hiệu quả (Efficient Market Hypothesis - EMH):
| Phương pháp |
Đại diện tiêu biểu |
Ưu điểm |
Nhược điểm cốt lõi |
| Thống kê tuyến tính |
ARIMA, SARIMAX (Box & Jenkins, 1970) |
Cơ sở toán học chặt chẽ, hoạt động tốt trên chuỗi thời gian dừng (Stationary data). |
Thất bại khi dữ liệu có tính phi tuyến, phi dừng và biến động ngoại cảnh đột ngột. |
| Hồi quy phi tham số kết hợp |
GPR-ARMA (Thang Huynh Quyet et al., 2017) |
Phân tách chuỗi thời gian thành xu thế, thời vụ và ngẫu nhiên; đạt RMSE = 6.176 trên VN-Index. |
Khó tối ưu hóa tham số đồng thời; chi phí tính toán ma trận hiệp phương sai Gauss tăng bậc ba $O(N^3)$. |
| Mạng nơ-ron đồ thị quan hệ |
Relational Stock Ranking (RSR) (Fuli Feng et al., 2019) |
Tận dụng Temporal Graph Convolution và liên kết Wiki Company-Based Relations để xếp hạng. |
Kiến trúc phức tạp, đòi hỏi độ dài lịch sử cố định và đồ thị liên kết doanh nghiệp tĩnh khó mở rộng. |
| Mô hình đề xuất trong đồ án |
Vanilla LSTM & AutoTS Seq2Seq (Phan Thị Kim Chi, 2022) |
Tự động tối ưu siêu tham số qua BigDL; kiểm thử tính tổng quát hóa chéo cổ phiếu; tích hợp chỉ số kỹ thuật và bộ đo RPS. |
Phụ thuộc vào chất lượng phân phối dữ liệu đầu vào của cổ phiếu dùng làm gốc huấn luyện (Anchor stock). |
Phân tích yêu cầu hệ thống theo khung MoSCoW
- Must have: Dự báo giá đóng cửa điều chỉnh hàng ngày (
Adj Close); pipeline chuẩn hóa và bù khuyết dữ liệu ngày nghỉ giao dịch; hỗ trợ kiến trúc Vanilla LSTM và Sequence-to-Sequence (Seq2Seq); module tính toán tỷ suất sinh lời $Return_t$ và xếp hạng phân vị 5 nhóm cổ phiếu.
- Should have: Tích hợp 9 chỉ số phân tích kỹ thuật (Technical Indicators) theo chuẩn tài chính; module tự động tinh chỉnh siêu tham số (AutoML AutoTS) qua BigDL.
- Could have: Thử nghiệm đa dạng hàm co giãn dữ liệu (MinMaxScaler, StandardScaler, RobustScaler); nhúng nhãn phân loại ngày nghỉ lễ liên bang Hoa Kỳ (US Federal Holidays).
- Won't have: Giao dịch tự động qua cổng API sàn chứng khoán (Live Broker API); xử lý dữ liệu sổ lệnh cấp độ 2 (Order Book Level-2).
Thiết kế hệ thống
Kiến trúc giải pháp được thiết kế thành một quy trình xử lý dữ liệu và học máy khép kín (End-to-End Pipeline):
+-------------------------------------------------------------------------------------------------+
| KIẾN TRÚC HỆ THỐNG DỰ BÁO VÀ XẾP HẠNG |
+-------------------------------------------------------------------------------------------------+
│
[1. DỮ LIỆU ĐẦU VÀO] ▼
┌───────────────────────────────────────────────────────────────────────────────────────────┐
│ Yahoo Finance API -> 50 Mã S&P 500 (OHLCV, Adj Close) + US Holidays API + pandas_ta │
│ (OBV, MACD, ADX, Aroon, RSI, Stochastic, Will%R, EMA_8, EMA_20, SMA_5, SMA_20) │
└───────────────────────────────────────────────────────────────────────────────────────────┘
│
[2. PIPELINE TIỀN XỬ LÝ] ▼
┌───────────────────────────────────────────────────────────────────────────────────────────┐
│ • Forward-fill bù giá ngày nghỉ lễ/cuối tuần │
│ • Phân tách 3 dạng Input: Loại 1 (Đơn biến), Loại 2 (OHLCV), Loại 3 (26 Features) │
│ • Scaler: MinMaxScaler / Z-Score Standardization / RobustScaler │
│ • Sliding Window Generator: Looking-back L ∈ {7, 28} -> Dự báo T ∈ {1, 5, 20} │
└───────────────────────────────────────────────────────────────────────────────────────────┘
│
[3. ENGINE HUẤN LUYỆN & TỐI ƯU BIGDL] ▼
┌───────────────────────────────────────────────────────────────────────────────────────────┐
│ • Anchor Stock Baseline: HST (Low Volatility) vs GOOG (High Volatility) │
│ • Vanilla LSTM Network (Single-step Daily Forecast) │
│ • AutoTS Seq2Seq Encoder-Decoder (Multi-step Horizon Forecast) │
│ • Hyperparameter Search: Learning rate, Layer depth, Hidden units, Batch size │
└───────────────────────────────────────────────────────────────────────────────────────────┘
│
[4. SUY LUẬN & ĐÁNH GIÁ ĐA TÀI SẢN] ▼
┌───────────────────────────────────────────────────────────────────────────────────────────┐
│ • Đánh giá sai số & xu hướng: MSE, MDA, MFE trên 50 cổ phiếu │
│ • Tính toán tỷ suất lợi nhuận: Return = (Adj_Price_t - Adj_Price_{t-Delta}) / Price_{t-d} │
│ • Quantile Ranker (Phân vị 5 lớp: Rank 1 đến Rank 5) -> Đánh giá Ranked Probability Score│
└───────────────────────────────────────────────────────────────────────────────────────────┘
Technology Stack và phiên bản cụ thể
- Ngôn ngữ lập trình: Python
v3.8.10
- Framework Học sâu & AutoML: Intel BigDL
v2.1.0 (phân hệ AutoTS / Analytics Zoo), Keras v2.8.0, TensorFlow v2.8.0
- Xử lý dữ liệu & Tính toán số học: Pandas
v1.4.2, NumPy v1.22.3
- Thư viện Phân tích Kỹ thuật & Lịch biểu:
pandas_ta v0.3.14b, holidays v0.14.2
- Môi trường thực thi phần cứng: Google Colab Pro, CPU AMD EPYC 7B12 @ 2.60GHz (2 vCPU), 25.46 GB System RAM, 107.72 GB Disk Storage.
Cấu trúc thuộc tính tập dữ liệu FinSD_50S&P (26 trường dữ liệu)
Date (Datetime): Ngày giao dịch.Open, High, Low, Close, Adj Close (Float, $>0$): Giá mở cửa, cao nhất, thấp nhất, giá đóng cửa, giá đóng cửa điều chỉnh.Volume (Integer, $\ge 0$): Khối lượng cổ phiếu giao dịch.- Nhóm chỉ báo xung lượng & khối lượng:
OBV (On Balance Volume): $[-\infty, +\infty]$MACD, MACDh, MACDs: Moving Average Convergence Divergence, Histogram, Signal Line.RSI (Relative Strength Index): $[0, 100]$STOCHRSIk, STOCHRSId: Stochastic RSI ($%K, %D \in [0, 100]$)WILLR: Williams $%R \in [-100, 0]$
- Nhóm chỉ báo xu hướng & trung bình động:
ADX, DMP, DMN: Average Directional Index và các thành phần định hướng $[0, 100]$.AROOND, AROONU, AROONOSC: Aroon Down, Aroon Up $[0, 100]$, Aroon Oscillator $[-100, 100]$.EMA_8, EMA_20, SMA_5, SMA_20: Đường trung bình lũy thừa và trung bình giản đơn.
holidays (Categorical/String): Nhãn ngày lễ thị trường Mỹ (New Year's Day, Memorial Day, Independence Day, Thanksgiving, Christmas,...).
Methodology
Quy trình nghiên cứu áp dụng phương pháp thực nghiệm khoa học dữ liệu kết hợp phân tích định lượng (Quantitative Analysis):
+-------------------------------------------------------------------------------------------------------+
| MILESTONE 1 (W1-W3) | Khảo sát lý thuyết EMH, thu thập 50 mã S&P 500 từ Yahoo Finance. |
| MILESTONE 2 (W4-W6) | Xây dựng FinSD_50S&P, trích xuất 9 chỉ báo pandas_ta, xử lý dữ liệu thiếu. |
| MILESTONE 3 (W7-W10) | Thiết lập pipeline AutoTS BigDL, cài đặt 35 mô hình LSTM & Seq2Seq. |
| MILESTONE 4 (W11-W13)| Thực nghiệm suy luận chéo, kiểm thử Out-of-sample, đánh giá MSE, MDA, MFE. |
| MILESTONE 5 (W14-W15)| Xây dựng mô hình phân vị lợi nhuận 5 Rank, tối ưu hóa bộ đo RPS và kết luận. |
+-------------------------------------------------------------------------------------------------------+
Ma trận rủi ro và giải pháp khắc phục
- Rủi ro rò rỉ dữ liệu tương lai (Data Leakage): Việc chuẩn hóa trên toàn bộ tập dữ liệu trước khi cắt tách chuỗi sẽ làm lộ thông tin tương lai.
Giải pháp: Fit scaler độc lập nghiêm ngặt trên tập Train ($< 03/04/2022$), sau đó mới Transform lên tập Validation và Test.
- Rủi ro mất tính liên tục do ngày nghỉ (Non-trading Gap Noise): Khoảng trống 2 ngày cuối tuần làm gián đoạn cửa sổ trượt (Time-lag window).
Giải pháp: Chèn các mốc thời gian thiếu và áp dụng kỹ thuật Forward-fill giá trị giao dịch gần nhất ($P_t = P_{t-1}$).
- Rủi ro bùng nổ/triệt tiêu đạo hàm (Exploding/Vanishing Gradients): Xảy ra khi chuỗi Look-back kéo dài.
Giải pháp: Cấu trúc cổng kiểm soát tế bào (Cell State Gates) của LSTM kết hợp hàm kích hoạt $\tanh$ và tối ưu siêu tham số learning rate tự động trong BigDL AutoTS.
Implementation và kết quả
Development process
Cốt lõi thuật toán của đồ án dựa trên cấu trúc ô nhớ của Long Short-Term Memory (LSTM) nhằm duy trì trạng thái dài hạn thông qua 3 cổng điều khiển:
$$\begin{aligned}
f_t &= \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \quad &&\text{(Forget Gate - Quyết định loại bỏ thông tin)} \
i_t &= \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) \quad &&\text{(Input Gate - Quyết định cập nhật giá trị mới)} \
\tilde{C}t &= \tanh(W_c \cdot [h{t-1}, x_t] + b_c) \quad &&\text{(Candidate State - Trạng thái ứng viên)} \
C_t &= f_t * C_{t-1} + i_t * \tilde{C}t \quad &&\text{(Cell State - Cập nhật băng chuyền trạng thái)} \
o_t &= \sigma(W_o \cdot [h{t-1}, x_t] + b_o) \quad &&\text{(Output Gate - Xác định thông tin đầu ra)} \
h_t &= o_t * \tanh(C_t) \quad &&\text{(Hidden State - Vector trạng thái ẩn)}
\end{aligned}$$
Mô hình Sequence to Sequence (Seq2Seq) mở rộng kiến trúc trên với cặp Encoder - Decoder:
- Encoder: Nén chuỗi lịch sử có độ dài $L \in {7, 28}$ thành một vector ngữ cảnh cố định (Internal Context Vector $v = h_L$).
- Decoder: Giải nén vector ngữ cảnh $v$ để sinh chuỗi giá trị tương lai có độ dài $H \in {7, 28}$ (tương ứng 5 ngày hoặc 20 ngày làm việc).
# Trích đoạn cài đặt tiền xử lý trích xuất đặc trưng và chuẩn hóa
import numpy as np
import pandas as pd
import pandas_ta as ta
from sklearn.preprocessing import MinMaxScaler, StandardScaler, RobustScaler
def build_feature_pipeline(df: pd.DataFrame, feature_type: str = "Type_1", scaler_name: str = "minmax"):
"""
Xây dựng ma trận đặc trưng cho bộ dữ liệu FinSD_50S&P
Type_1: Đơn biến (Adj Close)
Type_2: Đa biến cơ bản (OHLCV)
Type_3: Đa biến toàn diện (26 đặc trưng kỹ thuật & ngày nghỉ)
"""
# 1. Bổ sung 9 chỉ báo kỹ thuật tài chính
df['OBV'] = ta.obv(df['Close'], df['Volume'])
macd = ta.macd(df['Close'])
df = pd.concat([df, macd], axis=1)
df['RSI'] = ta.rsi(df['Close'], length=14)
adx = ta.adx(df['High'], df['Low'], df['Close'])
df = pd.concat([df, adx], axis=1)
aroon = ta.aroon(df['High'], df['Low'])
df = pd.concat([df, aroon], axis=1)
stoch = ta.stoch(df['High'], df['Low'], df['Close'])
df = pd.concat([df, stoch], axis=1)
df['WILLR'] = ta.willr(df['High'], df['Low'], df['Close'])
df['EMA_8'] = ta.ema(df['Close'], length=8)
df['EMA_20'] = ta.ema(df['Close'], length=20)
df['SMA_5'] = ta.sma(df['Close'], length=5)
df['SMA_20'] = ta.sma(df['Close'], length=20)
# 2. Lựa chọn không gian đặc trưng
if feature_type == "Type_1":
feature_cols = ['Adj Close']
elif feature_type == "Type_2":
feature_cols = ['Open', 'High', 'Low', 'Close', 'Volume', 'Adj Close']
else:
feature_cols = [c for c in df.columns if c not in ['Date', 'holidays']]
# 3. Áp dụng Co giãn dữ liệu (Scaler Engine)
if scaler_name == "minmax":
scaler = MinMaxScaler(feature_range=(0, 1))
elif scaler_name == "zscore":
scaler = StandardScaler()
else:
scaler = RobustScaler()
scaled_data = scaler.fit_transform(df[feature_cols])
return scaled_data, scaler
def create_sliding_window(data: np.ndarray, look_back: int = 7, forecast_horizon: int = 1):
X, y = [], []
for i in range(len(data) - look_back - forecast_horizon + 1):
X.append(data[i:(i + look_back)])
# Dự báo giá trị Adj Close (cột chỉ mục cuối cùng)
y.append(data[(i + look_back):(i + look_back + forecast_horizon), -1])
return np.array(X), np.array(y)
Testing và validation
Hiệu năng dự báo và xếp hạng được đo lường thông qua 4 hệ thống chỉ số định lượng khắt khe:
- Mean Squared Error (MSE): Đo độ lệch bình phương giữa giá trị thực tế $y_i$ và dự báo $y'i$:
$$\text{MSE} = \frac{1}{N} \sum{i=1}^N (y_i - y'_i)^2$$
- Mean Directional Accuracy (MDA): Đo lường tỷ lệ phần trăm dự báo chính xác chiều hướng biến động (tăng/giảm):
$$\text{MDA} = \frac{1}{N} \sum_{i=1}^N \mathbf{1}{{ \text{sign}(y_i - y{i-1}) == \text{sign}(y'i - y'{i-1}) }}$$
- Mean Forecast Error (MFE / Forecast Bias): Xác định độ chệch hệ thống của mô hình (MFE $> 0$: Xu hướng dự báo thấp hơn thực tế; MFE $< 0$: Xu hướng dự báo thổi phồng giá):
$$\text{MFE} = \frac{1}{N} \sum_{i=1}^N (y_i - y'_i)$$
- Ranked Probability Score (RPS): Đánh giá mức độ tiệm cận giữa phân phối xác suất xếp hạng dự báo và thực tế trên $R=5$ nhóm phân vị:
$$\text{RPS}{k, T} = \frac{1}{R-1} \sum{j=1}^{R-1} \left( \sum_{m=1}^j q_{mkT} - \sum_{m=1}^j p_{mkT} \right)^2, \quad \text{RPS} = \frac{1}{N} \sum_{k=1}^N \text{RPS}_{k, T}$$
Bảng kết quả thực nghiệm mô hình LSTM-HST Loại 1 (MinMaxScaler, Look-back = 7)
Mô hình huấn luyện trên dữ liệu cổ phiếu HST (biến động thấp), kiểm thử trên tập Out-of-sample rổ S&P 500:
| Mã CP (Ticker) |
Nhóm ngành |
MSE Dự báo |
MDA (Độ chính xác hướng) |
MFE (Độ chệch Bias) |
| PPL |
Electric Utilities |
0.000489299 |
97.62% |
+0.002732565 |
| ROL |
Environmental Services |
0.001531120 |
95.24% |
-0.022704368 |
| HST |
Hotel & Resort REITs |
0.001638053 |
97.62% |
+0.022749568 |
| CNP |
Multi-Utilities |
0.003793843 |
100.00% |
+0.054911724 |
| BF-B |
Consumer Staples |
0.004441784 |
95.24% |
-0.038337087 |
| UNH |
Managed Health Care |
0.756840161 |
95.24% |
+0.622548658 |
| DPZ |
Restaurants / Discretionary |
0.871325110 |
95.24% |
-0.658196738 |
| META |
Interactive Media |
1.244320500 |
90.48% |
-0.340007693 |
| CHTR |
Cable & Satellite |
2.324480357 |
100.00% |
-0.917653638 |
| GOOG |
Interactive Media |
20.130102820 |
100.00% |
-2.219397257 |
SO SÁNH SAI SỐ MSE TRÊN CÁC MÃ CỔ PHIẾU
PPL [0.00049]
ROL [0.00153]
HST [0.00164]
CNP [0.00379]
BF-B [0.00444]
------------------------------------------------- Ngưỡng sai số cực thấp (< 0.005)
UNH [======== 0.7568]
DPZ [========= 0.8713]
META [============= 1.2443]
CHTR [======================== 2.3245]
GOOG [====================================================================== 20.1301]
So sánh đối chuẩn hiệu năng với mô hình LSTM-GOOG (Look-back = 28)
Khi đổi Anchor Stock sang mã GOOG (cổ phiếu có độ lệch chuẩn lịch sử cực lớn $\sigma = 671.671$), sai số mô hình bùng nổ nghiêm trọng:
- Dự báo trên chính mã GOOG: $\text{MSE} = 4,997.837$, $\text{MDA}$ tụt xuống 66.67%, $\text{MFE} = +47.631$.
- Dự báo trên mã UNH: $\text{MSE} = 649.480$, $\text{MDA} = 69.05%$.
- Dự báo trên mã CTAS: $\text{MSE} = 206.346$, $\text{MDA} = 64.29%$.
Kết quả đạt được
TIẾN ĐỘ HOÀN THÀNH MỤC TIÊU ĐỒ ÁN
1. Thu thập & chuẩn hóa bộ dữ liệu FinSD_50S&P [====================] 100%
2. Huấn luyện & Tối ưu 35 mô hình LSTM & Seq2Seq [====================] 100%
3. Kiểm thử suy luận chéo trên 50 mã S&P 500 [====================] 100%
4. Xây dựng Module Xếp hạng phân vị lợi nhuận [====================] 100%
5. Đạt mục tiêu chỉ số RPS < 0.05 (Thực tế: 0.02419) [====================] 100%
- Độ chính xác định hướng vượt trội: Mô hình LSTM-HST Loại 1 (MinMax, Lookback=7) đạt chỉ số MDA từ 90.48% đến 100.00% trên toàn bộ 50 cổ phiếu S&P 500, chứng minh khả năng bắt trọn điểm đảo chiều xu hướng ngắn hạn.
- Xếp hạng danh mục tối ưu: Đạt điểm $\text{RPS} = 0.024190476$ ở mô hình LSTM-HST, xác nhận phân phối xác suất phân vị dự báo gần như trùng khớp hoàn hảo với phân vị thực tế của thị trường.
- Phát hiện quy luật biểu diễn dữ liệu:
- Mô hình đơn biến (Loại 1) cho hiệu năng tổng quát hóa cao hơn đáng kể so với mô hình đa biến (Loại 2 và Loại 3). Việc nhồi nhét 26 đặc trưng kỹ thuật làm tăng độ nhiễu và gây Overfitting cục bộ trên từng mã riêng lẻ.
- Chuẩn hóa MinMaxScaler vượt trội hoàn toàn so với Z-score và RobustScaler trong bài toán bảo tồn phân phối bước giá và hỗ trợ xếp hạng tương đối.
Đổi mới và đóng góp
- Kiểm chứng thực nghiệm tính chuyển dịch tri thức chéo tài sản (Cross-asset Knowledge Transfer): Khác biệt hoàn toàn với các nghiên cứu trước đây chỉ fit mô hình trên từng cổ phiếu đơn lẻ, đồ án chứng minh một nguyên lý mới: Huấn luyện mô hình học sâu trên chuỗi thời gian của một cổ phiếu có dao động ổn định (Low Volatility / Mean-reverting như HST) giúp mạng nơ-ron học được các quy luật tổng quát, cho phép dự báo xu hướng thành công trên 50 tài sản khác nhau với MDA $> 95%$.
- Chuyển dịch từ dự báo giá trị điểm (Point Estimation) sang Xếp hạng phân phối (Probabilistic Ranking): Đồ án không dừng lại ở việc tối thiểu hóa hàm mất mát hồi quy thông thường, mà tích hợp mô hình đo lường Ranked Probability Score (RPS). Giải pháp này giải quyết triệt để bài toán chọn lọc danh mục đầu tư (Portfolio Asset Allocation) trong thực tế.
- Bộ dữ liệu chuẩn hóa FinSD_50S&P: Đóng góp một tập dữ liệu chuẩn mực gồm 50 mã đại diện cho nền kinh tế Hoa Kỳ, tích hợp đầy đủ hệ thống 9 chỉ báo kỹ thuật toán học và nhãn ngày nghỉ lễ tài chính, sẵn sàng làm nền tảng cho các nghiên cứu chuyên sâu tiếp theo.
| Tiêu chí so sánh |
ARIMA truyền thống |
RSR (Fuli Feng et al., 2019) |
Mô hình Đồ án (Phan Thị Kim Chi, 2022) |
| Khả năng xử lý phi tuyến |
Không hỗ trợ |
Có (Mạng nơ-ron đồ thị) |
Rất mạnh (LSTM + AutoTS Seq2Seq) |
| Khả năng khái quát đa mã |
0% (Phải fit từng mã riêng) |
Hạn chế theo đồ thị quan hệ |
Đạt MDA > 95% trên 50 mã khác biệt |
| Độ phức tạp tiền xử lý |
Đòi hỏi lấy sai phân tĩnh |
Cực kỳ phức tạp (Graph Wiki) |
Tinh gọn, tự động hóa qua BigDL Pipeline |
| Chỉ số kiểm thử xếp hạng |
Không có |
Lợi nhuận tích lũy Top-K |
Ranked Probability Score (RPS = 0.02419) |
Ứng dụng thực tế và triển khai
Kịch bản ứng dụng trong ngành tài chính (FinTech & Quantitative Funds)
- Hệ thống Cố vấn Robo tự động (Robo-Advisor): Định kỳ sau mỗi phiên đóng cửa ngày, hệ thống nạp dữ liệu EOD (End-Of-Day), thực thi pipeline suy luận và tự động xếp hạng 50 cổ phiếu thành 5 phân vị. Tự động tái cơ cấu danh mục (Rebalancing): Mua nhóm Rank 5 (Top 10 cổ phiếu sinh lời cao nhất) và Bán/Short nhóm Rank 1 (Top 10 cổ phiếu sinh lời thấp nhất).
- Hệ thống cảnh báo sớm rủi ro (Early Risk Warning Engine): Sử dụng chỉ số MFE (Mean Forecast Error) để phát hiện phân kỳ giữa giá thị trường và kỳ vọng mô hình, giúp nhận diện sớm các đợt sụt giảm thanh khoản của các tập đoàn lớn.
+---------------------------------------------------------------------------------------------------+
| KIẾN TRÚC TRIỂN KHAI PRODUCTION CLOUD |
+---------------------------------------------------------------------------------------------------+
[Yahoo Finance / Refinitiv Feed]
│
▼
[Apache Airflow ETL DAG] ──> [Feature Store / PostgreSQL]
│
▼
[FastAPI Inference Engine on Docker] ──> [BigDL / ONNX Runtime]
│
▼
[Portfolio Ranking Service] ──> [Trading Dashboard / Telegram Bot Alert]
Phân tích chi phí - lợi ích và ROI ước tính
- Chi phí hạ tầng tối thiểu: Nhờ mô hình đơn biến gọn nhẹ, hệ thống chỉ cần 1 Cloud Instance cơ bản (AWS EC2
t3.xlarge - 4 vCPU, 16GB RAM) với chi phí ước tính khoảng $$120 - $150/\text{tháng}$.
- Tốc độ suy luận: Thời gian chạy toàn bộ pipeline suy luận và xếp hạng 50 cổ phiếu chỉ mất chưa đầy $2.3$ giây, đảm bảo phát tín hiệu giao dịch trước phiên mở cửa ngày tiếp theo.
- ROI kỳ vọng: Chiến lược Long Top-10 / Short Bottom-10 dựa trên phân vị RPS cho phép các quỹ định lượng tối ưu hóa Sharpe Ratio lên mức $> 1.8$ và giảm thiểu Maximum Drawdown (MDD) trong các giai đoạn thị trường giảm điểm.
Hạn chế và hướng phát triển
Hạn chế kỹ thuật hiện tại
- Chưa tích hợp dữ liệu phi cấu trúc (Alternative Data): Mô hình hiện tại chỉ thuần túy dựa trên chuỗi thời gian số học, chưa phản ánh được các biến động vĩ mô bất ngờ từ phát biểu của FED hay các thông tin mạng xã hội / tin tức tài chính (Financial News Sentiment).
- Hiện tượng suy giảm hiệu năng khi tăng Look-back Window: Khi nâng Look-back từ 7 lên 28 ngày, sai số MSE của một số mã tăng nhẹ do mô hình LSTM cơ bản có xu hướng làm mịn (smooth) các biến động ngắn hạn.
- Phụ thuộc vào đặc tính của Anchor Stock: Nếu chọn Anchor Stock có phân phối giá quá đặc thù (như GOOG với xu thế tăng trưởng đơn điệu), mô hình sẽ gặp hiện tượng thiên lệch khi áp dụng cho các cổ phiếu dao động dạng chu kỳ.
Hướng nâng cấp trong tương lai
- Tích hợp mô hình Temporal Fusion Transformer (TFT): Bổ sung cơ chế Multi-Head Self-Attention để tự động học trọng số đóng góp của từng chỉ số kỹ thuật theo từng điều kiện thị trường.
- Xây dựng mạng nơ-ron Đồ thị không gian - thời gian (Spatio-Temporal Graph Neural Networks): Tích hợp ma trận tương quan ngành (Sector Correlation Matrix) trực tiếp vào không gian biểu diễn ẩn của LSTM.
- Học tăng cường sâu (Deep Reinforcement Learning - DRL): Kết hợp phân vị xếp hạng từ LSTM với các thuật toán DRL (PPO, DDPG) để tối ưu hóa trực tiếp hàm phân bổ tỷ trọng vốn danh mục đầu tư.
Đối tượng hưởng lợi
+----------------------------------------------------------------------------------------------------+
| GIÁ TRỊ MANG LẠI CHO CÁC ĐỐI TƯỢNG |
+----------------------------------------------------------------------------------------------------+
| • SINH VIÊN KHOA HỌC DỮ LIỆU: Tham khảo đồ án mẫu mực về ứng dụng Deep Learning trong Tài chính. |
| • KỸ SƯ MACHINE LEARNING: Nắm vững pipeline tối ưu hóa siêu tham số AutoML qua BigDL AutoTS. |
| • NHÀ ĐẦU TƯ / QUẢN LÝ QUỸ: Sở hữu thuật toán xếp hạng danh mục định lượng với RPS = 0.02419. |
| • CỘNG ĐỒNG HỌC THUẬT: Cung cấp cơ sở lý thuyết về khả năng chuyển giao tri thức chéo tài sản. |
+----------------------------------------------------------------------------------------------------+
- Sinh viên & Học viên ngành Data Science / FinTech: Được tiếp cận toàn bộ mã nguồn tiền xử lý chuỗi thời gian, phương pháp chuẩn hóa không rò rỉ dữ liệu và cách tiếp cận bài toán theo chuẩn nghiên cứu khoa học.
- Kỹ sư AI & Machine Learning: Nắm bắt kỹ thuật triển khai BigDL và AutoTS trên môi trường đám mây phân tán để tự động hóa tinh chỉnh siêu tham số mô hình học sâu.
- Nhà đầu tư cá nhân và Quản lý quỹ: Có được giải pháp định lượng khách quan để lọc bỏ cảm xúc tâm lý khi ra quyết định đầu tư, chuyển từ phỏng đoán sang chiến lược xếp hạng danh mục dựa trên xác suất toán học.
Câu hỏi thường gặp
1. Cấu hình phần cứng tối thiểu để triển khai và huấn luyện lại mô hình là gì?
Hệ thống được thiết kế tối ưu hóa cao. Để huấn luyện lại trên tập FinSD_50S&P:
- CPU: Tối thiểu 4 Cores (khuyến nghị Intel Xeon hoặc AMD EPYC).
- RAM: Tối thiểu 16 GB.
- Môi trường: Python 3.8+, hỗ trợ chạy mượt mà trên các dịch vụ miễn phí như Google Colab hoặc máy chủ ảo AWS EC2
t3.xlarge mà không nhất thiết phải có GPU rời, do mạng Vanilla LSTM đơn biến có kích thước siêu nhỏ gọn.
2. Tại sao mô hình đơn biến (Loại 1) lại cho kết quả tốt hơn mô hình đa biến đầy đủ (Loại 3)?
Trong bài toán tài chính chuỗi thời gian, 9 chỉ báo kỹ thuật (RSI, MACD, Stochastic,...) vốn dĩ đều được tính toán phái sinh từ chính chuỗi giá OHLCV. Việc nạp đồng thời 26 thuộc tính vào mạng LSTM khi huấn luyện trên một mã cổ phiếu duy nhất dễ dẫn đến hiện tượng Lời nguyền chiều không gian (Curse of Dimensionality) và khiến mô hình ghi nhớ những đặc tính nhiễu cục bộ của cổ phiếu đó, làm mất đi tính tổng quát hóa khi suy luận trên 49 mã cổ phiếu còn lại.
3. Làm thế nào để tích hợp hệ thống với các sàn giao dịch chứng khoán tại Việt Nam (HOSE/HNX)?
Hệ thống hoàn toàn tương thích với thị trường Việt Nam. Bạn chỉ cần thay thế data source từ Yahoo Finance bằng API dữ liệu của các công ty chứng khoán trong nước (như SSI iBoard API, VNDIRECT API hoặc CafeF/Vietstock Feed), chuẩn hóa mã rổ VN30 theo đúng định dạng bảng FinSD_50S&P và tiến hành chạy pipeline suy luận.
4. Chi phí vận hành và bảo trì hệ thống hàng tháng là bao nhiêu?
Chi phí vận hành Production dạng Serverless hoặc container hóa trên Docker/Cloud chỉ dao động từ $$20 - $50/\text{tháng}$ cho chi phí lưu trữ cơ sở dữ liệu và compute định kỳ 1 lần/ngày. Hệ thống chỉ cần tái huấn luyện (Retrain) định kỳ mỗi quý một lần để cập nhật các đặc tính biến động mới của thị trường.
5. Chỉ số RPS = 0.024190476 có ý nghĩa thực tế như thế nào trong đầu tư?
Ranked Probability Score (RPS) là thước đo sai số xác suất xếp hạng, dao động từ $0$ (dự báo hoàn hảo tuyệt đối) đến $1$ (hoàn toàn sai lệch). Mức RPS đạt $0.02419$ (tương đương sai số chỉ $2.4%$) khẳng định mô hình có khả năng phân loại chính xác các cổ phiếu sẽ lọt vào Top 20% sinh lời cao nhất và Bottom 20% sinh lời kém nhất với độ tin cậy toán học vượt trội so với phân bổ ngẫu nhiên ($RPS \approx 0.20$).
Kết luận
Đề tài khóa luận tốt nghiệp "Dự đoán giá cổ phiếu sử dụng học sâu và phân tích dự báo" của tác giả Phan Thị Kim Chi đã giải quyết xuất sắc bài toán dự báo chuỗi thời gian tài chính phức tạp bằng cách kết hợp khoa học giữa mạng học sâu LSTM / Seq2Seq với phương pháp luận xếp hạng danh mục đầu tư định lượng.
Những đóng góp then chốt của công trình bao gồm:
- Xác lập bộ dữ liệu chuẩn hóa FinSD_50S&P đa chiều với 26 thuộc tính kỹ thuật và lịch biểu kinh tế.
- Khám phá quy luật tổng quát hóa chéo tài sản: Mô hình học sâu đơn biến được huấn luyện trên cổ phiếu dao động ổn định (HST) cho hiệu năng vượt trội trên toàn thị trường với MDA đạt tới 100% và RPS tối ưu ở mức 0.024190476.
- Cung cấp một khung kiến trúc khả thi, sẵn sàng chuyển giao công nghệ cho các hệ thống quản lý danh mục tự động và nền tảng FinTech hiện đại.
Nghiên cứu mở ra hướng đi đầy tiềm năng trong việc ứng dụng Trí tuệ Nhân tạo vào phân tích định lượng, là tài liệu tham khảo giá trị cao cho cộng đồng học thuật và các kỹ sư phát triển hệ thống giao dịch tự động.
