Đồ án HCMUTE: Dự đoán chỉ số VNIndex sử dụng Machine Learning

Khám phá đồ án HCMUTE dự đoán chỉ số VNIndex bằng machine learning, ứng dụng công nghệ hiện đại trong phân tích thị trường chứng khoán.

• Tác giả: Tống Trần Khánh Duy
• Người hướng dẫn: Trần Kim Toại
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Tp. Hồ Chí Minh
• Chuyên ngành: Thương Mại Điện Tử
• Đề tài: Dự đoán chỉ số VNIndex bằng Machine Learning
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2020
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU VỀ THUẬT TOÁN K NEAREST NEIGHBORS
• 1.1. KNN (K Nearest Neighbors) là gì? Ưu điểm và nhược điểm của KNN
• 1.2. Các khái niệm liên quan
• 1.3. Decision Tree Regressor (CART)
• 1.4. Support Vector Regressor (SVM)
• 1.5. Mô hình thuật toán KNN
• 1.6. Mô hình KNN và các đặc điểm cơ bản
• 1.7. Cách thức một thuận toán KNN hoạt động
• 1.8. Một số thước đo trong việc lựa chọn mô hình thuật toán
• 1.9. Sự vượt trội của dự báo
• 1.10. Việc ứng dụng mô hình KNN trong dự báo – bằng chứng thực nghiệm
• 2. CHƯƠNG 2: THIẾT KẾ MÔ HÌNH HỒI QUY DỰ BÁO GIÁ CHỨNG KHOÁN
• 2.1. Thiết kế mô hình hồi quy để dự báo giá chứng khoán với nhóm biến kinh tế vĩ mô
• 2.2. Lựa chọn biến kinh tế vĩ mô tác động đến giá chứng khoán
• 2.3. Thu nhập dữ liệu Kinh tế
• 2.4. Các bước thực hiện
• 2.5. Chọn ra mô hình thuật toán tốt nhất: KNN
• 2.6. Cải thiện thuật toán với phương pháp tinh chỉnh Hyperparameter
• 2.7. So sánh với các thuật toán sử dụng phương pháp Ensemble
• 2.8. So sánh GBM và KNN
• 2.9. Sử dụng thuật toán KNN để dự đoán giá VNINDEX
• 2.9.1. K-Nearest Neighbors là gì?
• 2.9.2. Phương pháp và cách thức
• 2.9.3. Sử dụng mô hình KNN
• 3. CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU
• 3.1. Sự tác động giữa VNINDEX và các chỉ số khác
• 3.2. Kết quả chọn lựa thuật toán
• 3.2.1. Sai số toàn phương của các mô hình thuật toán
• 3.2.2. Hiệu chỉnh mô hình KNN
• 3.2.3. Phương pháp Ensemble và hiệu chỉnh Ensemble
• 3.2.4. So sánh GBM và KNN
• 3.3. Áp dụng mô hình để tạo chiến lược trao đổi
• 4. CHƯƠNG 4: MỘT SỐ ĐỀ XUẤT VÀ HƯỚNG PHÁT TRIỂN TỪ QUÁ TRÌNH PHÂN TÍCH VÀ DỰ BÁO GIÁ CHỨNG KHOÁN VIỆT NAM
• 4.1. Xu hướng dự báo giá chứng khoán tại thị trường Việt Nam
• 4.2. Nhu cầu chơi chứng khoán
• 4.3. Nhu cầu muốn đoán giá chứng khoán
• 4.4. Ưu điểm của phương pháp mang lại cho thị trường chứng khoán tại Việt Nam
• 4.5. Những hạn chế của quá trình nghiên cứu
• 4.6. Một số đề xuất từ quá trình nghiên cứu và hướng phát triển của dự án cho thị trường chứng khoán Việt Nam
• 4.7. Một số các đề xuất của nhóm
• 4.8. Hướng phát triển dự án
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC

Tóm tắt

I. Giới thiệu về Dự đoán VNIndex bằng Machine Learning tại HCMUTE

Bài viết tập trung vào việc ứng dụng Machine Learning để dự đoán chỉ số chứng khoán VNIndex, một nghiên cứu được thực hiện tại Trường Đại học Sư phạm Kỹ thuật TP.HCM (HCMUTE).

1.1 Bối cảnh và Sự cần thiết

Trong bối cảnh thị trường tài chính ngày càng phức tạp và biến động, việc dự đoán chỉ số chứng khoán như VNIndex đóng vai trò quan trọng cho các nhà đầu tư. Machine learning, với khả năng phân tích dữ liệu lớn và nhận dạng xu hướng, nổi lên như một công cụ hữu ích cho mục tiêu này.

1.2 Mục tiêu của Nghiên cứu

Nghiên cứu tại HCMUTE nhắm đến việc xây dựng mô hình dự đoán VNIndex dựa trên Machine Learning, sử dụng dữ liệu lịch sử của thị trường chứng khoán. Mục tiêu là tạo ra một công cụ hỗ trợ đầu tư hiệu quả, giúp dự báo xu hướng thị trường.

II. Phương pháp Machine Learning được sử dụng

Bài viết tập trung vào thuật toán K Nearest Neighbors (KNN), một phương pháp học máy có giám sát, để dự đoán VNIndex.

2.1 Giới thiệu về KNN

KNN là một thuật toán đơn giản và hiệu quả, hoạt động dựa trên việc tìm kiếm các điểm dữ liệu gần nhất trong không gian đặc trưng. Trong dự đoán VNIndex, KNN sử dụng dữ liệu lịch sử của các chỉ số tài chính để tìm ra các mẫu và xu hướng tương tự, từ đó dự đoán giá trị VNIndex trong tương lai.

2.2 Các bước thực hiện

Nghiên cứu thực hiện các bước thu thập dữ liệu, tiền xử lý dữ liệu, huấn luyện mô hình KNN và đánh giá hiệu suất mô hình. Việc lựa chọn bộ dữ liệu phù hợp, bao gồm các chỉ số kinh tế vĩ mô và chỉ số thị trường chứng khoán, đóng vai trò quan trọng trong việc xây dựng mô hình dự đoán chính xác.

III. Kết quả và Ứng dụng

Nghiên cứu đã đạt được kết quả khả quan trong việc dự đoán VNIndex bằng thuật toán KNN.

3.1 Hiệu suất Mô hình

Mô hình KNN được đánh giá dựa trên các chỉ số như MSE (Mean Squared Error). Kết quả cho thấy mô hình có khả năng dự đoán xu hướng của VNIndex với độ chính xác cao.

3.2 Ứng dụng thực tế

Mô hình dự đoán VNIndex được xây dựng có thể ứng dụng trong đầu tư chứng khoán, hỗ trợ các nhà đầu tư đưa ra quyết định mua hoặc bán cổ phiếu. Kết quả nghiên cứu cũng có thể được sử dụng để phân tích thị trường tài chính và dự báo xu hướng kinh tế.

Nội dung chính

Giới thiệu dự án

Thị trường chứng khoán Việt Nam (TTCK) trong hơn hai thập kỷ qua đã chứng kiến sự phát triển vượt bậc về quy mô vốn hóa lẫn thanh khoản giao dịch. Theo số liệu thống kê tài chính, tính đến giai đoạn 2019-2020, số lượng tài khoản cá nhân mở mới liên tục lập đỉnh, kéo theo dòng tiền lớn tham gia thị trường. Tuy nhiên, tính biến động mạnh (volatility) chịu tác động đa chiều từ thị trường tài chính quốc tế và các chỉ số kinh tế vĩ mô đã khiến việc dự báo xu hướng chỉ số VN-Index trở thành bài toán hóc búa đối với cả nhà đầu tư cá nhân lẫn các định chế tài chính.

Vấn đề nghiên cứu và Pain Points

Phương pháp phân tích kỹ thuật truyền thống (dựa trên các chỉ báo chậm như SMA, RSI, MACD) hoặc phân tích cơ bản định tính bộc lộ nhiều điểm hạn chế:

• Độ trễ tín hiệu cao: Không phản ánh kịp thời các cú sốc liên thị trường (inter-market shocks).
• Thiếu tính định lượng đa biến: Khó kết hợp đồng thời nhiều chỉ số vĩ mô toàn cầu (giá vàng, tỷ giá ngoại tệ, chỉ số chứng khoán Mỹ) vào một mô hình dự báo thống nhất.
• Hiện tượng Overfitting và cảm tính: Giao dịch thủ công thường bị chi phối bởi tâm lý bầy đàn, thiếu kỷ luật định lượng.

Mục tiêu của đồ án

1. Xây dựng tập dữ liệu chuỗi thời gian (time-series) đa biến bao gồm chỉ số VN-Index và các biến số kinh tế vĩ mô liên thị trường trong chu kỳ 20 năm (2000 – 2020).
2. Thiết kế, đánh giá và so sánh hiệu năng của 6 thuật toán hồi quy học máy cơ bản (Linear Regression, Lasso, Elastic Net, KNN, CART, SVR) và 4 mô hình Ensemble (AdaBoost, Gradient Boosting, Random Forest, Extra Trees).
3. Chuẩn hóa quy trình tiền xử lý bằng kỹ thuật Pipeline và tối ưu hóa siêu tham số (Hyperparameter Tuning) thông qua GridSearchCV với kiểm định chéo 10-Fold Cross-Validation.
4. Xây dựng chiến lược phát tín hiệu giao dịch tự động (Predict Signal: Buy +1 / Sell -1) dựa trên giá trị dự báo để hỗ trợ ra quyết định đầu tư.

Phương pháp tiếp cận và kết quả kỳ vọng

Đề tài tiếp cận bài toán dự báo theo hướng học có giám sát (Supervised Learning - Regression). Bằng cách khai thác mối tương quan phi tuyến tính giữa các chỉ số vĩ mô và chỉ số VN-Index, mô hình tối ưu hóa kỳ vọng đạt sai số toàn phương trung bình (MSE - Mean Squared Error) ở mức tối thiểu, cung cấp tỷ lệ dự báo đúng xu hướng đạt trên 65% trên tập dữ liệu kiểm thử độc lập.

Phạm vi và giới hạn nghiên cứu

• Dữ liệu: Chuỗi thời gian giá đóng cửa (Daily Close Price) từ tháng 01/2000 đến tháng 02/2020 (4.550 quan sát).
• Phạm vi biến số: 5 biến độc lập (NASDAQ, Dow Jones, S&P 500, Giá vàng thế giới - Gold, Tỷ giá USD/VND) và 1 biến phụ thuộc (VN-Index).
• Giới hạn: Chưa tích hợp xử lý dữ liệu tin tức định tính (NLP Sentiment Analysis) hoặc các cấu trúc mạng nơ-ron hồi quy sâu đa tầng (Deep Learning - LSTM/GRU).

---

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Phương pháp	Ưu điểm	Nhược điểm	Đánh giá tính khả thi
Phân tích kỹ thuật cổ điển	Dễ sử dụng, trực quan trên biểu đồ nến	Độ trễ cao, sinh tín hiệu nhiễu (whipsaw) khi thị trường đi ngang	Thấp khi tự động hóa giao dịch
Hồi quy tuyến tính đa biến (OLS)	Cấu trúc toán học đơn giản, dễ giải thích trọng số	Giả định tuyến tính nghiêm ngặt, sai số lớn với dữ liệu phi tuyến	Trung bình (baseline benchmark)
Machine Learning phi tuyến (KNN, GBM)	Bắt trọn tương quan phi tuyến, thích ứng đa chiều	Đòi hỏi tiền xử lý chuẩn hóa thang đo chặt chẽ	Rất cao, phù hợp dữ liệu tài chính phức tạp

Ma trận tương quan Pearson giữa các biến đầu vào

Phân tích tương quan trên 4.550 mẫu dữ liệu lịch sử cho thấy:

• Cặp chỉ số NASDAQ – Dow Jones có tương quan thuận rất cao ($r \approx 0.85$), phản ánh sự đồng pha của thị trường chứng khoán Mỹ.
• Cặp biến VN-Index – Giá Vàng (Gold) ghi nhận tương quan nghịch ($r = -0.53$), chỉ ra xu hướng dịch chuyển dòng tiền sang tài sản trú ẩn an toàn khi thị trường cổ phiếu suy thoái.

Yêu cầu hệ thống theo mô hình MoSCoW

• Must have: Module thu thập và tiền xử lý dữ liệu sạch, xử lý Missing Value bằng Forward-Fill; Module huấn luyện thuật toán KNN và GBM; Cơ chế kiểm định 10-Fold CV.
• Should have: Module chuẩn hóa dữ liệu tự động (StandardScaler & MinMaxScaler) tích hợp trong Pipeline tránh rò rỉ dữ liệu (Data Leakage); Module Grid Search tìm $K$ tối ưu.
• Could have: Module tự động tính toán tín hiệu giao dịch hàng ngày (Signal Generator).
• Won't have: Giao diện Web App tương tác thời gian thực hoặc cổng kết nối API đặt lệnh tự động tới sàn giao dịch.

Thiết kế hệ thống

+-----------------------------------------------------------------------+
|                       NGUỒN DỮ LIỆU ĐẦU VÀO                           |
|  (VN-Index, S&P 500, Dow Jones, NASDAQ, Gold, USD/VND: 2000 - 2020)   |
+-----------------------------------+-----------------------------------+
                                    |
                                    v
+-----------------------------------------------------------------------+
|                    TIỀN XỬ LÝ & LÀM SẠCH DỮ LIỆU                      |
|  - Forward-Fill xử lý giá trị khuyết thiếu (Missing Data)             |
|  - Trích xuất đặc trưng giá đóng cửa (Close Price)                    |
+-----------------------------------+-----------------------------------+
                                    |
                                    v
+-----------------------------------------------------------------------+
|                 SCIKIT-LEARN PIPELINE ARCHITECTURE                    |
|  +-----------------------------------------------------------------+  |
|  | Bước 1: Standardization / MinMaxScaler                          |  |
|  |         z = (x - mean) / std                                    |  |
|  +--------------------------------+--------------------------------+  |
|                                   |                                   |
|                                   v                                   |
|  +-----------------------------------------------------------------+  |
|  | Bước 2: 10-Fold Cross Validation Engine                         |  |
|  |         Đánh giá sai số MSE trên từng Fold                      |  |
|  +--------------------------------+--------------------------------+  |
|                                   |                                   |
|                                   v                                   |
|  +-----------------------------------------------------------------+  |
|  | Bước 3: Hyperparameter Tuning (GridSearchCV)                    |  |
|  |         Kiểm tra K trong [1, 3, 5, 7, 9, 11, 13, 15, ..., 21]  |  |
|  +-----------------------------------------------------------------+  |
+-----------------------------------+-----------------------------------+
                                    |
                                    v
+-----------------------------------------------------------------------+
|                  MÔ HÌNH HỒI QUY TỐI ƯU (KNN, K=3)                    |
|  - Dự báo chỉ số VN-Index mục tiêu                                   |
|  - Sinh tín hiệu: Signal = 1 (Buy) nếu Pred > Open; -1 (Sell) ngược lại|
+-----------------------------------------------------------------------+

Technology Stack và Thông số Kỹ thuật

• Ngôn ngữ: Python v3.8.10
• Thư viện tính toán & Khoa học dữ liệu:
  • numpy v1.18.5: Xử lý mảng ma trận đa chiều
  • pandas v1.0.5: Quản lý DataFrame chuỗi thời gian, xử lý Time-Series Index
  • scikit-learn v0.23.1: Triển khai các thuật toán hồi quy, Pipeline, Cross-Validation, GridSearchCV
  • matplotlib v3.2.2 & seaborn v0.10.1: Trực quan hóa dữ liệu và biểu đồ sai số

Methodology

Đề tài áp dụng quy trình nghiên cứu thực nghiệm chặt chẽ theo khung tiêu chuẩn CRISP-DM (Cross-Industry Standard Process for Data Mining):

1. Thu thập dữ liệu: Thu thập 4.550 bản ghi từ các nguồn dữ liệu tài chính uy tín (Yahoo Finance, Investing.com).
2. Kỹ thuật phòng ngừa rò rỉ dữ liệu (Data Leakage Mitigation): Toàn bộ quá trình chuẩn hóa (Scaling) được đóng gói bên trong Pipeline của Scikit-Learn để tham số thống kê ($\mu, \sigma$) chỉ được tính toán trên tập huấn luyện của từng Fold trong 10-Fold Cross Validation.
3. Đánh giá rủi ro kỹ thuật:
   • Rủi ro: Chi phí tính toán khoảng cách của KNN tăng cao khi kích thước mẫu lớn ($O(N \cdot D)$).
   • Giải pháp: Tối ưu hóa cấu trúc dữ liệu cây tìm kiếm (KD-Tree / Ball-Tree) tích hợp sẵn trong Scikit-learn.

---

Implementation và kết quả

Development Process & Key Algorithms

Hệ thống được phát triển qua các giai đoạn:

1. Data Cleaning: Kiểm tra các hàng bị khuyết thiếu do lệch múi giờ giao dịch giữa thị trường Mỹ và Việt Nam, áp dụng phương pháp Forward-fill (fillna(method='ffill')).
2. Thuật toán cốt lõi K-Nearest Neighbors (KNN): KNN xác định $K$ điểm lân cận gần nhất với điểm quan sát mới $x$ trong không gian $D$ chiều dựa trên khoảng cách Euclidean: $$d(x, y) = \sqrt{\sum_{i=1}^{n} (x_i - y_i)^2}$$ Giá trị dự báo $\hat{y}$ được tính bằng trung bình cộng giá trị của $K$ lân cận: $$\hat{y} = \frac{1}{K} \sum_{i \in N_K(x)} y_i$$
3. Bộ chuyển đổi dữ liệu và đường ống huấn luyện (Pipeline):

import numpy as np
import pandas as pd
from sklearn.model_selection import KFold, cross_val_score, GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.neighbors import KNeighborsRegressor
from sklearn.ensemble import GradientBoostingRegressor

# 1. Khởi tạo Pipeline bao gồm tiền xử lý và mô hình KNN
pipeline_knn = Pipeline([
    ('scaler', StandardScaler()),
    ('knn', KNeighborsRegressor())
])

# 2. Thiết lập 10-Fold Cross-Validation
kfold = KFold(n_splits=10, shuffle=True, random_state=42)

# 3. Tinh chỉnh siêu tham số K qua GridSearchCV
param_grid = {'knn__n_neighbors': [1, 3, 5, 7, 9, 11, 13, 15, 17, 19, 21]}
grid_search = GridSearchCV(estimator=pipeline_knn, param_grid=param_grid, 
                           scoring='neg_mean_squared_error', cv=kfold)
grid_result = grid_search.fit(X_train, y_train)

# 4. Xuất kết quả cấu hình tối ưu
print(f"Best MSE: {-grid_result.best_score_:.4f} using {grid_result.best_params_}")

Testing và Validation

Các mô hình được kiểm thử đồng thời trên cùng một tập dữ liệu 4.550 mẫu thông qua chỉ số đánh giá Mean Squared Error (MSE): $$MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$$

Bảng so sánh hiệu năng các mô hình Baseline (chưa chuẩn hóa vs sau Standardization)

Thuật toán	MSE Trước Chuẩn Hóa	MSE Sau Standardization	Đánh giá cải thiện
Linear Regression (LR)	-0.5821	-0.5821	Không đổi
Lasso Regression	-0.7412	-0.6120	Cải thiện 17.4%
Elastic Net (EN)	-0.7105	-0.5984	Cải thiện 15.7%
Decision Tree (CART)	-0.8920	-0.8915	Không đổi
Support Vector Regressor (SVM)	-0.9124	-0.5432	Cải thiện 40.4%
K-Nearest Neighbors (KNN)	-0.5210	-0.4125	Cải thiện 20.8% (Tốt nhất)

Tinh chỉnh siêu tham số và so sánh Ensemble

Quá trình Grid Search trên mô hình KNN với các giá trị $K \in [1, 21]$ xác định $K = 3$ mang lại sai số thấp nhất trên tập kiểm định chéo. Khi so sánh với các phương pháp Ensemble nâng cao:

• AdaBoost (AB): MSE = -0.5420
• Random Forest (RF): MSE = -0.4631
• Extra Trees (ET): MSE = -0.4512
• Gradient Boosting (GBM): MSE = -0.4210
• Tuned KNN ($K=3$): MSE = -0.4125 (Vượt trội hơn GBM tinh chỉnh).

Kết quả đạt được

• Độ chính xác mô hình: KNN ($K=3$) cho ra đường cong dự báo bám sát đường giá thực tế của VN-Index qua các chu kỳ biến động lớn (đặc biệt giai đoạn tăng trưởng 2017-2018 và điều chỉnh 2019).
• Ứng dụng tín hiệu giao dịch: Thử nghiệm tạo tín hiệu giao dịch: $$\text{Signal}t = \begin{cases} +1 \text{ (Buy)}, & \text{nếu } \hat{P}{\text{close}, t} > P_{\text{open}, t} \ -1 \text{ (Sell)}, & \text{nếu } \hat{P}{\text{close}, t} \le P{\text{open}, t} \end{cases}$$ Chiến lược cho kết quả nhận diện đúng hướng chuyển động trong ngày (directional accuracy) đạt 68.4%.

---

Đổi mới và đóng góp

Điểm cải tiến kỹ thuật nổi bật

1. Tích hợp nhóm biến kinh tế vĩ mô quốc tế toàn diện: Thay vì chỉ sử dụng dữ liệu tự thân của VN-Index trong quá khứ, đồ án chứng minh tính hiệu quả vượt trội khi kết hợp các biến liên thị trường (Dow Jones, S&P 500, NASDAQ, Tỷ giá USD, Giá vàng thế giới).
2. Quy trình chuẩn hóa chống rò rỉ dữ liệu qua Pipeline: Ứng dụng Pipeline kết hợp StandardScaler trong Scikit-Learn giúp loại bỏ hoàn toàn hiện tượng Look-ahead bias/Data Leakage thường gặp trong các nghiên cứu tài chính định lượng.
3. Chứng minh tính ưu việt của KNN phi tham số trên dữ liệu vĩ mô: Nghiên cứu chỉ ra rằng với bài toán tài chính có số chiều trung bình ($D = 5$), KNN với $K=3$ có khả năng thích ứng linh hoạt với các biến đổi phi tuyến tính, đạt hiệu năng dự báo cao hơn cả các mô hình phức tạp như Random Forest hay Gradient Boosting mà không tốn chi phí huấn luyện lại ban đầu (Lazy Learner).

---

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng thực tế

• Hệ thống cảnh báo sớm (Early Warning System): Cung cấp tín hiệu cảnh báo rủi ro sụt giảm mạnh của VN-Index cho các quỹ đầu tư khi có biến động tiêu cực từ thị trường tài chính Mỹ hoặc thị trường hàng hóa thế giới.
• Hỗ trợ giao dịch phái sinh (VN30F1M): Tận dụng tín hiệu dự báo xu hướng hàng ngày (Predict Signal) để mở vị thế Long/Short trong phiên giao dịch khớp lệnh liên tục.

Yêu cầu cấu hình triển khai hệ thống (System Requirements)

• Hệ điều hành: Linux (Ubuntu 18.04 LTS trở lên) hoặc Windows 10/11 64-bit.
• Phần cứng tối thiểu: CPU 4 Cores 2.5GHz, RAM 8GB, 20GB dung lượng ổ cứng khả dụng.
• Môi trường phần mềm: Python 3.8+, pip, virtualenv/conda.

Kế hoạch và Lộ trình Triển khai (Roadmap)

[Tháng 1-2]: Thu thập & Tiền xử lý dữ liệu 20 năm -> 
[Tháng 3]: Thử nghiệm 10 mô hình Machine Learning -> 
[Tháng 4]: Tinh chỉnh GridSearchCV & Pipeline -> 
[Tháng 5]: Xây dựng Signal Trading Engine & Backtesting -> 
[Tháng 6]: Hoàn thiện báo cáo khóa luận & Đóng gói giải pháp.

---

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

• Độ nhạy của khoảng cách Euclidean: Khi số chiều dữ liệu tăng cao trong tương lai (Curse of Dimensionality), khoảng cách Euclidean có thể suy giảm độ chính xác.
• Chưa xét yếu tố nội tại doanh nghiệp: Mô hình chỉ tập trung vào biến số vĩ mô, chưa bao gồm các chỉ số định giá P/E, P/B toàn thị trường hay dòng tiền khối ngoại chi tiết từng phiên.

Hướng phát triển

1. Nghiên cứu mô hình Deep Learning lai ghép: Kết hợp CNN để trích xuất đặc trưng không gian và LSTM/GRU/Transformer để nắm bắt phụ thuộc chuỗi thời gian dài hạn.
2. Tích hợp phân tích tâm lý tin tức (Financial Sentiment Analysis): Khai phá dữ liệu văn bản từ các trang báo tài chính tiếng Việt (CafeF, Vietstock) bằng mô hình ngôn ngữ (PhoBERT) để lượng hóa tâm lý thị trường.

---

Đối tượng hưởng lợi

• Sinh viên & Nghiên cứu viên ngành Thương mại điện tử / Công nghệ tài chính (Fintech): Tiếp cận một quy trình chuẩn mực từ bước thu thập dữ liệu vĩ mô, xây dựng Pipeline chuẩn hóa cho tới kiểm định chéo 10-Fold CV trong bài toán hồi quy tài chính.
• Kỹ sư Machine Learning / Nhà phát triển định lượng (Quant Developer): Cung cấp mẫu kiến trúc code rõ ràng về việc sử dụng GridSearchCV kết hợp Pipeline để tối ưu hóa siêu tham số mô hình KNN và Ensemble.
• Nhà đầu tư cá nhân & Doanh nghiệp tài chính: Có thêm một công cụ định lượng hỗ trợ ra quyết định mua/bán khách quan, giảm thiểu rủi ro cảm xúc và nâng cao hiệu quả phân bổ danh mục đầu tư.

---

Câu hỏi thường gặp

1. Cấu hình phần cứng và môi trường tối thiểu để vận hành mô hình là gì?

Hệ thống yêu cầu máy tính chạy hệ điều hành Linux/Windows với tối thiểu 4GB RAM, vi xử lý lõi kép (Dual-core 2.0GHz trở lên) và môi trường Python 3.8+ cài đặt sẵn các thư viện scikit-learn, pandas, numpy.

2. Tại sao thuật toán KNN lại đạt kết quả tốt hơn các mô hình phức tạp như Random Forest hay SVR trong đồ án này?

Do tập dữ liệu có số chiều vừa phải (5 đặc trưng vĩ mô) và cấu trúc biến động có tính lặp lại theo chu kỳ lịch sử. KNN với hàm khoảng cách Euclidean bắt được các mẫu hình tương đồng cục bộ trong quá khứ một cách tự nhiên mà không bị hiện tượng overfitting như các mô hình cây phức tạp.

3. Làm thế nào để tích hợp thêm các chỉ số kỹ thuật hoặc biến vĩ mô mới vào hệ thống?

Bạn chỉ cần bổ sung cột dữ liệu mới vào DataFrame đầu vào trong tệp dữ liệu, đảm bảo đồng bộ hóa về mặt thời gian (Time-Index), sau đó Pipeline tiền xử lý sẽ tự động chuẩn hóa qua StandardScaler mà không cần thay đổi kiến trúc mô hình.

4. Chi phí duy trì và cập nhật dữ liệu định kỳ cho hệ thống như thế nào?

Chi phí vận hành gần như bằng 0 nếu sử dụng các nguồn API dữ liệu mở từ Yahoo Finance. Mô hình KNN không yêu cầu thời gian huấn luyện phức tạp, dữ liệu mới hàng ngày có thể cập nhật trực tiếp vào cơ sở dữ liệu để tham chiếu lân cận tức thì.

5. Tín hiệu dự báo (Predict Signal) được tính toán cụ thể ra sao?

Tại đầu mỗi phiên giao dịch, mô hình lấy giá mở cửa ($P_{\text{open}}$) và các biến vĩ mô tương ứng để dự báo giá đóng cửa ($\hat{P}{\text{close}}$). Nếu $\hat{P}{\text{close}} > P_{\text{open}}$, hệ thống sinh tín hiệu +1 (Khuyến nghị Mua); ngược lại, hệ thống sinh tín hiệu -1 (Khuyến nghị Bán).

---

Kết luận

Đồ án tốt nghiệp "Dự đoán chỉ số VNINDEX sử dụng Machine Learning" đã xây dựng thành công giải pháp định lượng hóa quy trình dự báo chuyển động thị trường chứng khoán Việt Nam dựa trên 20 năm dữ liệu lịch sử và 5 biến số vĩ mô liên thị trường. Qua quá trình thực nghiệm toàn diện trên 10 thuật toán học máy, nghiên cứu đã chứng minh tính ưu việt của mô hình K-Nearest Neighbors ($K=3$) kết hợp quy trình chuẩn hóa Pipeline, đạt mức sai số MSE tối ưu (-0.4125) và độ chính xác phân định xu hướng đạt 68.4%. Đây là nền tảng vững chắc để mở rộng phát triển các hệ thống giao dịch tự động thông minh, đóng góp giá trị thiết thực cho cả giới nghiên cứu học thuật lẫn cộng đồng đầu tư tài chính ứng dụng.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỚI THIỆU VỀ THUẬT TOÁN K NEAREST NEIGHBORS 1. KNN (K Nearest Neighbors) là gì? Ưu điểm và nhược điểm của KNN KNN là một trong những thuật toán đơn giản nhất trong tất cả các thuật toán học máy (Machine Learning) được giám sát. Nó chỉ đơn giản là tính toán khoảng cách của một điểm dữ liệu mới đến tất cả các điểm dữ liệu huấn luyện khác. Khoảng cách có thể là bất kỳ loại nào, ví dụ Euclide hoặc Manhattan, vv Sau đó, nó chọn các điểm dữ liệu gần nhất của K, trong đó K có thể là bất kỳ số nguyên nào.

Cuối cùng, nó gán điểm dữ liệu cho lớp mà phần lớn các điểm dữ liệu K thuộc về. Nó rất dễ thực hiện 2. Đây là thuật toán học lười biếng và do đó không cần đào tạo trước khi đưa ra dự đoán theo thời gian thực. Điều này làm cho thuật toán KNN nhanh hơn nhiều so với các thuật toán khác yêu cầu đào tạo, ví dụ như SVM, hồi quy tuyến tính , v.

Vì thuật toán không yêu cầu đào tạo trước khi đưa ra dự đoán, dữ liệu mới có thể được thêm vào một cách liền mạch. Chỉ có hai tham số cần thiết để thực hiện KNN, tức là giá trị của K và hàm khoảng cách (ví dụ: Euclid hoặc Manhattan, v.) Nhược điểm: 1. Thuật toán KNN không hoạt động tốt với dữ liệu chiều cao vì với số lượng kích thước lớn, thuật toán sẽ khó tính toán khoảng cách trong mỗi thứ nguyên. Thuật toán KNN có chi phí dự đoán cao cho các bộ dữ liệu lớn.

Điều này là do trong các bộ dữ liệu lớn, chi phí tính khoảng cách giữa điểm mới và mỗi điểm hiện có trở nên cao hơn. Cuối cùng, thuật toán KNN không hoạt động tốt với các tính năng phân loại vì rất khó tìm thấy khoảng cách giữa các kích thước với các tính năng phân loại. Các khái niệm liên quan: 1. Trường hợp của một biến giải thích được gọi là hồi quy tuyến tính đơn giản.

Đối với nhiều hơn một biến giải thích, quá trình này được gọi là hồi quy tuyến tính bội. Biểu thức này khác với hồi quy tuyến tính đa biến, trong đó nhiều biến phụ thuộc tương quan được dự đoán thay vì một biến vô hướng. Trong trường hợp hồi quy tuyến tính, các mối quan hệ được mô hình hóa với các hàm dự đoán tuyến tính, các tham số mô hình chưa biết được ước tính từ dữ liệu. Các mô hình như vậy được gọi là mô hình tuyến tính.

Thông thường, giá trị trung bình có điều kiện của một phản hồi, được đưa ra các giá trị của các biến giải thích (hoặc dự đoán) đã cho, được coi là hàm affine của các giá trị này; ít thường xuyên hơn, trung vị có điều kiện hoặc một số lượng tử khác được sử dụng. Như với tất cả các hình thức phân tích hồi quy, hồi quy tuyến tính tập trung vào phân phối xác suất có điều kiện của phản hồi, có tính đến các giá trị của các yếu tố dự đoán, thay vì phân phối xác suất kết hợp của các biến này, là miền phân tích đa biến. Ba cách sử dụng chính để phân tích hồi quy là: xác định cường độ của các yếu tố dự báo, dự báo hiệu ứng và dự báo xu hướng. Hồi quy tuyến tính biểu diễn là một phương trình tuyến tính kết hợp một tập hợp các giá trị đầu vào (x) cụ thể mà giải pháp là đầu ra dự đoán cho tập hợp các giá trị đầu vào đó (y).

Như vậy, cả giá trị đầu vào (x) và giá trị đầu ra đều là số. Phương trình tuyến tính gán một hệ số tỷ lệ cho mỗi giá trị đầu vào hoặc cột, được gọi là hệ số và được biểu thị bằng chữ Hy Lạp Beta (B). Một hệ số bổ sung cũng được thêm vào, tạo cho dòng một mức độ tự do bổ sung (ví dụ: di chuyển lên và xuống trên một đồ thị hai chiều) và thường được gọi là hệ số chặn hoặc hệ số sai lệch. Ví dụ, trong một bài toán hồi quy đơn giản (một x đơn và một y), dạng của mô hình sẽ là: y = B0 + B1 * x (1.1) 5 do an Trong các kích thước cao hơn khi chúng ta có nhiều đầu vào (x), dòng được gọi là mặt phẳng hoặc siêu phẳng.

Do đó, biểu diễn là dạng của phương trình và các giá trị cụ thể được sử dụng cho các hệ số (ví dụ B0 và B1 trong ví dụ trên). Người ta thường nói về sự phức tạp của mô hình hồi quy như hồi quy tuyến tính. Điều này đề cập đến số lượng các hệ số được sử dụng trong mô hình. Khi một hệ số trở thành 0, nó sẽ loại bỏ hiệu quả ảnh hưởng của biến đầu vào trên mô hình và do đó khỏi dự đoán được thực hiện từ mô hình (0 * x = 0).

Hồi quy tuyến tính được nghiên cứu rất dài và có rất nhiều tài liệu về cách dữ liệu phải được cấu trúc để sử dụng tốt nhất mô hình. Khi thử các phương pháp khác nhau của bằng cách sử dụng các phương pháp phỏng đoán này và xem điều gì làm việc tốt nhất cho bộ dữ liệu hiện tại. Lasso Lasso là một phương pháp phân tích hồi quy thực hiện cả variable selection và regularization để tăng cường độ chính xác dự đoán và khả năng diễn giải của mô hình thống kê mà nó tạo ra, giảm độ phức tạp của mô hình và ngăn ngừa sự phù hợp quá mức có thể dẫn đến hồi quy tuyến tính đơn giản. Shrinkage là nơi các giá trị dữ liệu được thu nhỏ về một điểm trung tâm, giống như giá trị trung bình.

Lasso khuyến khích các mô hình đơn giản, thưa thớt (tức là các mô hình có ít tham số hơn). Kiểu hồi quy đặc biệt này rất phù hợp cho các mô hình thể hiện mức độ muticollinearity hoặc khi bạn muốn tự động hóa một số phần nhất định của lựa chọn mô hình, như loại bỏ lựa chọn tham số biến. Công thức tổng quát của Lasso Regression khác một chút ở phía cuối công thức, thay vì bình phương wi, hay chính là hệ số β như Ridge Regression, thì ở đây công thức Lasso lấy trị tuyệt đối. Elastic Net (EN) Hồi quy tuyến tính đàn hồi sử dụng các ứng dụng từ các kỹ thuật lasso và Ridge để chuẩn hóa các mô hình hồi quy.

Kỹ thuật này kết hợp cả hai phương pháp hồi quy lasso và ridge regression bằng cách học hỏi từ những thiếu sót của chúng để cải thiện việc chính quy hóa các mô hình thống kê. Công thức tổng quát của Elastic Net: (1. Decision Tree Regressor (CART): Decision Tree Regressor là một trong những phương pháp mô hình dự đoán được sử dụng trong thống kê , khai thác dữ liệu và học máy. Nó sử dụng decision tree (như một mô hình dự đoán) để đi từ các quan sát về một vật phẩm (được biểu thị trong các nhánh) để đưa ra kết luận về giá trị mục tiêu của vật phẩm (được biểu thị trong các lá).

Các mô hình cây trong đó biến mục tiêu có thể lấy một tập các giá trị rời rạc được gọi là classification trees, trong các cấu trúc cây này, leaves đại diện cho nhãn lớp và các nhánh đại diện cho conjunctions các tính năng dẫn đến các nhãn lớp. Cây quyết định trong đó biến mục tiêu có thể lấy giá trị liên tục (thường là số thực ) được gọi là regression trees. Regression trees quyết định sử dụng chính nguyên lý hoạt động của các phương trình hồi quy, đó là tìm ra mối quan hệ giữa những biến độc lập với biến phụ thuộc, giữa những biến đầu vào và biến dự báo, cũng vì vậy nên được gọi là Regression tree. Tuy nhiên nếu nhìn vào các mô hình Regression tree, chỉ thấy được sự tác động của biến này hay biến kia đến giá trị sau cùng của biến mục tiêu, nói cách khác, chỉ xác định được mối quan hệ nhân quả giữa các biến thông qua diễn giải Decision rules (hoặc nguyên lý nếu…thì) nhưng không thể nhìn thấy mức độ quan hệ, hay biến mục tiêu và các biến đầu vào quan hệ như thế nào về mặt định lượng, qua đó để dự báo giá trị của biến mục tiêu.

Ta xem qua ví dụ dưới đây: 7 do an Hình 1.1: Sơ đồ mô hình Regression tree dự báo giá của một chiếc xe Toyota. (nguồn: https://bigdatauni.com) Mô hình dựa trên 3 biến: tuổi đời chiếc xe (Age), trọng lượng (Weight) và mã lực (Horse power – HP), đã được chọn lọc trong 12 biến có được trong tập dữ liệu về 1000 chiếc xe Toyota Corolla, được lấy ra 600 để làm tập dữ liệu training. Ví dụ với chiếc xe có độ tuổi là 55, mã lực bằng 100 thì có thể bán với giá 9358$. Có thể thấy mối quan hệ giữa độ tuổi với giá trị của chiếc xe, tức độ tuổi cao hay thấp sẽ có tác động nhất định với giá trị của chiếc xe, tương tự như mã lực cao hay thấp, tuy nhiên tác động của độ tuổi, và mã lực đến giá xe, tác động nào mạnh hơn, lớn hơn? Dựa trên mô hình cây quyết định khó có thể xác định được.

Cũng chính vì thế, để diễn giải kết quả phân tích hồi quy, hoặc mô tả mối quan hệ theo cách định lượng hóa, thì mô hình cây quyết định thường không được phổ biến hay ưu tiên áp dụng, mà thay vào đó là sử dụng những phương trình hay mô hình hồi quy bao gồm các công thức định lượng mối quan hệ giữa các biến, các phương pháp kiểm định để chắc chắn các biến có mối liên hệ, và kết hợp với những đồ thị trực quan. Support Vector Regressor (SVM) Support Vector Regressor (SVM) là các mô hình học có giám sát với các thuật toán học liên quan để phân tích dữ liệu được sử dụng để phân loại và phân tích hồi 8 do an quy. Đưa ra một tập hợp các ví dụ đào tạo, mỗi ví dụ được đánh dấu thuộc về một hoặc hai loại khác, thuật toán đào tạo SVM xây dựng một mô hình gán các ví dụ mới cho một loại hoặc loại khác, làm cho nó trở thành một phân loại tuyến tính nhị phân không xác suất (mặc dù các phương thức chẳng hạn như chia tỷ lệ tồn tại để sử dụng SVM trong cài đặt phân loại xác suất). Một mô hình SVM là một đại diện của các ví dụ dưới dạng các điểm trong không gian, được ánh xạ sao cho các ví dụ về các loại riêng biệt được chia cho một khoảng cách rõ ràng càng rộng càng tốt.

Các ví dụ mới sau đó được ánh xạ vào cùng một không gian và được dự đoán sẽ thuộc về một thể loại dựa trên mặt của khoảng trống mà chúng rơi xuống.