Đồ án HCMUTE: Dự đoán chỉ số VNIndex sử dụng Machine Learning

Khám phá đồ án HCMUTE dự đoán chỉ số VNIndex bằng machine learning, ứng dụng công nghệ hiện đại trong phân tích thị trường chứng khoán.

• Tác giả: Tống Trần Khánh Duy
• Người hướng dẫn: Trần Kim Toại
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Tp. Hồ Chí Minh
• Chuyên ngành: Thương Mại Điện Tử
• Đề tài: Dự đoán chỉ số VNIndex bằng Machine Learning
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2020
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU VỀ THUẬT TOÁN K NEAREST NEIGHBORS
• 1.1. KNN (K Nearest Neighbors) là gì? Ưu điểm và nhược điểm của KNN
• 1.2. Các khái niệm liên quan
• 1.3. Decision Tree Regressor (CART)
• 1.4. Support Vector Regressor (SVM)
• 1.5. Mô hình thuật toán KNN
• 1.6. Mô hình KNN và các đặc điểm cơ bản
• 1.7. Cách thức một thuận toán KNN hoạt động
• 1.8. Một số thước đo trong việc lựa chọn mô hình thuật toán
• 1.9. Sự vượt trội của dự báo
• 1.10. Việc ứng dụng mô hình KNN trong dự báo – bằng chứng thực nghiệm
• 2. CHƯƠNG 2: THIẾT KẾ MÔ HÌNH HỒI QUY DỰ BÁO GIÁ CHỨNG KHOÁN
• 2.1. Thiết kế mô hình hồi quy để dự báo giá chứng khoán với nhóm biến kinh tế vĩ mô
• 2.2. Lựa chọn biến kinh tế vĩ mô tác động đến giá chứng khoán
• 2.3. Thu nhập dữ liệu Kinh tế
• 2.4. Các bước thực hiện
• 2.5. Chọn ra mô hình thuật toán tốt nhất: KNN
• 2.6. Cải thiện thuật toán với phương pháp tinh chỉnh Hyperparameter
• 2.7. So sánh với các thuật toán sử dụng phương pháp Ensemble
• 2.8. So sánh GBM và KNN
• 2.9. Sử dụng thuật toán KNN để dự đoán giá VNINDEX
• 2.9.1. K-Nearest Neighbors là gì?
• 2.9.2. Phương pháp và cách thức
• 2.9.3. Sử dụng mô hình KNN
• 3. CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU
• 3.1. Sự tác động giữa VNINDEX và các chỉ số khác
• 3.2. Kết quả chọn lựa thuật toán
• 3.2.1. Sai số toàn phương của các mô hình thuật toán
• 3.2.2. Hiệu chỉnh mô hình KNN
• 3.2.3. Phương pháp Ensemble và hiệu chỉnh Ensemble
• 3.2.4. So sánh GBM và KNN
• 3.3. Áp dụng mô hình để tạo chiến lược trao đổi
• 4. CHƯƠNG 4: MỘT SỐ ĐỀ XUẤT VÀ HƯỚNG PHÁT TRIỂN TỪ QUÁ TRÌNH PHÂN TÍCH VÀ DỰ BÁO GIÁ CHỨNG KHOÁN VIỆT NAM
• 4.1. Xu hướng dự báo giá chứng khoán tại thị trường Việt Nam
• 4.2. Nhu cầu chơi chứng khoán
• 4.3. Nhu cầu muốn đoán giá chứng khoán
• 4.4. Ưu điểm của phương pháp mang lại cho thị trường chứng khoán tại Việt Nam
• 4.5. Những hạn chế của quá trình nghiên cứu
• 4.6. Một số đề xuất từ quá trình nghiên cứu và hướng phát triển của dự án cho thị trường chứng khoán Việt Nam
• 4.7. Một số các đề xuất của nhóm
• 4.8. Hướng phát triển dự án
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC

Tóm tắt

I. Giới thiệu về Dự đoán VNIndex bằng Machine Learning tại HCMUTE

Bài viết tập trung vào việc ứng dụng Machine Learning để dự đoán chỉ số chứng khoán VNIndex, một nghiên cứu được thực hiện tại Trường Đại học Sư phạm Kỹ thuật TP.HCM (HCMUTE).

1.1 Bối cảnh và Sự cần thiết

Trong bối cảnh thị trường tài chính ngày càng phức tạp và biến động, việc dự đoán chỉ số chứng khoán như VNIndex đóng vai trò quan trọng cho các nhà đầu tư. Machine learning, với khả năng phân tích dữ liệu lớn và nhận dạng xu hướng, nổi lên như một công cụ hữu ích cho mục tiêu này.

1.2 Mục tiêu của Nghiên cứu

Nghiên cứu tại HCMUTE nhắm đến việc xây dựng mô hình dự đoán VNIndex dựa trên Machine Learning, sử dụng dữ liệu lịch sử của thị trường chứng khoán. Mục tiêu là tạo ra một công cụ hỗ trợ đầu tư hiệu quả, giúp dự báo xu hướng thị trường.

II. Phương pháp Machine Learning được sử dụng

Bài viết tập trung vào thuật toán K Nearest Neighbors (KNN), một phương pháp học máy có giám sát, để dự đoán VNIndex.

2.1 Giới thiệu về KNN

KNN là một thuật toán đơn giản và hiệu quả, hoạt động dựa trên việc tìm kiếm các điểm dữ liệu gần nhất trong không gian đặc trưng. Trong dự đoán VNIndex, KNN sử dụng dữ liệu lịch sử của các chỉ số tài chính để tìm ra các mẫu và xu hướng tương tự, từ đó dự đoán giá trị VNIndex trong tương lai.

2.2 Các bước thực hiện

Nghiên cứu thực hiện các bước thu thập dữ liệu, tiền xử lý dữ liệu, huấn luyện mô hình KNN và đánh giá hiệu suất mô hình. Việc lựa chọn bộ dữ liệu phù hợp, bao gồm các chỉ số kinh tế vĩ mô và chỉ số thị trường chứng khoán, đóng vai trò quan trọng trong việc xây dựng mô hình dự đoán chính xác.

III. Kết quả và Ứng dụng

Nghiên cứu đã đạt được kết quả khả quan trong việc dự đoán VNIndex bằng thuật toán KNN.

3.1 Hiệu suất Mô hình

Mô hình KNN được đánh giá dựa trên các chỉ số như MSE (Mean Squared Error). Kết quả cho thấy mô hình có khả năng dự đoán xu hướng của VNIndex với độ chính xác cao.

3.2 Ứng dụng thực tế

Mô hình dự đoán VNIndex được xây dựng có thể ứng dụng trong đầu tư chứng khoán, hỗ trợ các nhà đầu tư đưa ra quyết định mua hoặc bán cổ phiếu. Kết quả nghiên cứu cũng có thể được sử dụng để phân tích thị trường tài chính và dự báo xu hướng kinh tế.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh cuộc Cách mạng công nghiệp lần thứ tư đang diễn ra mạnh mẽ, Trí tuệ nhân tạo (AI) và Học máy (Machine Learning) đã trở thành những công cụ nền tảng được ứng dụng sâu rộng trong nhiều lĩnh vực, đặc biệt là kinh tế và tài chính. Việc dự báo biến động giá và các chỉ số kinh tế đã xuất hiện từ nhiều thập niên trước, song các phương pháp truyền thống thường gặp khó khăn khi xử lý các mối quan hệ phi tuyến tính phức tạp trong các tập dữ liệu chuỗi thời gian lớn. Thị trường chứng khoán Việt Nam, đại diện bởi chỉ số VN-Index, có mức độ biến động liên tục và chịu sự tác động đồng thời của nhiều yếu tố kinh tế vĩ mô trong nước cũng như các thị trường tài chính quốc tế. Xuất phát từ thực tiễn đó, nhóm tác giả thuộc ngành Thương mại điện tử, Khoa Kinh tế - Trường Đại học Sư phạm Kỹ thuật TP.HCM đã thực hiện đề tài "Dự đoán chỉ số VNINDEX sử dụng Machine Learning".

Mục tiêu và nhiệm vụ nghiên cứu được văn bản xác định cụ thể như sau:

1. Tìm hiểu, phân tích, đánh giá và áp dụng thuật toán K-Nearest Neighbors (KNN) cùng một số mô hình học máy khác trong việc dự đoán chỉ số VN-Index và giá cổ phiếu.
2. Xác định các ưu điểm và nhược điểm của thuật toán KNN; từ đó xây dựng các phương án, chiến lược dự báo hỗ trợ doanh nghiệp và nhà đầu tư đưa ra quyết định giao dịch.
3. Thu thập dữ liệu sơ cấp và thứ cấp, thực hiện tiền xử lý, chuẩn hóa và kiểm thử các thuật toán nhằm chọn ra mô hình tối ưu có độ chính xác cao.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Chỉ số VN-Index của Sở Giao dịch Chứng khoán TP.HCM (HOSE) và nhóm các biến số kinh tế vĩ mô, chỉ số chứng khoán quốc tế có liên quan.
• Phạm vi không gian: Thị trường chứng khoán Việt Nam trong mối tương quan với thị trường tài chính thế giới (Mỹ) và thị trường hàng hóa, ngoại hối.
• Phạm vi thời gian: Chuỗi dữ liệu lịch sử kéo dài 20 năm, từ tháng 01/2000 đến tháng 02/2020, bao gồm 4.550 bản ghi dữ liệu theo ngày.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình tham chiếu:

• Cơ sở tài chính: Nghiên cứu dựa trên nền tảng lý thuyết đầu tư tài chính và quản lý danh mục từ công trình Investment Analysis and Portfolio Management của Frank K. Brown (2002) để xác định nhóm biến số kinh tế vĩ mô tác động đến giá chứng khoán.
• Quy trình học máy: Vận dụng tài liệu Machine Learning Mastery của Jason Brownlee (2013) về các bước triển khai, đánh giá và lựa chọn mô hình học máy tối ưu.
• Nghiên cứu thực nghiệm liên quan: Kế thừa phương pháp từ nghiên cứu của Tanuwijaya & Hansun về dự báo chỉ số LQ45 bằng hồi quy K-Nearest Neighbors, nghiên cứu của Javed Ali Khan (2016) về dự báo xu hướng thị trường chứng khoán bằng các bộ phân loại học máy, và luận văn của TS. Lê Đạt Chí.
• Các mô hình học máy được đối sánh: Hồi quy tuyến tính (Linear Regression - LR), Hồi quy Lasso, Hồi quy Elastic Net (EN), Cây quyết định hồi quy (Decision Tree Regressor - CART), Máy vector hỗ trợ hồi quy (Support Vector Regressor - SVM), K-Láng giềng gần nhất (K-Nearest Neighbors - KNN), cùng các kỹ thuật Ensemble gồm Boosting (AdaBoost, Gradient Boosting - GBM) và Bagging (Random Forests - RF, Extra Trees - ET).

Phương pháp nghiên cứu thực nghiệm:

• Phương pháp thu thập dữ liệu: Dữ liệu được trích xuất từ cổng thông tin tài chính Yahoo Finance (finance.yahoo.com) và các nguồn dữ liệu tài chính trực tuyến khác trong giai đoạn 2000–2020. Dữ liệu gốc bao gồm 6 trường thông tin: Ngày giao dịch (Date), Giá mở cửa (Open), Giá cao nhất (High), Giá thấp nhất (Low), Giá đóng cửa (Close) và Khối lượng giao dịch (Volume). Thuộc tính giá đóng cửa (Close) được chọn làm biến mục tiêu và đặc trưng chính.
• Phương pháp tiền xử lý và làm sạch dữ liệu: Xử lý các giá trị khuyết thiếu (NaN) bằng phương pháp điền tiếp giá trị liền trước (Forward-fill). Chuẩn hóa dữ liệu về cùng thang đo thông qua công cụ MinMaxScaler và chuyển đổi chuẩn hóa phân phối (StandardScaler đưa về kỳ vọng 0, phương sai 1) bằng cách thiết lập đường ống xử lý Pipeline trong Scikit-learn nhằm ngăn chặn hiện tượng rò rỉ dữ liệu (data leakage).
• Phương pháp đánh giá và tinh chỉnh mô hình: Áp dụng phương pháp kiểm định chéo 10 lần (10-fold Cross Validation) trên tập huấn luyện; sử dụng thước đo Sai số toàn phương trung bình (Mean Squared Error - MSE) làm tiêu chí so sánh hiệu năng giữa các thuật toán. Sử dụng phương pháp Tìm kiếm lưới (Grid Search) để dò tìm siêu tham số tối ưu (giá trị K) cho mô hình KNN và tinh chỉnh mô hình Gradient Boosting.
• Công cụ triển khai: Ngôn ngữ lập trình Python và các thư viện hỗ trợ chuyên dụng gồm Scikit-learn (Sklearn), NumPy, Pandas, Matplotlib và Pyplot.

Nội dung chính theo từng chương

Chương 1: Giới thiệu về thuật toán K Nearest Neighbors

Chương này tập trung trình bày bản chất lý thuyết, cơ chế vận hành, ưu nhược điểm của thuật toán K-Nearest Neighbors (KNN) và đặt trong tương quan so sánh với các kỹ thuật hồi quy khác.

• Bản chất của KNN: Là thuật toán học máy có giám sát dạng "học lười" (lazy learning), không xây dựng mô hình tường minh trong giai đoạn huấn luyện mà lưu trữ toàn bộ dữ liệu mẫu và chỉ thực hiện tính toán khoảng cách khi có điểm dữ liệu mới cần dự đoán.
• Các thước đo khoảng cách: Khoảng cách Euclid (Euclidean) và khoảng cách Manhattan được sử dụng cho biến định lượng liên tục; khoảng cách Hamming được dùng cho biến phân loại. Trong bài toán hồi quy, giá trị dự đoán được tính bằng trung bình số học hoặc trung bình có trọng số theo nghịch đảo khoảng cách của K điểm láng giềng gần nhất.
• Phân tích sự đánh đổi giữa độ lệch và phương sai (Bias-Variance tradeoff): Giá trị K nhỏ (ví dụ K=1) mang lại độ lệch thấp nhưng phương sai cao, dễ nhạy cảm với nhiễu; giá trị K lớn giúp ranh giới dự báo mượt hơn, giảm phương sai nhưng làm tăng độ lệch. Tác giả giới thiệu phương pháp "đường cong khuỷu tay" (elbow curve) dựa trên sai số xác thực để tìm K tối ưu.
• So sánh lý thuyết với các mô hình khác: Hồi quy tuyến tính đơn/bội, kỹ thuật co hệ số Lasso (L1 Regularization), Elastic Net (kết hợp L1 và L2), Cây quyết định CART (dễ giải thích quan hệ nhân quả nhưng khó định lượng chính xác độ nhạy biên) và Máy vector hỗ trợ hồi quy SVM (tìm siêu phẳng tối ưu phân tách không gian).

Chương 2: Thiết kế mô hình hồi quy dự báo giá chứng khoán

Chương 2 mô tả chi tiết quy trình thiết kế hệ thống thực nghiệm dự báo chỉ số VN-Index với 6 biến số đầu vào.

STT	Tên biến số	Ký hiệu	Mô tả đặc tính biến số
1	NASDAQ Composite	NASDAQ	Chỉ số giá cổ phiếu niêm yết trên sàn Nasdaq (Mỹ)
2	Dow Jones Industrial Average	DOWJONES	Chỉ số bình quân công nghiệp Dow Jones (Mỹ)
3	S&P 500	S&P 500	Chỉ số cổ phiếu của 500 công ty vốn hóa lớn trên NYSE/NASDAQ
4	Giá vàng	GOLD	Biến động giá vàng thế giới
5	Tỷ giá USD/VND	USD	Tỷ giá quy đổi giữa Đô la Mỹ và Đồng Việt Nam
6	VN-Index	VNINDEX	Chỉ số giá cổ phiếu Sở Giao dịch Chứng khoán TP.HCM (biến dự đoán)

Quy trình thực nghiệm được triển khai theo 4 bước chuẩn hóa:

1. Chuẩn bị bộ dữ liệu: Tập hợp 4.550 quan sát từ tháng 01/2000 đến tháng 02/2020, trích xuất giá đóng cửa (Close) của từng biến số và xử lý các điểm dữ liệu trống.
2. Tiền xử lý dữ liệu: Làm sạch dữ liệu, tích hợp các chuỗi thời gian, phân chia tập dữ liệu thành tập huấn luyện (training set) và tập kiểm tra (test set).
3. Lựa chọn đặc trưng: Đưa các biến số kinh tế vĩ mô và chỉ số tài chính đã làm sạch vào mô hình hồi quy.
4. Đánh giá và lựa chọn mô hình: Thử nghiệm đồng thời 6 thuật toán hồi quy (LR, Lasso, EN, KNN, CART, SVM) bằng 10-fold Cross Validation theo thang đo MSE. Sau đó, nhóm thực nghiệm triển khai kỹ thuật chuẩn hóa Standardization qua Pipeline, sử dụng Grid search kiểm tra dãy giá trị K lẻ (1, 3, 5, 7, 9, 11, 13, 15, 17, 19, 21) và so sánh với 4 mô hình Ensemble (AdaBoost, Gradient Boosting, Random Forests, Extra Trees).

Chương 3: Kết quả nghiên cứu

Chương 3 công bố các số liệu tính toán và kiểm định thực nghiệm:

• Phân tích tương quan Pearson: Hệ số tương quan giữa chỉ số VNINDEX và Giá vàng (GOLD) đạt mức -0.53 (tương quan nghịch rõ rệt); trong khi cặp chỉ số tài chính quốc tế NASDAQ và DOWJONES có mức tương quan thuận là 0.3.
• Kết quả so sánh sai số giữa các mô hình: Thuật toán KNN đạt mức sai số toàn phương trung bình thấp nhất trong nhóm các mô hình cơ sở (MSE = -0.5).
• Kết quả tinh chỉnh siêu tham số: Phương pháp Grid search xác định giá trị K=3 là tham số tối ưu, cho sai số nhỏ nhất trên tập dữ liệu kiểm thử.
• Kết quả đối sánh với phương pháp Ensemble: Các thuật toán Boosting (GBM) và Bagging (Extra Trees) mang lại hiệu năng cao; tuy nhiên, sau khi cân bằng và hiệu chỉnh, KNN vẫn duy trì độ chính xác và tính ổn định cao trong việc khớp dữ liệu chuỗi thời gian VN-Index.
• Xây dựng chiến lược giao dịch: Mô hình xuất ra tín hiệu dự báo (Predict Signal) dựa trên sự biến động giữa giá mở cửa và giá dự báo. Tín hiệu được lượng hóa cụ thể:
  • Predict Signal = 1: Khuyến nghị thực hiện lệnh MUA khi mô hình dự báo xu hướng giá tăng.
  • Predict Signal = -1: Khuyến nghị thực hiện lệnh BÁN khi mô hình dự báo xu hướng giá giảm.

Chương 4: Một số đề xuất và hướng phát triển từ quá trình phân tích và dự báo giá chứng khoán Việt Nam

Chương này đánh giá bối cảnh thị trường chứng khoán Việt Nam thông qua tốc độ gia tăng số lượng tài khoản giao dịch cá nhân trong 8 tháng đầu năm 2019. Tác giả phân tích ưu thế của việc áp dụng mô hình học máy nhằm giúp nhà đầu tư giảm thiểu tác động của yếu tố tâm lý chủ quan. Đồng thời, chương 4 tổng hợp các điểm hạn chế về mặt tính toán của KNN và đề xuất các giải pháp nâng cao hiệu quả dự báo, mở đường cho việc nghiên cứu ứng dụng các kiến trúc mạng nơ-ron hồi quy như mô hình LSTM (Long Short-Term Memory).

Kết quả và đóng góp

Kết quả nghiên cứu chính:

• Thiết lập thành công bộ dữ liệu chuỗi thời gian tài chính 20 năm (2000–2020) với 4.550 dòng dữ liệu chuẩn hóa, tích hợp đồng thời biến số trong nước (VN-Index, USD/VND) và quốc tế (NASDAQ, Dow Jones, S&P 500, Giá vàng).
• Xác định được mối tương quan nghịch giữa VN-Index và giá vàng (hệ số -0.53), phản ánh tính chất chuyển dịch dòng vốn giữa tài sản phòng thủ và tài sản rủi ro.
• Chứng minh bằng thực nghiệm rằng sau khi chuẩn hóa dữ liệu qua Pipeline và tinh chỉnh siêu tham số qua Grid search, thuật toán KNN với K=3 đạt hiệu năng dự báo vượt trội với sai số MSE = -0.5, vượt qua các mô hình hồi quy tuyến tính (LR, Lasso, Elastic Net) và cây quyết định CART.
• Xây dựng thành công cơ chế phát tín hiệu giao dịch tự động hóa hai trạng thái: Predict Signal = 1 (Lệnh Mua) và Predict Signal = -1 (Lệnh Bán).

Giải pháp và kiến nghị của tác giả:

• Kiến nghị nhà đầu tư và các tổ chức tài chính áp dụng mô hình định lượng học máy để hỗ trợ ra quyết định giao dịch, giảm thiểu rủi ro từ cảm xúc chủ quan.
• Khuyến nghị sử dụng kỹ thuật Pipeline khi tiền xử lý dữ liệu cho các thuật toán tính khoảng cách như KNN để loại bỏ nguy cơ rò rỉ thông tin giữa các tập dữ liệu.
• Đề xuất các đơn vị phân tích thị trường tiếp tục cải tiến các chỉ báo kỹ thuật kết hợp với mô hình thuật toán nhằm nâng cao hiệu quả quản trị danh mục đầu tư.

Đóng góp của nghiên cứu:

• Đóng góp quy trình thực nghiệm hoàn chỉnh từ khâu thu thập, làm sạch dữ liệu chuỗi thời gian, áp dụng kiểm định chéo 10-fold CV, tối ưu hóa siêu tham số đến bước lượng hóa thành tín hiệu mua/bán cụ thể cho thị trường chứng khoán Việt Nam.
• Cung cấp bằng chứng thực nghiệm về tính khả thi và độ chính xác của thuật toán KNN trong bài toán hồi quy chuỗi thời gian tài chính tại một thị trường mới nổi.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

• Chi phí tính toán của thuật toán KNN tăng tỷ lệ thuận với quy mô bộ dữ liệu do phải tính khoảng cách giữa mẫu mới và toàn bộ tập dữ liệu mẫu sẵn có.
• Thuật toán KNN bị suy giảm độ chính xác khi số chiều đặc trưng tăng cao (hiện tượng Curse of Dimensionality).
• Mô hình nghiên cứu mới chỉ tập trung vào nhóm 6 biến số định lượng lịch sử (giá đóng cửa của các chỉ số tài chính, giá vàng, tỷ giá), chưa kết hợp các yếu tố kinh tế vĩ mô rộng hơn (lãi suất, lạm phát, cung tiền M2) cũng như các biến phi cấu trúc như tin tức vĩ mô và tâm lý thị trường.

Hướng nghiên cứu tiếp:

• Nghiên cứu và thử nghiệm các mô hình học sâu chuyên dụng cho chuỗi thời gian, đặc biệt là mạng nơ-ron bộ nhớ ngắn-dài hạn (LSTM - Long Short-Term Memory) để nắm bắt các mối liên hệ phụ thuộc dài hạn trong dữ liệu.
• Mở rộng tập đặc trưng đầu vào, bổ sung các biến kinh tế vĩ mô chuyên sâu và ứng dụng xử lý ngôn ngữ tự nhiên (NLP) để phân tích cảm xúc tin tức tài chính.
• Áp dụng các phương pháp giảm chiều dữ liệu (PCA, Feature Selection nâng cao) nhằm tối ưu hóa tốc độ xử lý của các thuật toán dựa trên khoảng cách.

Giá trị tham khảo

Tài liệu có giá trị tham khảo chuyên môn đối với:

• Sinh viên, học viên cao học thuộc các ngành Thương mại điện tử, Hệ thống thông tin quản lý, Khoa học dữ liệu, Tài chính - Ngân hàng và Kinh tế học ứng dụng đang thực hiện khóa luận hoặc đề tài nghiên cứu về phân tích dữ liệu chuỗi thời gian.
• Các nhà nghiên cứu và người thực hành phân tích kỹ thuật muốn tìm hiểu quy trình xây dựng mô hình định lượng và tạo tín hiệu giao dịch tự động.

Các nội dung đáng tham khảo nhất trong đồ án:

• Quy trình chuẩn hóa dữ liệu thực nghiệm bằng kỹ thuật Pipeline kết hợp StandardScaler và 10-fold Cross Validation tại Chương 2, giúp đảm bảo tính khách quan trong việc huấn luyện mô hình.
• Phương pháp dò tìm siêu tham số bằng Grid search để lựa chọn giá trị K tối ưu (K=3) và phương pháp đánh giá so sánh đồng thời giữa các mô hình hồi quy truyền thống, mô hình lân cận và các mô hình Ensemble (Boosting, Bagging).

Câu hỏi thường gặp

1. Thuật toán K-Nearest Neighbors (KNN) hoạt động như thế nào trong bài toán dự báo chỉ số VN-Index? Thuật toán KNN tính toán khoảng cách (Euclid hoặc Manhattan) từ điểm dữ liệu đầu vào mới đến tất cả các điểm dữ liệu lịch sử trong tập huấn luyện, chọn ra K điểm lân cận có khoảng cách ngắn nhất, sau đó tính giá trị trung bình giá đóng cửa của K điểm này để làm giá trị dự báo cho VN-Index.

2. Tại sao nhóm tác giả phải sử dụng kỹ thuật Pipeline trong quá trình chuẩn hóa (Standardization)? Kỹ thuật Pipeline được sử dụng để tích hợp quá trình chuẩn hóa dữ liệu (StandardScaler đưa phân phối về kỳ vọng 0 và phương sai 1) trực tiếp vào từng vòng kiểm định chéo (10-fold CV). Việc này giúp ngăn chặn hiện tượng rò rỉ thông tin (data leakage) từ tập kiểm tra sang tập huấn luyện, đảm bảo kết quả đo lường sai số MSE hoàn toàn khách quan.

3. Kết quả tối ưu hóa siêu tham số bằng Grid Search cho ra giá trị K bằng bao nhiêu? Qua quá trình kiểm thử lưới trên dãy giá trị K lẻ từ 1 đến 21 (1, 3, 5, 7, 9, 11, 13, 15, 17, 19, 21), thuật toán KNN đạt sai số toàn phương trung bình (MSE) nhỏ nhất tại giá trị K = 3.

4. Tập dữ liệu thực nghiệm trong đồ án bao gồm những biến số nào và có quy mô ra sao? Tập dữ liệu bao gồm 4.550 bản ghi chuỗi thời gian theo ngày trong giai đoạn từ tháng 01/2000 đến tháng 02/2020. Dữ liệu bao gồm 6 biến số chính: chỉ số VN-Index (biến mục tiêu), chỉ số NASDAQ Composite, chỉ số Dow Jones Industrial Average, chỉ số S&P 500, Giá vàng (GOLD) và Tỷ giá USD/VND (USD).

5. Chiến lược giao dịch được xây dựng từ kết quả dự báo của mô hình hoạt động theo nguyên tắc nào? Mô hình tính toán và gán giá trị cho biến tín hiệu dự đoán (Predict Signal). Khi mô hình dự báo xu hướng chỉ số tăng, giá trị Predict Signal bằng 1 tương ứng với khuyến nghị thực hiện lệnh Mua; khi mô hình dự báo xu hướng giảm, giá trị Predict Signal bằng -1 tương ứng với khuyến nghị thực hiện lệnh Bán.

Kết luận

Đồ án tốt nghiệp "Dự đoán chỉ số VNINDEX sử dụng Machine Learning" đã xây dựng thành công quy trình thực nghiệm dự báo chỉ số chứng khoán Việt Nam dựa trên tập dữ liệu chuỗi thời gian 20 năm kết hợp với các biến số kinh tế vĩ mô và tài chính quốc tế. Thông qua phương pháp kiểm định chéo 10 lần và tối ưu hóa siêu tham số bằng Grid search, nghiên cứu đã chứng minh thuật toán K-Nearest Neighbors (với K=3 và chuẩn hóa qua Pipeline) đạt độ chính xác cao với sai số MSE tối ưu so với nhiều mô hình hồi quy và học kết hợp khác. Kết quả nghiên cứu không chỉ lượng hóa mối tương quan giữa VN-Index với giá vàng và các chỉ số quốc tế mà còn cung cấp một khung chiến lược phát tín hiệu mua/bán tự động có giá trị ứng dụng thực tiễn cho nhà đầu tư.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỚI THIỆU VỀ THUẬT TOÁN K NEAREST NEIGHBORS 1. KNN (K Nearest Neighbors) là gì? Ưu điểm và nhược điểm của KNN KNN là một trong những thuật toán đơn giản nhất trong tất cả các thuật toán học máy (Machine Learning) được giám sát. Nó chỉ đơn giản là tính toán khoảng cách của một điểm dữ liệu mới đến tất cả các điểm dữ liệu huấn luyện khác. Khoảng cách có thể là bất kỳ loại nào, ví dụ Euclide hoặc Manhattan, vv Sau đó, nó chọn các điểm dữ liệu gần nhất của K, trong đó K có thể là bất kỳ số nguyên nào.

Cuối cùng, nó gán điểm dữ liệu cho lớp mà phần lớn các điểm dữ liệu K thuộc về. Nó rất dễ thực hiện 2. Đây là thuật toán học lười biếng và do đó không cần đào tạo trước khi đưa ra dự đoán theo thời gian thực. Điều này làm cho thuật toán KNN nhanh hơn nhiều so với các thuật toán khác yêu cầu đào tạo, ví dụ như SVM, hồi quy tuyến tính , v.

Vì thuật toán không yêu cầu đào tạo trước khi đưa ra dự đoán, dữ liệu mới có thể được thêm vào một cách liền mạch. Chỉ có hai tham số cần thiết để thực hiện KNN, tức là giá trị của K và hàm khoảng cách (ví dụ: Euclid hoặc Manhattan, v.) Nhược điểm: 1. Thuật toán KNN không hoạt động tốt với dữ liệu chiều cao vì với số lượng kích thước lớn, thuật toán sẽ khó tính toán khoảng cách trong mỗi thứ nguyên. Thuật toán KNN có chi phí dự đoán cao cho các bộ dữ liệu lớn.

Điều này là do trong các bộ dữ liệu lớn, chi phí tính khoảng cách giữa điểm mới và mỗi điểm hiện có trở nên cao hơn. Cuối cùng, thuật toán KNN không hoạt động tốt với các tính năng phân loại vì rất khó tìm thấy khoảng cách giữa các kích thước với các tính năng phân loại. Các khái niệm liên quan: 1. Trường hợp của một biến giải thích được gọi là hồi quy tuyến tính đơn giản.

Đối với nhiều hơn một biến giải thích, quá trình này được gọi là hồi quy tuyến tính bội. Biểu thức này khác với hồi quy tuyến tính đa biến, trong đó nhiều biến phụ thuộc tương quan được dự đoán thay vì một biến vô hướng. Trong trường hợp hồi quy tuyến tính, các mối quan hệ được mô hình hóa với các hàm dự đoán tuyến tính, các tham số mô hình chưa biết được ước tính từ dữ liệu. Các mô hình như vậy được gọi là mô hình tuyến tính.

Thông thường, giá trị trung bình có điều kiện của một phản hồi, được đưa ra các giá trị của các biến giải thích (hoặc dự đoán) đã cho, được coi là hàm affine của các giá trị này; ít thường xuyên hơn, trung vị có điều kiện hoặc một số lượng tử khác được sử dụng. Như với tất cả các hình thức phân tích hồi quy, hồi quy tuyến tính tập trung vào phân phối xác suất có điều kiện của phản hồi, có tính đến các giá trị của các yếu tố dự đoán, thay vì phân phối xác suất kết hợp của các biến này, là miền phân tích đa biến. Ba cách sử dụng chính để phân tích hồi quy là: xác định cường độ của các yếu tố dự báo, dự báo hiệu ứng và dự báo xu hướng. Hồi quy tuyến tính biểu diễn là một phương trình tuyến tính kết hợp một tập hợp các giá trị đầu vào (x) cụ thể mà giải pháp là đầu ra dự đoán cho tập hợp các giá trị đầu vào đó (y).

Như vậy, cả giá trị đầu vào (x) và giá trị đầu ra đều là số.