Đồ án tốt nghiệp: Dự đoán chỉ số VNINDEX sử dụng Machine Learning

Tải toàn văn đồ án tốt nghiệp dự đoán chỉ số VNINDEX bằng Machine Learning. Phân tích, so sánh các thuật toán và xây dựng mô hình dự báo hiệu quả.

• Tác giả: Tống Trần Khánh Duy
• Người hướng dẫn: ThS. Trần Kim Toại
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Tp.Hcm
• Chuyên ngành: Thương Mại Điện Tử
• Đề tài: Dự Đoán Chỉ Số Vnindex Sử Dụng Machine Learning
• Loại tài liệu: Đồ Án Tốt Nghiệp
• Năm xuất bản: 2020
• Địa điểm: Tp. Hồ Chí Minh

Tóm tắt

I. Giới thiệu về Dự đoán VNINDEX bằng Machine Learning

Dự đoán VNINDEX bằng Machine Learning là một lĩnh vực nghiên cứu quan trọng trong thị trường chứng khoán hiện đại. Với sự phát triển của trí tuệ nhân tạo (AI) và học máy (ML), việc dự báo chỉ số chứng khoán trở nên chính xác hơn. Đồ án này tập trung vào việc áp dụng các thuật toán machine learning để dự đoán xu hướng của chỉ số VNINDEX - barometer quan trọng của thị trường chứng khoán Việt Nam. Thông qua phân tích dữ liệu lịch sử và các biến số tài chính, mô hình sẽ học từ dữ liệu quá khứ để đưa ra dự báo chính xác cho tương lai. Nghiên cứu này không chỉ có giá trị học thuật mà còn có ứng dụng thực tiễn cao trong lĩnh vực đầu tư và quản lý danh mục chứng khoán.

1.1. Khái niệm Machine Learning trong dự báo tài chính

Machine Learning là ngành công nghệ cho phép máy tính học từ dữ liệu mà không cần lập trình rõ ràng. Trong dự báo VNINDEX, ML giúp xác định các mô hình phức tạp trong dữ liệu lịch sử. Các thuật toán machine learning như Random Forests, Gradient Boosting, KNN có khả năng xử lý một lượng lớn dữ liệu tài chính và tìm ra các quy luật ẩn. Điều này cho phép dự báo chính xác hơn so với phương pháp truyền thống.

1.2. Tầm quan trọng của dự đoán chỉ số chứng khoán

Dự đoán chỉ số VNINDEX giúp nhà đầu tư đưa ra quyết định đầu tư sáng suốt. Thị trường chứng khoán Việt Nam phát triển nhanh chóng, nhu cầu về công cụ dự báo chính xác ngày càng cao. Dự đoán VNINDEX bằng machine learning cung cấp cách tiếp cận khoa học, giảm rủi ro và tối ưu hóa lợi nhuận. Các nhà quản lý quỹ, nhà đầu tư cá nhân đều có thể hưởng lợi từ những dự báo này.

II. Các Thuật toán Machine Learning được sử dụng

Trong đề tài dự đoán VNINDEX bằng machine learning, nhóm nghiên cứu đã áp dụng nhiều thuật toán machine learning khác nhau để tìm ra mô hình tối ưu nhất. Các thuật toán bao gồm Linear Regression (LR), K Nearest Neighbors (KNN), Random Forests (RF), Gradient Boosting Machine (GBM), Support Vector Regressor (SVM), và Extra Trees (ET). Mỗi thuật toán có những ưu điểm và nhược điểm riêng. Linear Regression đơn giản nhưng hiệu quả với dữ liệu tuyến tính, trong khi Random Forests và Gradient Boosting xử lý tốt các mối quan hệ phi tuyến phức tạp. Quá trình đánh giá hiệu suất được thực hiện bằng cách so sánh sai số toàn phương trung bình (MSE) của từng mô hình trên tập dữ liệu kiểm tra.

2.1. Thuật toán Gradient Boosting Machine GBM

Gradient Boosting Machine (GBM) là một thuật toán machine learning mạnh mẽ, được sử dụng rộng rãi trong dự báo tài chính. GBM hoạt động bằng cách xây dựng dần các mô hình quyết định, mỗi mô hình mới điều chỉnh những lỗi của mô hình trước. Phương pháp này đặc biệt hiệu quả trong dự đoán VNINDEX vì nó có thể nắm bắt các mối quan hệ phức tạp trong dữ liệu chứng khoán. Kết quả cho thấy GBM đạt MSE thấp nhất so với các thuật toán khác.

2.2. Thuật toán K Nearest Neighbors KNN

K-Nearest Neighbors (KNN) là thuật toán machine learning đơn giản nhưng hiệu quả, dựa trên nguyên tắc các điểm dữ liệu tương tự thường nằm gần nhau. Trong dự báo VNINDEX, KNN xác định k điểm dữ liệu gần nhất với giá trị cần dự báo, sau đó tính trung bình giá trị của chúng. Tối ưu hóa tham số k bằng Grid search giúp cải thiện độ chính xác. KNN đặc biệt hữu ích khi có các mối quan hệ cục bộ trong dữ liệu.

III. Quy trình Xây dựng Mô hình Dự báo

Quy trình xây dựng mô hình dự báo VNINDEX bằng machine learning bao gồm các bước quan trọng: thu thập dữ liệu, tiền xử lý dữ liệu, và lựa chọn mô hình. Đầu tiên, dữ liệu lịch sử của VNINDEX được thu thập từ các nguồn đáng tin cậy. Tiếp theo, dữ liệu được làm sạch, xóa các giá trị bị thiếu, và chuẩn hóa để đưa các biến về cùng tỷ lệ. Bước Standardization rất quan trọng vì nó giúp các thuật toán machine learning hoạt động hiệu quả hơn. Sau đó, dữ liệu được chia thành tập huấn luyện và tập kiểm tra. Cuối cùng, các thuật toán machine learning được huấn luyện và so sánh hiệu suất để chọn mô hình tốt nhất.

3.1. Thu thập và tiền xử lý dữ liệu

Thu thập dữ liệu là bước đầu tiên và quan trọng nhất. Dữ liệu VNINDEX bao gồm các chỉ số như giá đóng cửa, giá mở cửa, giá cao nhất, giá thấp nhất, và khối lượng giao dịch. Tiền xử lý dữ liệu bao gồm xóa các hàng có giá trị bị thiếu, phát hiện và xử lý các giá trị ngoại lệ. Việc làm sạch dữ liệu đảm bảo rằng mô hình machine learning chỉ học từ dữ liệu chất lượng cao, cải thiện độ chính xác của dự báo.

3.2. Chuẩn hóa và Tinh chỉnh Hyperparameter

Chuẩn hóa (Standardization) đưa các biến về cùng phạm vi giá trị, giúp các thuật toán machine learning hội tụ nhanh hơn. Sử dụng Pipeline trong Python giúp tự động hóa quá trình này. Tinh chỉnh hyperparameter bằng Grid search tìm kiếm các tham số tối ưu cho mỗi thuật toán. Kỹ thuật Ensemble kết hợp nhiều mô hình để tăng độ chính xác. Những bước này giúp dự đoán VNINDEX bằng machine learning đạt hiệu suất tốt nhất.

IV. Kết quả và Ứng dụng Thực tiễn

Kết quả nghiên cứu dự đoán VNINDEX bằng machine learning cho thấy các mô hình machine learning có khả năng dự báo chính xác xu hướng của chỉ số chứng khoán. Thuật toán Gradient Boosting cho kết quả tốt nhất với MSE thấp nhất. Các mô hình được kiểm tra trên dữ liệu chưa phai từng thấy, đảm bảo khả năng tổng quát hóa. Biểu đồ dự báo cho thấy mô hình nắm bắt chính xác các xu hướng lên xuống của VNINDEX. Những phát hiện này có thể ứng dụng trong quản lý danh mục, lập kế hoạch đầu tư, và phân tích rủi ro. Nhà đầu tư có thể sử dụng dự báo VNINDEX này để tối ưu hóa quyết định giao dịch và quản lý rủi ro hiệu quả hơn.

4.1. Hiệu suất Mô hình trên Dữ liệu Kiểm tra

Hiệu suất mô hình machine learning được đánh giá bằng MSE (Mean Squared Error) và các chỉ số khác. Gradient Boosting Machine đạt MSE thấp nhất, chứng tỏ độ chính xác cao nhất. Kết quả so sánh cho thấy thuật toán Ensemble (kết hợp nhiều mô hình) cũng đạt hiệu suất tốt. Mô hình KNN được tối ưu hóa bằng Grid search cũng cho kết quả khá tốt. Các mô hình này sẵn sàng để triển khai trong thực tiễn.

4.2. Ứng dụng trong Quản lý Danh mục và Đầu tư

Dự đoán VNINDEX bằng machine learning có nhiều ứng dụng thực tiễn. Nhà quản lý quỹ có thể sử dụng dự báo để điều chỉnh tỷ trọng danh mục. Nhà đầu tư cá nhân có thể tham khảo dự báo để quyết định mua bán. Các ngân hàng và công ty chứng khoán có thể sử dụng mô hình để quản lý rủi ro. Dự đoán VNINDEX chính xác giúp giảm thiểu tổn thất và tối đa hóa lợi nhuận đầu tư.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỚI THIỆU VỀ THUẬT TOÁN K NEAREST NEIGHBORS 1. KNN (K Nearest Neighbors) là gì? Ưu điểm và nhược điểm của KNN KNN là một trong những thuật toán đơn giản nhất trong tất cả các thuật toán học máy (Machine Learning) được giám sát. Nó chỉ đơn giản là tính toán khoảng cách của một điểm dữ liệu mới đến tất cả các điểm dữ liệu huấn luyện khác. Khoảng cách có thể là bất kỳ loại nào, ví dụ Euclide hoặc Manhattan, vv Sau đó, nó chọn các điểm dữ liệu gần nhất của K, trong đó K có thể là bất kỳ số nguyên nào.

Cuối cùng, nó gán điểm dữ liệu cho lớp mà phần lớn các điểm dữ liệu K thuộc về. Nó rất dễ thực hiện 2. Đây là thuật toán học lười biếng và do đó không cần đào tạo trước khi đưa ra dự đoán theo thời gian thực. Điều này làm cho thuật toán KNN nhanh hơn nhiều so với các thuật toán khác yêu cầu đào tạo, ví dụ như SVM, hồi quy tuyến tính , v.

Vì thuật toán không yêu cầu đào tạo trước khi đưa ra dự đoán, dữ liệu mới có thể được thêm vào một cách liền mạch. Chỉ có hai tham số cần thiết để thực hiện KNN, tức là giá trị của K và hàm khoảng cách (ví dụ: Euclid hoặc Manhattan, v.) Nhược điểm: 1. Thuật toán KNN không hoạt động tốt với dữ liệu chiều cao vì với số lượng kích thước lớn, thuật toán sẽ khó tính toán khoảng cách trong mỗi thứ nguyên. Thuật toán KNN có chi phí dự đoán cao cho các bộ dữ liệu lớn.

Điều này là do trong các bộ dữ liệu lớn, chi phí tính khoảng cách giữa điểm mới và mỗi điểm hiện có trở nên cao hơn. Cuối cùng, thuật toán KNN không hoạt động tốt với các tính năng phân loại vì rất khó tìm thấy khoảng cách giữa các kích thước với các tính năng phân loại. Các khái niệm liên quan: 1. Trường hợp của một biến giải thích được gọi là hồi quy tuyến tính đơn giản.

Đối với nhiều hơn một biến giải thích, quá trình này được gọi là hồi quy tuyến tính bội. Biểu thức này khác với hồi quy tuyến tính đa biến, trong đó nhiều biến phụ thuộc tương quan được dự đoán thay vì một biến vô hướng. Trong trường hợp hồi quy tuyến tính, các mối quan hệ được mô hình hóa với các hàm dự đoán tuyến tính, các tham số mô hình chưa biết được ước tính từ dữ liệu. Các mô hình như vậy được gọi là mô hình tuyến tính.

Thông thường, giá trị trung bình có điều kiện của một phản hồi, được đưa ra các giá trị của các biến giải thích (hoặc dự đoán) đã cho, được coi là hàm affine của các giá trị này; ít thường xuyên hơn, trung vị có điều kiện hoặc một số lượng tử khác được sử dụng. Như với tất cả các hình thức phân tích hồi quy, hồi quy tuyến tính tập trung vào phân phối xác suất có điều kiện của phản hồi, có tính đến các giá trị của các yếu tố dự đoán, thay vì phân phối xác suất kết hợp của các biến này, là miền phân tích đa biến. Ba cách sử dụng chính để phân tích hồi quy là: xác định cường độ của các yếu tố dự báo, dự báo hiệu ứng và dự báo xu hướng. Hồi quy tuyến tính biểu diễn là một phương trình tuyến tính kết hợp một tập hợp các giá trị đầu vào (x) cụ thể mà giải pháp là đầu ra dự đoán cho tập hợp các giá trị đầu vào đó (y).

Như vậy, cả giá trị đầu vào (x) và giá trị đầu ra đều là số. Phương trình tuyến tính gán một hệ số tỷ lệ cho mỗi giá trị đầu vào hoặc cột, được gọi là hệ số và được biểu thị bằng chữ Hy Lạp Beta (B). Một hệ số bổ sung cũng được thêm vào, tạo cho dòng một mức độ tự do bổ sung (ví dụ: di chuyển lên và xuống trên một đồ thị hai chiều) và thường được gọi là hệ số chặn hoặc hệ số sai lệch. Ví dụ, trong một bài toán hồi quy đơn giản (một x đơn và một y), dạng của mô hình sẽ là: y = B0 + B1 * x (1.1) 5 Trong các kích thước cao hơn khi chúng ta có nhiều đầu vào (x), dòng được gọi là mặt phẳng hoặc siêu phẳng.

Do đó, biểu diễn là dạng của phương trình và các giá trị cụ thể được sử dụng cho các hệ số (ví dụ B0 và B1 trong ví dụ trên). Người ta thường nói về sự phức tạp của mô hình hồi quy như hồi quy tuyến tính. Điều này đề cập đến số lượng các hệ số được sử dụng trong mô hình. Khi một hệ số trở thành 0, nó sẽ loại bỏ hiệu quả ảnh hưởng của biến đầu vào trên mô hình và do đó khỏi dự đoán được thực hiện từ mô hình (0 * x = 0).

Hồi quy tuyến tính được nghiên cứu rất dài và có rất nhiều tài liệu về cách dữ liệu phải được cấu trúc để sử dụng tốt nhất mô hình. Khi thử các phương pháp khác nhau của bằng cách sử dụng các phương pháp phỏng đoán này và xem điều gì làm việc tốt nhất cho bộ dữ liệu hiện tại. Lasso Lasso là một phương pháp phân tích hồi quy thực hiện cả variable selection và regularization để tăng cường độ chính xác dự đoán và khả năng diễn giải của mô hình thống kê mà nó tạo ra, giảm độ phức tạp của mô hình và ngăn ngừa sự phù hợp quá mức có thể dẫn đến hồi quy tuyến tính đơn giản. Shrinkage là nơi các giá trị dữ liệu được thu nhỏ về một điểm trung tâm, giống như giá trị trung bình.

Lasso khuyến khích các mô hình đơn giản, thưa thớt (tức là các mô hình có ít tham số hơn). Kiểu hồi quy đặc biệt này rất phù hợp cho các mô hình thể hiện mức độ muticollinearity hoặc khi bạn muốn tự động hóa một số phần nhất định của lựa chọn mô hình, như loại bỏ lựa chọn tham số biến. Công thức tổng quát của Lasso Regression khác một chút ở phía cuối công thức, thay vì bình phương wi, hay chính là hệ số β như Ridge Regression, thì ở đây công thức Lasso lấy trị tuyệt đối. Elastic Net (EN) Hồi quy tuyến tính đàn hồi sử dụng các ứng dụng từ các kỹ thuật lasso và Ridge để chuẩn hóa các mô hình hồi quy.

Kỹ thuật này kết hợp cả hai phương pháp hồi quy lasso và ridge regression bằng cách học hỏi từ những thiếu sót của chúng để cải thiện việc chính quy hóa các mô hình thống kê. Công thức tổng quát của Elastic Net: (1. Decision Tree Regressor (CART): Decision Tree Regressor là một trong những phương pháp mô hình dự đoán được sử dụng trong thống kê , khai thác dữ liệu và học máy. Nó sử dụng decision tree (như một mô hình dự đoán) để đi từ các quan sát về một vật phẩm (được biểu thị trong các nhánh) để đưa ra kết luận về giá trị mục tiêu của vật phẩm (được biểu thị trong các lá).

Các mô hình cây trong đó biến mục tiêu có thể lấy một tập các giá trị rời rạc được gọi là classification trees, trong các cấu trúc cây này, leaves đại diện cho nhãn lớp và các nhánh đại diện cho conjunctions các tính năng dẫn đến các nhãn lớp. Cây quyết định trong đó biến mục tiêu có thể lấy giá trị liên tục (thường là số thực ) được gọi là regression trees. Regression trees quyết định sử dụng chính nguyên lý hoạt động của các phương trình hồi quy, đó là tìm ra mối quan hệ giữa những biến độc lập với biến phụ thuộc, giữa những biến đầu vào và biến dự báo, cũng vì vậy nên được gọi là Regression tree. Tuy nhiên nếu nhìn vào các mô hình Regression tree, chỉ thấy được sự tác động của biến này hay biến kia đến giá trị sau cùng của biến mục tiêu, nói cách khác, chỉ xác định được mối quan hệ nhân quả giữa các biến thông qua diễn giải Decision rules (hoặc nguyên lý nếu…thì) nhưng không thể nhìn thấy mức độ quan hệ, hay biến mục tiêu và các biến đầu vào quan hệ như thế nào về mặt định lượng, qua đó để dự báo giá trị của biến mục tiêu.

Ta xem qua ví dụ dưới đây: 7 Hình 1.1: Sơ đồ mô hình Regression tree dự báo giá của một chiếc xe Toyota. (nguồn: https://bigdatauni.com) Mô hình dựa trên 3 biến: tuổi đời chiếc xe (Age), trọng lượng (Weight) và mã lực (Horse power – HP), đã được chọn lọc trong 12 biến có được trong tập dữ liệu về 1000 chiếc xe Toyota Corolla, được lấy ra 600 để làm tập dữ liệu training. Ví dụ với chiếc xe có độ tuổi là 55, mã lực bằng 100 thì có thể bán với giá 9358$. Có thể thấy mối quan hệ giữa độ tuổi với giá trị của chiếc xe, tức độ tuổi cao hay thấp sẽ có tác động nhất định với giá trị của chiếc xe, tương tự như mã lực cao hay thấp, tuy nhiên tác động của độ tuổi, và mã lực đến giá xe, tác động nào mạnh hơn, lớn hơn? Dựa trên mô hình cây quyết định khó có thể xác định được.

Cũng chính vì thế, để diễn giải kết quả phân tích hồi quy, hoặc mô tả mối quan hệ theo cách định lượng hóa, thì mô hình cây quyết định thường không được phổ biến hay ưu tiên áp dụng, mà thay vào đó là sử dụng những phương trình hay mô hình hồi quy bao gồm các công thức định lượng mối quan hệ giữa các biến, các phương pháp kiểm định để chắc chắn các biến có mối liên hệ, và kết hợp với những đồ thị trực quan. Support Vector Regressor (SVM) Support Vector Regressor (SVM) là các mô hình học có giám sát với các thuật toán học liên quan để phân tích dữ liệu được sử dụng để phân loại và phân tích hồi 8 quy. Đưa ra một tập hợp các ví dụ đào tạo, mỗi ví dụ được đánh dấu thuộc về một hoặc hai loại khác, thuật toán đào tạo SVM xây dựng một mô hình gán các ví dụ mới cho một loại hoặc loại khác, làm cho nó trở thành một phân loại tuyến tính nhị phân không xác suất (mặc dù các phương thức chẳng hạn như chia tỷ lệ tồn tại để sử dụng SVM trong cài đặt phân loại xác suất). Một mô hình SVM là một đại diện của các ví dụ dưới dạng các điểm trong không gian, được ánh xạ sao cho các ví dụ về các loại riêng biệt được chia cho một khoảng cách rõ ràng càng rộng càng tốt.

Các ví dụ mới sau đó được ánh xạ vào cùng một không gian và được dự đoán sẽ thuộc về một thể loại dựa trên mặt của khoảng trống mà chúng rơi xuống.