Khai Phá Dữ Liệu Chứng Khoán: Phân Tích Xu Hướng Thị Trường - Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội

I. Luận Văn Thạc Sĩ Tổng Quan Khai Phá Dữ Liệu Chứng Khoán

Sự phát triển của công nghệ thông tin đã tạo ra một lượng dữ liệu khổng lồ. Các phương pháp quản trị và khai thác dữ liệu thủ công trở nên kém hiệu quả. Sự ra đời của khai phá dữ liệu (Data Mining) và khai phá tri thức đã mang lại hiệu quả cao trong việc khai thác thông tin giá trị, đặc biệt trong lĩnh vực kinh doanh và thị trường chứng khoán. Các nhà đầu tư cá nhân cũng như các tổ chức mong muốn dự báo được xu thế thị trường chứng khoán để giảm thiểu rủi ro. Dự đoán xu thế thị trường chứng khoán là một công việc khó khăn do tính phi tuyến tính và sự tác động của nhiều yếu tố bên ngoài. Do đó, việc xây dựng một hệ thống phân tích dự báo khách quan, khoa học cả về định tính và định lượng là cần thiết. Luận văn này tập trung nghiên cứu cả hai phương pháp này để hỗ trợ các nhà đầu tư. Luận văn này sử dụng giá cổ phiếu MSFT từ finance.com để tiến hành dự đoán, tập trung vào tìm hiểu mô hình khai phá dữ liệu và các phân tích kỹ thuật cơ bản dùng trong thị trường chứng khoán. Luận văn kết hợp mô hình khai phá dữ liệu (mạng neural) và các phân tích kỹ thuật, sử dụng phương pháp ensemble để tăng độ chính xác, hỗ trợ các nhà đầu tư ra quyết định mua bán cổ phiếu.

1.1. Giới Thiệu Chung Về Khai Phá Dữ Liệu Chứng Khoán

Trong bối cảnh thị trường tài chính ngày càng phức tạp, việc ứng dụng các công cụ và phương pháp khai phá dữ liệu vào phân tích xu thế thị trường chứng khoán trở nên vô cùng quan trọng. Khai phá dữ liệu cho phép các nhà nghiên cứu và nhà đầu tư khai thác thông tin tiềm ẩn từ lượng dữ liệu khổng lồ, từ đó đưa ra các quyết định đầu tư thông minh và hiệu quả hơn. Theo "ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ", “Sự ra đời của các kỹ thuật mới như là khai phá tri thức (Knowledge Discovery in Databases) và khai phá dữ liệu Data Mining đã đem lại hiệu quả cao trong vấn đề khai thác và phát hiện tri thức, áp dụng trên nhiều lĩnh vực khác nhau”. Thị trường chứng khoán biến động không ngừng và chịu ảnh hưởng bởi nhiều yếu tố, việc sử dụng các mô hình khai phá dữ liệu giúp nắm bắt và dự báo xu hướng thị trường một cách chính xác hơn.

1.2. Mục Tiêu Nghiên Cứu Luận Văn Về Thị Trường Chứng Khoán

Luận văn này hướng đến việc nghiên cứu và ứng dụng các kỹ thuật khai phá dữ liệu vào phân tích xu thế thị trường chứng khoán, với mục tiêu chính là cung cấp một hệ thống dự báo hiệu quả, giúp các nhà đầu tư đưa ra quyết định dựa trên cơ sở khoa học và dữ liệu. Theo "ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ", “Trong môi trường kinh doanh, người ta mong muốn có thật nhiều thông tin hữu ích để hỗ trợ kinh doanh hiệu quả. Trong đó, nhu cầu dự báo cho thị trường chứng khoán để hạn chế rủi ro và thua lỗ được các tổ chức cũng như các nhà đầu tư cá nhân đặt làm mối quan tâm hàng đầu.”. Luận văn tập trung vào việc kết hợp các phương pháp định tính và định lượng để xây dựng một hệ thống dự đoán mạnh mẽ, hỗ trợ đắc lực cho các nhà đầu tư chứng khoán.

II. Thách Thức Trong Phân Tích Xu Thế Thị Trường Chứng Khoán

Dự báo thị trường chứng khoán là một bài toán phức tạp. Tính biến động thị trường, sự tác động của yếu tố bên ngoài, và tâm lý nhà đầu tư đều ảnh hưởng đến giá cả. Xây dựng một hệ thống dự báo chính xác đòi hỏi phải xử lý lượng lớn dữ liệu tài chính, áp dụng các thuật toán khai phá dữ liệu phù hợp, và liên tục đánh giá hiệu quả mô hình. Cần phải có sự kết hợp giữa kiến thức phân tích kỹ thuật, phân tích cơ bản, và các mô hình học máy để đạt được kết quả tốt nhất. "ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ" nhấn mạnh rằng “Sự không tuyến tính của thị trường kèm theo sự tác động của nhiều yếu tố bên ngoài cũng làm ảnh hưởng tới giá cả của thị trường chứng khoán. Do đó, vi c xây dựng một h thống phân tích dự báo với các tiêu chí đầy đủ, khách quan và khoa học cả về định tính và định lượng, cả về góc độ tài chính và phi tài chính là cần thiết.”

2.1. Tính Biến Động và Phi Tuyến Tính Của Thị Trường Chứng Khoán

Một trong những thách thức lớn nhất trong phân tích xu thế thị trường chứng khoán là tính biến động và phi tuyến tính của thị trường. Giá cổ phiếu không tuân theo một quy luật cố định nào, mà thay đổi liên tục dưới tác động của nhiều yếu tố khác nhau. Theo "ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ", “Sự bất ổn của thị trường kèm theo đó là tác động của nhiều yếu tố bên ngoài cũng làm ảnh hưởng tới giá cả của thị trường chứng khoán”. Việc dự báo chính xác sự biến động này đòi hỏi các nhà nghiên cứu phải sử dụng các mô hình phức tạp và liên tục cập nhật thông tin mới.

2.2. Ảnh Hưởng Của Yếu Tố Bên Ngoài Đến Thị Trường Chứng Khoán

Ngoài các yếu tố nội tại của thị trường, xu thế thị trường chứng khoán còn chịu ảnh hưởng lớn từ các yếu tố bên ngoài như tình hình kinh tế vĩ mô, chính sách tiền tệ, biến động chính trị, và các sự kiện quốc tế. “Sự tác động của nhiều yếu tố bên ngoài cũng làm ảnh hưởng tới giá cả của thị trường chứng khoán”. Việc tích hợp các yếu tố này vào mô hình dự báo là một thách thức không nhỏ, đòi hỏi sự am hiểu sâu sắc về kinh tế và tài chính.

III. Phương Pháp Mạng Neural Trong Dự Báo Chứng Khoán

Mạng Neural (Neural Network) là một công cụ mạnh mẽ trong khai phá dữ liệu và dự báo chứng khoán. Với khả năng học từ dữ liệu và mô hình hóa các mối quan hệ phi tuyến tính, mạng neural có thể được sử dụng để dự đoán xu hướng giá cổ phiếu, phân tích rủi ro, và tối ưu hóa danh mục đầu tư. Tuy nhiên, để đạt được hiệu quả cao, cần phải lựa chọn kiến trúc mạng phù hợp, huấn luyện mạng với dữ liệu chất lượng, và đánh giá hiệu quả mô hình một cách cẩn thận. Luận văn sử dụng mạng MLP với thuật toán lan truyền ngược. “Mạng Neural nhân tạo được cấu hình cho một bài toán cụ thể thông qua quá trình huấn luy n học từ các mẫu huấn luy n. Về bản chất học chính là quá trình hi u chỉnh trọng số liên kết giữa các neuron.”

3.1. Kiến Trúc Mạng Neural Thường Dùng Trong Chứng Khoán

Trong phân tích thị trường chứng khoán, có nhiều kiến trúc mạng neural được sử dụng, trong đó phổ biến nhất là mạng truyền thẳng (Feedforward Neural Network) và mạng phản hồi (Recurrent Neural Network). Mạng truyền thẳng thích hợp cho các bài toán dự đoán xu hướng giá dựa trên dữ liệu lịch sử, trong khi mạng phản hồi có khả năng xử lý dữ liệu chuỗi thời gian tốt hơn, phù hợp cho việc dự báo các biến động giá trong ngắn hạn. Mạng MLP là một mạng truyền thẳng điển hình. Theo "ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ", “Cấu trúc mạng truyền thẳng cho phép tín hi u di chuyển theo một hướng duy nhất; từ lớp đầu vào tới lớp đầu ra.”.

3.2. Huấn Luyện và Đánh Giá Mô Hình Mạng Neural

Quá trình huấn luyện mạng neural là rất quan trọng để đảm bảo mô hình có khả năng dự đoán chính xác. Cần phải có một lượng lớn dữ liệu chất lượng để huấn luyện mạng, và lựa chọn thuật toán huấn luyện phù hợp như thuật toán lan truyền ngược. Sau khi huấn luyện, cần phải đánh giá hiệu quả mô hình bằng các chỉ số như MSE (Mean Squared Error) và MAPE (Mean Absolute Percentage Error) để đảm bảo mô hình đáp ứng yêu cầu dự báo. “Vi c dự báo thị trường chứng khoán bao gồm dự đoán định tính cho biết xu hướng của thị trường tăng hay giảm) và dự báo định lượng (dự đoán giá trị c phiếu là bao nhiêu).”

3.3. Các Hàm Kích Hoạt Phổ Biến và Ứng Dụng Của Chúng

Hàm kích hoạt đóng vai trò quan trọng trong mạng Neural, giúp giới hạn phạm vi đầu ra của mỗi neuron. Các hàm kích hoạt phổ biến bao gồm: Hàm đồng nhất, hàm ngưỡng và hàm sigmoid. "ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ" nêu rõ “Hàm truyền hay còn gọi là hàm kích hoạt được dùng để giới hạn phạm vi đầu ra của mỗi neural. Nó nhận đầu vào là t ng của hàm t ng và ngưỡng đã cho. Th ng thường, phạm vi đầu ra của mỗi neural được giới hạn trong đoạn [0,1] hoặc [-1, 1 .”

IV. Ensemble Learning Tăng Cường Độ Chính Xác Dự Báo

Ensemble learning là một phương pháp kết hợp nhiều mô hình học máy khác nhau để tạo ra một mô hình dự báo mạnh mẽ hơn. Trong phân tích chứng khoán, ensemble learning có thể được sử dụng để kết hợp các mô hình mạng neural, cây quyết định, và các mô hình thống kê khác, từ đó giảm thiểu sai số và tăng độ chính xác dự báo. Có hai kỹ thuật chính trong ensemble learning là Bagging và Boosting. Luận văn đã ứng dụng thành công Ensemble với Bagging. “Bằng vi c sử dụng nhiều m hình khác nhau, các phương pháp ensemble hướng tới giải quyết vấn đề kh ng cân b ng này và cho độ chính xác cao hơn các m hình phân lớp thành phần khi có sự đa dạng đáng kể giữa các m hình.”

4.1. Kỹ Thuật Bagging Và Ứng Dụng Trong Chứng Khoán

Bagging là một kỹ thuật trong ensemble learning tạo ra nhiều mẫu ngẫu nhiên từ dữ liệu ban đầu, sau đó huấn luyện các mô hình học máy trên các mẫu này. Kết quả dự báo cuối cùng được tổng hợp từ các mô hình thành phần thông qua bỏ phiếu hoặc trung bình cộng. Theo "ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ", “Ý tưởng của kỹ thuật bagging là tạo ra nhiều mẫu ngẫu nhiên các mẫu bootstrap từ một số mẫu ban đầu. Các mẫu này được sử dụng để huấn luy n các m hình phân lớp khác nhau.”. Bagging giúp giảm thiểu phương sai và cải thiện độ ổn định của mô hình.

4.2. Kỹ Thuật Boosting Và Ứng Dụng Trong Dự Báo

Boosting là một kỹ thuật khác trong ensemble learning tạo ra các mô hình học máy tuần tự, trong đó mỗi mô hình tập trung vào việc sửa chữa các sai sót của mô hình trước đó. “Sau khi bộ phân lớp Mi được học, các trọng số của từng bộ số trong dữ li u học sẽ được cập nhật lại để bộ phân lớp Mi+1 phân loại tốt hơn các bộ số mà Mi phân loại sai. Trong quá trình bỏ phiếu cuối cùng, phiếu của mỗi bộ phân lớp được gán một trọng số dựa trên độ chính xác của nó.” Boosting giúp giảm thiểu bias và tăng độ chính xác của mô hình.

4.3. So Sánh Ưu Nhược Điểm Của Bagging và Boosting

Trong ensemble learning, kỹ thuật bagging và boosting có những ưu nhược điểm riêng. Theo "ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ", “Bagging ít bị overfitting. Khi mà cả 2 phương pháp đều cho độ chính xác tốt hơn từng bộ phân lớp thành phần thì Boosting đạt được độ chính xác cao hơn”. Cần xem xét đặc điểm của dữ liệu và mục tiêu dự báo để lựa chọn kỹ thuật phù hợp.

V. Ứng Dụng Khai Phá Dữ Liệu Trong Phân Tích Thị Trường Chứng Khoán

Các mô hình khai phá dữ liệu đã được áp dụng rộng rãi trong phân tích thị trường chứng khoán, mang lại những kết quả khả quan trong việc dự đoán xu hướng giá cổ phiếu, phân tích rủi ro, và tối ưu hóa danh mục đầu tư. Các nghiên cứu đã chứng minh rằng việc kết hợp các thuật toán học máy với các chỉ báo kỹ thuật và phân tích cơ bản có thể cải thiện đáng kể độ chính xác của dự báo. Cần liên tục thử nghiệm và đánh giá hiệu quả mô hình. Luận văn thử nghiệm các phương án và đánh giá dựa trên MSE. “Mục đích chính của vi c đánh giá m hình là chỉ ra độ chính xác của mô hình dự đoán. Nếu như kết quả của mô hình là đáng tin cậy, chúng ta hoàn toàn có thể tin tưởng r ng giá trị dự đoán sẽ không l ch nhiều so với kết quả thực tế khi ta đưa dữ li u mới vào mô hình.”

5.1. Case Study Dự Đoán Giá Cổ Phiếu MSFT Sử Dụng Mạng Neural

Luận văn đã thực hiện case study dự đoán giá cổ phiếu MSFT sử dụng mạng neural. Kết quả cho thấy rằng mạng neural có khả năng học từ dữ liệu lịch sử và dự đoán xu hướng giá khá chính xác, đặc biệt khi kết hợp với các chỉ báo kỹ thuật. “Trong phần này, tôi sử dụng mạng neural truyền thống để dự đoán 2 xu hướng của thị trường chứng khoán. Đầu tiên tôi thực hi n dự đoán T+1 và để phù hợp với chu k thanh khoản của sàn giao dịch nên tôi tiếp tục thực hi n dự đoán với chu k T+4.”

5.2. So Sánh Kết Quả Dự Báo Của Các Mô Hình Khác Nhau

Để đánh giá hiệu quả của các mô hình khai phá dữ liệu, luận văn đã so sánh kết quả dự báo của mạng neural, ARIMA, và ensemble learning. Kết quả cho thấy rằng ensemble learning có độ chính xác cao nhất, tiếp theo là mạng neural, và cuối cùng là ARIMA. “Mô hình mạng neural cho kết quả chính xác hơn m hình RIM với cùng dự đoán chu k T+1. Kết quả dự đoán T+4 của m hình Neural k m chính xác hơn so với kết quả dự đoán T+1.”

VI. Kết Luận Và Hướng Phát Triển Của Nghiên Cứu Chứng Khoán

Luận văn đã trình bày một cách tổng quan về việc ứng dụng khai phá dữ liệu vào phân tích thị trường chứng khoán, tập trung vào phương pháp mạng neural và ensemble learning. Kết quả nghiên cứu cho thấy rằng các phương pháp này có tiềm năng lớn trong việc cải thiện độ chính xác của dự báo, hỗ trợ các nhà đầu tư đưa ra quyết định thông minh hơn. Trong tương lai, cần tiếp tục nghiên cứu và phát triển các mô hình phức tạp hơn, tích hợp thêm các yếu tố bên ngoài và tâm lý nhà đầu tư, từ đó xây dựng một hệ thống dự báo thị trường chứng khoán toàn diện và hiệu quả hơn. Kết quả ứng dụng kỹ thuật ensemble tăng độ chính xác lên đến 87%. “Nhận thấy, khi sử dụng kỹ thuật ensemble, mạng Neural hoạt động hi u quả hơn trong bài toán dự báo thị trường chứng khoán”

6.1. Những Hạn Chế Của Nghiên Cứu Và Đề Xuất Cải Tiến

Mặc dù đã đạt được những kết quả khả quan, nghiên cứu vẫn còn một số hạn chế, chẳng hạn như dữ liệu sử dụng còn đơn giản, chưa tích hợp đầy đủ các yếu tố bên ngoài. Trong tương lai, cần mở rộng phạm vi nghiên cứu, thu thập dữ liệu đa dạng hơn, và thử nghiệm các mô hình phức tạp hơn. Đồng thời, cũng cần chú trọng đến việc xử lý dữ liệu nhiễu và đánh giá độ tin cậy của mô hình. “Trong khai phá dữ li u, quá trình tiền xử lý dữ li u là rất quan trọng. Quá trình tiền xử lý dữ li u giúp cho vi c chuẩn hóa dữ li u trước khi đưa vào sử dụng.”

6.2. Hướng Phát Triển Nghiên Cứu Trong Tương Lai

Trong tương lai, hướng phát triển chính của nghiên cứu là tích hợp các yếu tố tâm lý nhà đầu tư vào mô hình dự báo, sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên để phân tích tin tức và mạng xã hội, từ đó đánh giá tác động của thông tin đến thị trường chứng khoán. Ngoài ra, cũng cần nghiên cứu và phát triển các mô hình học sâu (Deep Learning) để khai thác thông tin phức tạp từ dữ liệu lớn, giúp dự báo chính xác hơn. Đồng thời, cần tiếp tục nghiên cứu và phát triển các mô hình phức tạp hơn, tích hợp thêm các yếu tố bên ngoài và tâm lý nhà đầu tư, từ đó xây dựng một hệ thống dự báo thị trường chứng khoán toàn diện và hiệu quả hơn. “Luận văn của tôi tập trung nghiên cứu cả hai phương pháp định tính và định lượng với mong muốn có được một h thống dự đoán xu thế thị trường chứng khoán đủ mạnh hỗ trợ đắc lực cho các nhà đầu tư chứng khoán.”

Luận Văn Thạc Sĩ: Nghiên Cứu Khai Phá Dữ Liệu và Ứng Dụng Phân Tích Xu Thế Thị Trường Chứng Khoán

LỜI CAM ĐOAN

LỜI CẢM ƠN

MỤC LỤC

DANH MỤC BẢNG BIỂU

1. CHƯƠNG 1: TỔNG QUAN VỀ THỊ TRƯỜNG CHỨNG KHOÁN VÀ CÁC KỸ THUẬT TRUYỀN THỐNG

1.1. Thị trường chứng khoán

1.2. Một số kỹ thuật cơ bản dùng trong thị trường chứng khoán

1.2.1. Phân tích kỹ thuật (Technical Analysis)

1.2.2. Biểu đồ dạng đường (Line chart)

1.2.3. Biểu đồ dạng then chắn (Bar chart)

1.2.4. Biểu đồ cây nến (Candlestick chart)

1.2.5. Một số chỉ báo kỹ thuật cơ bản (Technical Indicator)

1.2.6. Tính hội tụ và phân kỳ của đường trung bình động MACD (Moving Average Convergence Divergence)

1.2.7. Dải băng Bollinger

1.2.8. Chỉ số sức mạnh tương đối RSI (Relative Strength Index)

1.3. Kỹ thuật dự báo nâng cao

1.3.1. Phân tích hồi quy (Regression Analysis)

1.3.2. Hệ số tương quan (coefficient correlation)

1.3.3. Hệ số xác định (coefficient of determination)

1.3.4. Mô hình ARIMA (AutoRegressive Integrated Moving Average)

1.3.5. Quá trình AR(p)

1.3.6. Quá trình MA(q)

1.3.7. Mô hình ARMA

1.3.8. Quá trình tích hợp I(d)

1.3.9. Mô hình ARIMA(p,d,q) tổng quát

2. CHƯƠNG 2: KHAI PHÁ DỮ LIỆU VÀ CÁC KỸ THUẬT PHÂN TÍCH DỰ BÁO

2.1. Khai phá tri thức và khai phá dữ liệu

2.1.1. Khai phá tri thức

2.1.2. Khai phá dữ liệu

2.2. Đánh giá mô hình phân lớp

2.3. Mạng Neural nhân tạo (Artificial Neural Network)

2.3.1. Kiến trúc mạng Neural

2.3.2. Huấn luyện mạng Neural

2.3.3. Thuật toán lan truyền ngược (Back Propagation)

2.4. Giới thiệu phương pháp ensemble

2.4.1. Kỹ thuật Bagging

2.4.2. Kỹ thuật Boosting

3. CHƯƠNG 3: PHƯƠNG PHÁP GIẢI QUYẾT, THỰC NGHIỆM VÀ ĐÁNH GIÁ CHO BÀI TOÁN DỰ BÁO THỊ TRƯỜNG CHỨNG KHOÁN

3.1. Xây dựng bài toán dự báo thị trường chứng khoán

3.1.1. Mô tả bài toán

3.1.2. Tính khả thi của bài toán

3.1.3. Công cụ hỗ trợ giải quyết bài toán

3.1.4. Quy trình giải quyết bài toán

3.1.4.1. Thu thập dữ liệu

3.1.4.2. Tiền xử lý dữ liệu

3.1.4.3. Tổ chức dữ liệu

3.1.4.4. Huấn luyện mô hình

3.1.4.5. Đánh giá mô hình và nhận xét kết quả

3.2. Mô hình ARIMA

3.3. Mô hình mạng neural truyền thống

3.4. Thực hiện dự đoán theo chu kỳ T+1

3.5. Thực hiện dự đoán theo chu kỳ T+4

3.6. Cải tiến 1: Mô hình mạng neural và bổ sung một số chỉ báo kỹ thuật

3.7. Cải tiến 2: Mạng neural có thêm các chỉ báo và sử dụng phương pháp ensemble