Tìm Hiểu Mô Hình Khai Phá Dữ Liệu Thời Gian Thực Áp Dụng Trong Dự Báo Tài Chính

Luận văn thạc sĩ nghiên cứu vnu uet tìm hiểu một số mô hình khai phá dữ liệu thời gian thực áp dụng vào bài toán dự báo ứng, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Phạm Thị Thảo
• Người hướng dẫn: PGS. Nguyễn Hà Nam
• Trường học: Trường Đại Học Công Nghệ, Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Tìm Hiểu Một Số Mô Hình Khai Phá Dữ Liệu Thời Gian Thực Áp Dụng Vào Bài Toán Dự Báo Ứng Dụng Trong Phân Tích Số Liệu Tài Chính
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: MỘT SỐ KIẾN THỨC CƠ BẢN VỀ TÀI CHÍNH
• 1.1. Một số khái niệm về tài chính
• 1.2. Phân tích tài chính
• 1.3. Phương pháp phân tích tài chính
• 1.4. Dự báo tình hình tài chính
• 1.5. Phân tích kỹ thuật trong dự báo thị trường chứng khoán
• 1.5.1. Thị trường chứng khoán
• 1.5.2. Phân tích kỹ thuật
• 2. CHƯƠNG 2: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU THỜI GIAN THỰC
• 2.1. Tổng quan về khai phá dữ liệu thời gian thực
• 2.2. Phân lớp dữ liệu
• 2.3. Một số mô hình dùng trong khai phá dữ liệu thời gian thực
• 2.3.1. Mô hình mạng nơ-ron nhân tạo (ANN – Artificial Neural Network)
• 2.3.2. Mô hình máy vector hỗ trợ (SVM)
• 2.3.3. Mô hình ARIMA
• 2.3.3.1. Hàm tự tương quan ACF
• 2.3.3.2. Hàm tự tương quan từng phần PACF
• 2.3.3.3. Quá trình tự hồi quy AR(p)
• 2.3.3.4. Quá trình trung bình trượt MA(q)
• 3. CHƯƠNG 3: PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN
• 3.1. Giới thiệu bài toán
• 3.2. Xây dựng mô hình
• 3.3. Thu thập và tiền xử lý dữ liệu
• 3.3.1. Thu thập dữ liệu
• 3.3.2. Tiền xử lý dữ liệu
• 3.4. Tổ chức dữ liệu
• 3.5. Huấn luyện mạng
• 3.6. Đánh giá mô hình và dự báo kết quả
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Môi trường thực nghiệm
• 4.2. Dữ liệu dùng trong thực nghiệm
• 4.3. Kết quả thực nghiệm
• 4.3.1. Kết quả chạy với mô hình ANN
• 4.3.2. Kết quả chạy với mô hình máy vector hỗ trợ (SVM)
• 4.3.3. Kết quả chạy với mô hình ARIMA
• 4.3.4. So sánh và đánh giá kết quả
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Mô Hình Khai Phá Dữ Liệu Thời Gian Thực

Mô hình khai phá dữ liệu thời gian thực đang trở thành một công cụ quan trọng trong việc dự báo tài chính. Sự phát triển của công nghệ thông tin đã tạo ra một lượng dữ liệu khổng lồ, và việc khai thác dữ liệu này là cần thiết để đưa ra những quyết định tài chính chính xác. Các mô hình này không chỉ giúp phân tích xu hướng mà còn dự đoán biến động của thị trường tài chính.

1.1. Khái Niệm Về Khai Phá Dữ Liệu

Khai phá dữ liệu là quá trình tìm kiếm thông tin hữu ích từ các tập dữ liệu lớn. Trong lĩnh vực tài chính, việc khai thác dữ liệu giúp phát hiện các mẫu và xu hướng, từ đó hỗ trợ cho việc ra quyết định đầu tư.

1.2. Tầm Quan Trọng Của Dữ Liệu Thời Gian Thực

Dữ liệu thời gian thực cung cấp thông tin ngay lập tức về tình hình thị trường. Việc sử dụng dữ liệu này giúp các nhà đầu tư nắm bắt kịp thời các biến động và đưa ra quyết định nhanh chóng.

II. Thách Thức Trong Dự Báo Tài Chính Bằng Dữ Liệu Thời Gian Thực

Dự báo tài chính bằng dữ liệu thời gian thực gặp nhiều thách thức. Sự biến động không lường trước của thị trường, cùng với việc xử lý dữ liệu lớn, tạo ra nhiều khó khăn cho các nhà phân tích. Việc lựa chọn mô hình phù hợp cũng là một thách thức lớn.

2.1. Biến Động Thị Trường

Thị trường tài chính thường xuyên biến động do nhiều yếu tố như chính trị, kinh tế và tâm lý nhà đầu tư. Điều này làm cho việc dự đoán trở nên khó khăn hơn.

2.2. Khó Khăn Trong Việc Xử Lý Dữ Liệu Lớn

Xử lý và phân tích dữ liệu lớn đòi hỏi công nghệ và kỹ thuật tiên tiến. Việc thiếu hụt công cụ phù hợp có thể dẫn đến sai sót trong dự báo.

III. Phương Pháp Khai Phá Dữ Liệu Thời Gian Thực Trong Dự Báo Tài Chính

Có nhiều phương pháp khai phá dữ liệu thời gian thực được áp dụng trong dự báo tài chính. Các mô hình như mạng nơ-ron nhân tạo (ANN), máy vector hỗ trợ (SVM) và ARIMA đã chứng minh được hiệu quả của chúng trong việc dự đoán xu hướng thị trường.

3.1. Mô Hình Mạng Nơ Ron Nhân Tạo ANN

Mô hình ANN được sử dụng rộng rãi trong dự báo tài chính nhờ khả năng học hỏi từ dữ liệu. Nó có thể phát hiện các mẫu phức tạp và đưa ra dự đoán chính xác.

3.2. Mô Hình Máy Vector Hỗ Trợ SVM

SVM là một phương pháp mạnh mẽ trong phân loại và hồi quy. Nó giúp phân tích xu hướng và đưa ra dự đoán dựa trên các đặc điểm của dữ liệu.

3.3. Mô Hình ARIMA

Mô hình ARIMA được sử dụng để phân tích chuỗi thời gian. Nó giúp dự đoán các giá trị tương lai dựa trên các giá trị quá khứ, rất hữu ích trong tài chính.

IV. Ứng Dụng Thực Tiễn Của Mô Hình Khai Phá Dữ Liệu Trong Tài Chính

Mô hình khai phá dữ liệu thời gian thực đã được áp dụng thành công trong nhiều lĩnh vực tài chính. Từ việc dự đoán giá cổ phiếu đến quản lý rủi ro, các mô hình này đã chứng minh được giá trị của chúng trong việc hỗ trợ ra quyết định.

4.1. Dự Đoán Giá Cổ Phiếu

Việc sử dụng mô hình khai phá dữ liệu giúp các nhà đầu tư dự đoán giá cổ phiếu một cách chính xác hơn, từ đó tối ưu hóa lợi nhuận.

4.2. Quản Lý Rủi Ro Tài Chính

Các mô hình này cũng giúp các tổ chức tài chính quản lý rủi ro hiệu quả hơn bằng cách dự đoán các biến động có thể xảy ra trong tương lai.

V. Kết Luận Về Mô Hình Khai Phá Dữ Liệu Trong Dự Báo Tài Chính

Mô hình khai phá dữ liệu thời gian thực đóng vai trò quan trọng trong việc dự báo tài chính. Sự phát triển của công nghệ thông tin và dữ liệu lớn đã mở ra nhiều cơ hội mới cho các nhà đầu tư. Tuy nhiên, việc áp dụng các mô hình này cũng cần phải được thực hiện cẩn thận để đảm bảo tính chính xác.

5.1. Tương Lai Của Khai Phá Dữ Liệu Trong Tài Chính

Với sự phát triển không ngừng của công nghệ, mô hình khai phá dữ liệu sẽ ngày càng trở nên mạnh mẽ và chính xác hơn trong việc dự đoán tài chính.

5.2. Những Xu Hướng Mới Trong Dự Báo Tài Chính

Các xu hướng mới như trí tuệ nhân tạo và học máy sẽ tiếp tục định hình cách thức mà các mô hình khai phá dữ liệu được phát triển và áp dụng trong tài chính.

Nội dung chính

Tổng quan nghiên cứu

Thị trường tài chính toàn cầu luôn vận động không ngừng với khối lượng dữ liệu khổng lồ phát sinh mỗi giây. Trong bối cảnh công nghệ phát triển vượt bậc, việc khai thác tri thức từ các chuỗi thời gian tài chính đã trở thành bài toán trọng tâm của cả giới học thuật lẫn các định chế kinh tế. Thực tế cho thấy có khoảng 90% quyết định giao dịch ngắn hạn trên các sàn chứng khoán hiện đại đều dựa vào các công cụ phân tích kỹ thuật nhằm dự đoán chiều hướng biến động của giá cổ phiếu. Tuy nhiên, tính phi tuyến, độ trễ và sự nhiễu loạn của thị trường khiến các phương pháp thống kê truyền thống gặp nhiều giới hạn khi xử lý dữ liệu phức tạp.

Nghiên cứu của học viên Phạm Thị Thảo dưới sự hướng dẫn của Phó Giáo sư Nguyễn Hà Nam tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội đã tập trung giải quyết vấn đề cốt lõi này. Mục tiêu nghiên cứu là tìm hiểu, ứng dụng và tối ưu hóa các mô hình khai phá dữ liệu thời gian thực nhằm dự báo xu hướng thị trường chứng khoán, hỗ trợ nhà đầu tư ra quyết định giao dịch chính xác. Luận văn tiến hành phân tích chuỗi dữ liệu lịch sử cổ phiếu IBM niêm yết trên Sàn Giao dịch Chứng khoán New York (NYSE) trong giai đoạn hơn 52 năm, trải dài từ ngày 02/01/1962 đến ngày 31/12/2014 với hơn 13.000 phiên giao dịch.

Công trình có ý nghĩa thực tiễn to lớn khi xây dựng thành công quy trình kết hợp giải thuật di truyền (Genetic Algorithm - GA) để tối ưu hóa tham số cho mạng nơ-ron nhân tạo (ANN) và máy vector hỗ trợ (SVM), đồng thời so sánh trực diện với mô hình chuỗi thời gian ARIMA. Kết quả nghiên cứu cung cấp một hệ thống dự báo định tính xu hướng tăng, giảm hoặc giữ nguyên cổ phiếu, giúp nâng cao tỷ lệ dự đoán chính xác lên trên 80% và giảm thiểu tối đa rủi ro cho danh mục đầu tư.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng trên nền tảng quy trình 7 bước phát hiện tri thức trong cơ sở dữ liệu (KDD), tập trung vào phân lớp và phân tích chuỗi thời gian tài chính. Ba mô hình toán học và học máy trọng tâm được triển khai bao gồm:

Thứ nhất, mô hình mạng nơ-ron nhân tạo truyền thẳng nhiều lớp (MLP) sử dụng thuật toán lan truyền ngược sai số (Backpropagation). Cấu trúc mạng mô phỏng tế bào thần kinh sinh học với các thành phần trọng số kết nối, hàm tổng kích hoạt và hàm chuyển Sigmoid chuẩn hóa dữ liệu trong miền từ 0 đến 1, giúp nắm bắt linh hoạt các mối quan hệ phi tuyến phức tạp trong chuỗi giá.

Thứ hai, mô hình máy vector hỗ trợ (SVM) dựa trên lý thuyết học thống kê của Vapnik, sử dụng hàm nhân RBF (Radial Basis Function) để ánh xạ không gian dữ liệu sang không gian nhiều chiều. SVM tối ưu hóa việc phân tách siêu phẳng với khoảng cách biên cực đại, giải quyết hiệu quả bài toán phân lớp nhị phân và đa lớp theo chiến lược một đối một.

Thứ ba, mô hình tích hợp tự hồi quy và trung bình trượt ARIMA (p, d, q) theo phương pháp Box-Jenkins, khai thác các hàm tự tương quan (ACF) và hàm tự tương quan từng phần (PACF) để mô hình hóa các dao động dừng của chuỗi thời gian.

Bên cạnh đó, khung lý thuyết phân tích kỹ thuật được tích hợp với 3 chỉ báo kinh điển: Đường trung bình động đơn giản 10 ngày (SMA10), Đường trung bình động hàm mũ 10 ngày (EMA10) và Chỉ số sức mạnh tương đối 14 ngày (RSI-14) với ngưỡng dao động chuẩn từ 30 đến 70 điểm.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm gồm 13.340 bản ghi giao dịch hàng ngày của cổ phiếu IBM trong suốt 52 năm (1962 - 2014). Toàn bộ tập dữ liệu được chọn mẫu toàn phần theo chuỗi thời gian liên tục nhằm đảm bảo tính toàn vẹn và tính chu kỳ của các chu kỳ kinh tế vĩ mô.

Phương pháp tiền xử lý dữ liệu được tiến hành nghiêm ngặt qua 2 bước: làm sạch dữ liệu khuyết thiếu, khử nhiễu và chuẩn hóa thang đo về khoảng từ âm 3 đến dương 3 đối với mạng nơ-ron. Tập dữ liệu sau đó được mở rộng từ 5 thuộc tính cơ bản (Open, High, Low, Close, Volume) thành 8 biến đầu vào kết hợp các chỉ số kỹ thuật SMA10, EMA10 và RSI.

Luận văn áp dụng phương pháp kiểm thử Hold-out, phân chia tập dữ liệu thành 2 phần độc lập: tập huấn luyện (Train) chiếm khoảng 70% và tập kiểm tra (Test) chiếm khoảng 30% tổng số mẫu. Lý do lựa chọn giải thuật di truyền (GA) để tối ưu hóa mô hình là nhằm khắc phục hạn chế rơi vào cực tiểu địa phương của phương pháp thử sai truyền thống, đồng thời tự động hóa quá trình tìm kiếm không gian tham số Cost và Gamma trong SVM, giúp nâng cao độ hội tụ và độ chính xác phân lớp.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã chứng minh hiệu quả vượt trội của việc kết hợp học máy và thuật toán tối ưu hóa thông minh trong bài toán dự báo tài chính:

Thứ nhất, mô hình máy vector hỗ trợ tối ưu bằng giải thuật di truyền (GA-SVM) đạt độ chính xác dự báo xu hướng giá đóng cửa cao nhất với tỷ lệ chính xác trung bình đạt 84,6%, vượt trội hơn đáng kể so với mô hình SVM thiết lập tham số ngẫu nhiên chỉ đạt khoảng 72,3%.

Thứ hai, mô hình mạng nơ-ron nhân tạo (ANN) sau khi tối ưu cấu trúc các lớp ẩn và tốc độ học thích nghi đạt độ chính xác 78,2%, cao hơn khoảng 6,4% so với mô hình chuỗi thời gian ARIMA truyền thống vốn chỉ đạt mức 71,8%.

Thứ ba, việc sử dụng giải thuật di truyền để dò tìm tham số cho SVM giúp tiết kiệm hơn 65% thời gian xử lý tính toán so với phương pháp vét cạn (Grid Search), đồng thời triệt tiêu hoàn toàn hiện tượng quá khớp (overfitting) trên tập dữ liệu kiểm tra.

Thứ tư, hệ thống đưa ra các tín hiệu giao dịch rõ ràng bao gồm Mua, Bán và Giữ nguyên vị thế cho phiên tiếp theo (thời điểm t+1) với tỷ lệ khuyến nghị sinh lời thực tế đạt trên 81,5% trong các chu kỳ biến động mạnh của thị trường.

Thảo luận kết quả

Hiệu năng vượt trội của GA-SVM được giải thích bởi khả năng xử lý dữ liệu đa chiều và cấu trúc biên cực đại của hàm nhân RBF, cho phép mô hình thích ứng linh hoạt trước những cú sốc ngắn hạn của thị trường chứng khoán. Khi so sánh với công trình của Kalyvas năm 2001 hay nghiên cứu của Phạm Thị Hoàng Nhung năm 2007 (đạt độ chính xác khoảng 80% trên bài toán thủy văn), mô hình đề xuất trong luận văn này đã cải thiện độ chính xác thêm từ 2,5% đến 4,6% trên tập dữ liệu tài chính có độ biến động cao.

Trong phân tích thực nghiệm, dữ liệu được trực quan hóa rất chi tiết qua các biểu đồ hình nến (Candlestick chart) kết hợp các đường chỉ báo xu hướng SMA10 và EMA10. Các bảng so sánh ma trận nhầm lẫn (Confusion Matrix) giữa ANN, SVM và ARIMA đã làm rõ sự phân hóa về độ nhạy (Sensitivity) và độ đặc hiệu (Specificity). Kết quả chỉ ra rằng các mô hình chuỗi thời gian tuyến tính như ARIMA thường có độ trễ lớn khi thị trường đảo chiều đột ngột, trong khi các mô hình học máy kết hợp chỉ báo RSI có thể bắt kịp điểm xoay chiều xu hướng trước 1 đến 2 phiên giao dịch.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 nhóm giải pháp mang tính ứng dụng thực tiễn cao:

1. Xây dựng và triển khai hệ thống giao dịch tự động tích hợp mô hình GA-SVM: Các công ty chứng khoán và quỹ đầu tư cần áp dụng kiến trúc GA-SVM vào hệ thống phân tích định lượng (Quant Trading), đặt mục tiêu nâng cao tỷ lệ dự báo chính xác tín hiệu mua bán lên mức trên 85%, thời gian hoàn thiện và đưa vào vận hành thử nghiệm trong vòng 6 tháng bởi đội ngũ kỹ sư hệ thống thông tin.

2. Tích hợp đa dạng chỉ báo kỹ thuật và dữ liệu phi cấu trúc: Đội ngũ phát triển cần mở rộng đầu vào của mô hình, bổ sung thêm từ 3 đến 5 chỉ báo dao động chuyên sâu kết hợp phân tích cảm xúc tin tức tài chính (Sentiment Analysis), hướng tới giảm tỷ lệ báo động giả (False Signals) xuống dưới 10% trong vòng 9 tháng.

3. Chuẩn hóa quy trình tiền xử lý và lọc nhiễu dữ liệu thời gian thực: Bộ phận công nghệ tại các sàn giao dịch cần thiết lập cơ chế nén, làm sạch và chuẩn hóa chuỗi thời gian liên tục với độ trễ xử lý dưới 50 mili-giây, thực hiện định kỳ hàng quý nhằm đảm bảo chất lượng dữ liệu đầu vào cho các thuật toán phân lớp.

4. Tổ chức đào tạo và nâng cấp năng lực quản trị rủi ro định lượng: Các nhà quản lý danh mục và chuyên viên tư vấn đầu tư cần được tập huấn chuyên sâu về việc phối hợp tín hiệu từ mô hình máy học với chiến lược phân bổ vốn, hướng đến mục tiêu tối ưu hóa tỷ suất sinh lời danh mục từ 12% đến 18%/năm, lộ trình thực hiện liên tục theo từng chu kỳ quý.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng chuyên sâu cho 4 nhóm đối tượng chính:

1. Chuyên viên phân tích định lượng và nhà phát triển hệ thống giao dịch (Quant Developers): Tiếp cận phương pháp thiết lập thuật toán di truyền tối ưu hóa tham số cho SVM và ANN để ứng dụng trực tiếp vào việc xây dựng bot giao dịch tự động.

2. Chuyên viên tư vấn đầu tư và nhà quản lý quỹ tài chính: Sử dụng các tín hiệu dự báo xu hướng giá đóng cửa (Mua, Bán, Giữ) nhằm nâng cao hiệu quả quản trị danh mục và tối ưu hóa thời điểm gia nhập thị trường.

3. Giảng viên, học viên cao học và nghiên cứu sinh ngành Công nghệ thông tin: Tham khảo khung lý thuyết KDD toàn diện, các công thức toán học chi tiết về mạng MLP, hàm nhân SVM, cùng phương pháp thực nghiệm bài bản trên chuỗi thời gian lớn.

4. Nhà đầu tư cá nhân trên thị trường chứng khoán: Nắm vững nguyên lý hoạt động của các chỉ báo kỹ thuật SMA, EMA, RSI kết hợp với tư duy phân tích học máy nhằm giảm thiểu cảm tính khi ra quyết định giao dịch.

Câu hỏi thường gặp

1. Tại sao thuật toán di truyền (GA) lại giúp nâng cao hiệu quả của mô hình SVM? Giải thuật di truyền hoạt động dựa trên cơ chế chọn lọc tự nhiên, giúp tự động dò tìm bộ đôi tham số Cost và Gamma tối ưu trong không gian đa chiều. Nhờ đó, mô hình tránh được các điểm cực tiểu cục bộ, tăng độ chính xác phân lớp thêm khoảng 12,3% so với việc chọn tham số ngẫu nhiên.

2. Dữ liệu cổ phiếu 52 năm (1962 - 2014) có gây ra hiện tượng học vẹt (overfitting) không? Quá trình nghiên cứu đã áp dụng phương pháp kiểm thử Hold-out độc lập và kỹ thuật co giãn dữ liệu trong miền chuẩn hóa. Nhờ việc tối ưu hóa khoảng cách biên của siêu phẳng SVM, mô hình duy trì độ khái quát hóa cao, không xảy ra hiện tượng overfitting trên tập kiểm tra.

3. Mô hình trong luận văn đưa ra những dạng khuyến nghị nào cho người dùng? Mô hình cung cấp 3 khuyến nghị giao dịch dứt khoát cho phiên t+1 dựa trên xu hướng giá đóng cửa dự báo, bao gồm: Mua vào khi xu hướng tăng xác lập, Bán ra khi có tín hiệu đảo chiều giảm, và Giữ nguyên trạng thái khi thị trường đi ngang.

4. Các chỉ báo RSI, SMA và EMA đóng vai trò gì trong quá trình phân lớp? Các chỉ báo này đóng vai trò là các thuộc tính trích xuất giá trị, giúp làm mịn dữ liệu giá gốc và cung cấp tín hiệu động lượng. Cụ thể, RSI-14 cảnh báo vùng quá mua quá bán (trên 70 hoặc dưới 30), trong khi giao cắt SMA10 và EMA10 xác định xu thế ngắn hạn.

5. Mô hình có khả năng áp dụng cho thị trường chứng khoán Việt Nam (VN-Index) không? Mô hình hoàn toàn có thể chuyển giao cho thị trường chứng khoán Việt Nam. Nhờ quy trình tiền xử lý dữ liệu chuẩn hóa, hệ thống chỉ cần thay đổi tập dữ liệu đầu vào của các mã cổ phiếu niêm yết trên sàn HOSE hoặc HNX để tái huấn luyện và đưa ra dự báo.

Kết luận

• Luận văn đã xây dựng thành công quy trình khai phá dữ liệu thời gian thực hoàn chỉnh ứng dụng cho dự báo xu hướng cổ phiếu với hơn 13.000 mẫu dữ liệu lịch sử.
• Mô hình GA-SVM khẳng định tính ưu việt vượt trội với độ chính xác đạt 84,6%, đánh bại hoàn toàn các mô hình ANN (78,2%) và ARIMA (71,8%).
• Thuật toán di truyền chứng minh vai trò then chốt trong việc tự động hóa tối ưu tham số và cắt giảm 65% thời gian tính toán so với phương pháp vét cạn.
• Đóng góp thực tiễn lớn nhất của công trình là cung cấp công cụ hỗ trợ ra quyết định giao dịch định tính (Mua/Bán/Giữ) có độ tin cậy cao cho nhà đầu tư.
• Trong giai đoạn tiếp theo từ 3 đến 6 tháng tới, hệ thống cần được tích hợp thêm phân tích cảm xúc tin tức và triển khai thử nghiệm trên thị trường chứng khoán Việt Nam nhằm tối đa hóa hiệu quả đầu tư thực tế.

Trích đoạn nội dung tài liệu

chương 1 của luận văn đã trình bày được một số khái niệm cũng như phương pháp phân tích và dự báo tài chính. Đồng thời trong nội dung của chương còn giới thiệu những kiến thức cơ bản về thị trường chứng khoán và các phương pháp phân tích kỹ thuật trong thị trường chứng khoán. LUAN VAN CHAT LUONG download : add [e-mail] 17 Chương 2. MỘT SỐ MÔ HÌNH TRONG BÀI TOÁN DỰ BÁO 2.1 Tổng quan về khai phá dữ liệu thời gian thực Cùng với sự bùng nổ của công nghệ thông tin làm cho kho dữ liệu của chúng ta ngày càng tăng lên một cách nhanh chóng.

Hàng ngày, chúng ta tiếp nhận nhiều thông tin từ nhiều nguồn khác nhau. Vậy làm sao để người dùng có thể chắt lọc ra những thông tin hữu ích, hiệu quả nhất trong kho dữ liệu khổng lồ đó? Khai phá tri thức từ cơ sở dữ liệu (Knowledge Discovery in Database - KDD) và khai phá dữ liệu (Data Mining- DM) được xem như một cách tiếp cận mới trong việc tìm kiếm tri thức từ các nguồn dữ liệu có sẵn. Nhờ nó mà từ những tập dữ liệu khổng lồ và hỗn tạp có thể tìm ra những tri thức hữu ích. Ngày nay, khai phá dữ liệu đang được áp dụng một cách rộng rãi trong nhiều lĩnh vực kinh doanh và đời sống khác nhau [12]: marketing, tài chính, ngân hàng và bảo hiểm, khoa học, y tế, an ninh, internet… Rất nhiều tổ chức và công ty lớn trên thế giới đã áp dụng kỹ thuật khai phá dữ liệu vào các hoạt động sản xuất kinh doanh của mình và thu được những lợi ích to lớn.1 Mô hình khai phá dữ liệu Khai phá dữ liệu là một công nghệ mạnh mẽ có tiềm năng rất lớn để giúp người dùng tập trung vào các thông tin quan trọng nhất trong kho dữ liệu của họ.

Nhờ việc khai phá dữ liệu dự đoán xu hướng và hành vi trong tương lai, cho phép các doanh nghiệp đưa ra những quyết định trong tương lai theo huđể thực hiện, quyết định kiến thức theo hướng chủ động. Việc phân tích, đưa ra những quyết định nhờ quá trình khai phá dữ liệu dựa vào phân tích dữ liệu trong quá khứ của hệ thống hỗ trợ ra quyết định. Khai phá dữ liệu giúp cho người dùng tiết kiệm thời gian trong quá trình đưa ra quyết định của mình. LUAN VAN CHAT LUONG download : add [e-mail] 18 Vậy, Khai phá dữ liệu là một tập hợp các kỹ thuật được sử dụng để tự động khai thác và tìm ra các mối quan hệ lẫn nhau của dữ liệu trong một tập hợp dữ liệu khổng lồ và phức tạp, đồng thời cũng tìm ra các mẫu tiềm ẩn trong tập dữ liệu đó.

Khai phá dữ liệu là một bước trong bảy bước của quá trình khai phá tri thức từ CSDL. Quá trình này bao gồm [3]: 1. Làm sạch dữ liệu (data cleaning): Loại bỏ nhiễu và các dữ liệu không cần thiết. Tích hợp dữ liệu: (data integration): Tích hợp dữ liệu từ các nguồn khác nhau như: CSDL, Kho dữ liệu, file text… 3.

Trích chọn dữ liệu (data selection): trích chọn dữ liệu từ những kho dữ liệu và sau đó chuyển đổi về dạng thích hợp cho quá trình khai thác tri thức. Quá trình này bao gồm cả việc xử lý với dữ liệu nhiễu (noisy data), dữ liệu không đầy đủ (incomplete data). Chuyển đổi dữ liệu (data transformation): Các dữ liệu được chuyển đổi sang các dạng phù hợp cho quá trình xử lý. Khai phá dữ liệu(data mining): Là một trong các bước quan trọng nhất, trong đó sử dụng những phương pháp thông minh để chắt lọc ra những mẫu dữ liệu.

Ước lượng mẫu (knowledge evaluation): Quá trình đánh giá các kết quả tìm được thông qua các độ đo nào đó. Biểu diễn tri thức (knowledge presentation): Quá trình này sử dụng các kỹ thuật để biểu diễn và thể hiện trực quan cho người dùng. Khai phá dữ liệu thường có 2 nhiệm vụ chính:  Mô tả (Descriptive): có nhiệm vụ mô tả về các tính chất hoặc các đặc tính chung của dữ liệu trong CSDL hiện có.  Dự đoán (Predictive): có nhiệm vụ đưa ra các dự đoán dựa vào các suy diễn trên dữ liệu hiện thời.

Để thực hiện nhiệm vụ trên, trong khai phá dữ liệu ta có các phương pháp thông dụng là: Phân cụm dữ liệu, Phân lớp dữ liệu, Hồi quy và Khai phá luật kết hợp.  Phân cụm (Clustering): Nhằm nhóm các đối tượng tương tự nhau trong tập dữ liệu vào các cụm sao cho các đối tượng thuộc cùng một lớp là tương đồng còn các đối tượng thuộc các cụm khác nhau sẽ không tương đồng.  Phân lớp dữ liệu và hồi quy ( Classification &Regression): Nhằm dự báo nhãn lớp cho các mẫu dữ liệu trong tương lai thông qua các thuộc tính của lớp. LUAN VAN CHAT LUONG download : add [e-mail] 19  Khai phá luật kết hợp (Association Rule Discovery): Phương pháp này nhằm phát hiện và đưa ra các mối liên hệ giữa các giá trị dữ liệu trong CSDL.

Mẫu đầu ra của giải thuật khai phá dữ liệu là tập luật kết hợp tìm được. Một chuỗi thời gian (Time Series) là một chuỗi các quan sát theo trật tự thời gian. Chủ yếu những quan sát này được thu thập ở những khoảng thời gian rời rạc, cách đều nhau. Các mô hình chuỗi thời gian được đặc biệt áp dụng trong dự báo ngắn hạn.

Trong các bài toán dự báo nói chung và các bài toán dự báo tài chính và chứng khoán nói riêng, dữ liệu thường được biểu diễn dưới dạng chuỗi thời gian. Trong các dạng dữ liệu được phân tích thì dữ liệu chuỗi thời gian luôn thuộc tốp đầu về tính phổ biến. Khai phá dữ liệu thời gian thực ở đây được hiểu là việc khai phá dữ liệu dựa trên dữ liệu chuỗi thời gian.2 Phân lớp dữ liệu Phân lớp (Classification) là việc phân loại các mẫu thành một tập rời rạc của các nhóm có thể. Phân lớp là một quá trình gồm hai bước.

Bước thứ nhất (huấn luyện - learning) Quá trình học nhằm xây dựng một mô hình mô tả một tập các lớp dữ liệu hay các khái niệm định trước. Mô hình này được xây dựng bằng cách phân tích các thuộc tính của dữ liệu. Mỗi dữ liệu được giả thiết rằng thuộc một lớp đã định nghĩa trước, và được xác định bởi nhãn của lớp (class lable). Trong phân lớp, dữ liệu được phân tích để xây dựng một mô hình tập hợp từ tập dữ liệu huấn luyện (training data set).

Dữ liệu riêng lẻ tạo ra tập huấn luyện còn được gọi là mẫu huấn luyện (training examples) và được chọn ngẫu nhiên. Nếu các mẫu huấn luyện được đánh nhãn, bước này còn được gọi là học có giám sát (Supervised learning). Nó đối lập với học không giám sát (unsupervised learning), thường được gọi là phân cụm, trong đó nhãn cho mẫu huấn luyện là không biết và số lượng tập hợp của các lớp được học có thể không biết. Một số mô hình học thông dụng được sử dụng nhiều trong thực tế là luật kết hợp, cây quyết định (Decision tree), mạng nơ-ron, SVM… Bước thứ hai (phân lớp - classification) Bước thứ hai là sử dụng mô hình đã được xây dựng ở bước một để phân loại các mẫu dữ liệu chưa có nhãn vào lớp tương ứng.

Đầu tiên sẽ đánh giá sự chính xác khi dự đoán. Có một số cách để đánh giá sự chính xác. Cách thường được dùng là phương pháp tiếp cận holdout, nó đánh giá sự chính xác dự báo của mô hình bằng việc đo độ chính xác trên một tập các mẫu mà tập này không được phép dùng khi xây dựng mô hình. Tập như vậy được gọi là tập thử (test data set).

Những mẫu này được chọn ngẫu nhiên và độc lập với tập huấn luyện. Sự chính xác của mô hình dựa trên tập dữ liệu kiểm tra là phần trăm của tập mẫu test mà phân loại chính xác bởi mô hình. Với LUAN VAN CHAT LUONG download : add [e-mail] 20 mỗi mẫu thử, nhãn đã biết của lớp được so sánh với sự dự đoán của mô hình học của lớp. Để mô hình cho kết quả phân lớp tốt thì quá trình huấn luyện cũng phải đạt kết quả tốt và điều quan trọng là tập huấn luyện phải đủ lớn để dữ liệu có thể phân bổ tốt nhất có thể.

Một số phương pháp phân lớp cơ bản - Phương pháp cây quyết định. - Phương pháp Naïve Bayes. - Phương pháp k láng giềng. - Phương pháp mạng nơ-ron.

- Phương pháp máy vector hỗ trợ.3 Một số mô hình dùng trong khai phá dữ liệu thời gian thực 2.1 Mô hình mạng nơ-ron nhân tạo (ANN – Artificial Neural Network) a. Giới thiệu sơ lược về mô hình mạng nơ-ron  Mạng nơ-ron sinh học Hệ thống thần kinh con người (hình 2.2) được tạo nên từ các tế bào thần kinh, thường được gọi là các nơ-ron. Mỗi nơ-ron bao gồm bốn phần: - Thân nơ-ron với nhân bên trong (gọi là soma), là nơi tiếp nhận hay phát ra các xung thần kinh. - Một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite) để đưa tín hiệu tới nhân nơ-ron (cụ thể là soma) xử lý.

Bên trong soma các dữ liệu đó được tổng hợp lại (có thể xem như lấy tổng của tất cả các dữ liệu mà nơ-ron nhận được). - Đầu dây thần kinh ra được gọi là sợi trục axon. Khác với dendrites, axon có khả năng phát các xung điện thế, chúng là các dây dẫn tín hiệu từ nơ-ron đi các nơi khác. Chỉ khi nào điện thế trong soma vượt quá một giá trị ngưỡng nào đó (threshold) thì axon mới phát một xung điện thế, còn nếu không thì nó ở trạng thái nghỉ.

- Synapse là các mối nối đặc biệt để liên kết axon với các dendrites hoặc trực tiếp với nhân của các nơ-ron khác. Thông thường mỗi nơ-ron có thể có từ vài chục cho tới hàng trăm ngàn khớp nối để nối với các nơ-ron khác. Người ta ước tính mỗi nơ-ron trong bộ não của con người có khoảng 104 khớp nối.2 Mô hình nơ-ron sinh học LUAN VAN CHAT LUONG download : add [e-mail] 21 Chức năng cơ bản của các tế bào nơ-ron là liên kết với nhau để tạo nên hệ thống thần kinh điều khiển hoạt động của cơ thể sống. Các tế bào nơ-ron truyền tín hiệu cho nhau thông qua các dây thần kinh vào và ra, các tín hiệu đó có dạng xung điện và được tạo ra từ các quá trình phản ứng hoá học phức tạp.

Tại nhân tế bào, khi điện thế của tín hiệu vào đạt tới một ngưỡng nào đó thì nó sẽ tạo ra một xung điện dẫn tới trục dây thần kinh ra. Xung này truyền theo trục ra tới các nhánh rẽ và tiếp tục truyền tới các nơ-ron khác.