Chuyên Đề Thực Tập: Ứng Dụng Deep Learning trong Dự Báo Chuỗi Thời Gian

Chuyên đề thực tập ứng dụng deep learning trong dự báo chuỗi thời gian, khám phá phương pháp và kỹ thuật hiệu quả để phân tích dữ liệu thời gian.

• Tác giả: Vũ Nhật Quang
• Người hướng dẫn: Pgs. Ts. Nguyễn Thị Minh
• Trường học: Đại học Kinh tế Quốc dân
• Chuyên ngành: Toán Kinh tế
• Đề tài: Ứng dụng Deep Learning trong Dự Báo Chuỗi Thời Gian
• Loại tài liệu: chuyên đề thực tập
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• MỞ ĐẦU
• 0.1. Lý do lựa chọn chủ đề nghiên cứu
• 0.2. Mục tiêu nghiên cứu
• 0.3. Đối tượng và phạm vi nghiên cứu
• 0.4. Phương pháp nghiên cứu
• 0.5. Kết cấu chuyên đề
• 1. CHƯƠNG 1: CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU
• 1.1. CƠ SỞ LÝ THUYẾT VỀ DỰ BÁO CHUỖI THỜI GIAN
• 1.1.1. Khái niệm chuỗi thời gian
• 1.1.2. Một số đặc trưng của chuỗi thời gian
• 1.1.3. Đánh giá sai số trong dự báo chuỗi thời gian
• 1.1.4. Bài toán dự báo chuỗi thời gian trong kinh tế - kinh doanh
• 1.2. TỔNG QUAN NGHIÊN CỨU VỀ DỰ BÁO CHUỖI THỜI GIAN
• 2. CHƯƠNG 2: PHƯƠNG PHÁP NGHIÊN CỨU
• 2.1. CƠ SỞ CỦA DEEP LEARNING
• 2.2. ĐỊNH NGHĨA DEEP LEARNING
• 2.3. MỘT SỐ PHƯƠNG PHÁP DỰ BÁO CHUỖI THỜI GIAN VỚI DEEP LEARNING
• 2.3.1. Các phương pháp dự báo chuỗi thời gian với Deep Learning
• 2.3.2. Mô hình tự hồi quy (Recurrent Neural Network - RNN) và vấn đề phụ thuộc ngăn (vanishing gradient)
• 2.3.3. MÔ HÌNH LONG SHORT-TERM MEMORY
• 2.3.3.1. Giới thiệu mô hình LSTM
• 2.3.3.2. Cấu trúc mô hình LSTM
• 2.3.4. Ưu điểm và nhược điểm của các mô hình dự báo với DL
• 2.3.4.1. Ưu điểm của các mô hình dự báo với DL
• 2.3.4.2. Nhược điểm của các mô hình dự báo với DL
• 2.3.5. Một số phương pháp dự báo khác
• 2.3.5.1. Phương pháp Machine Learning
• 2.3.5.2. Phương pháp thống kê
• 3. CHƯƠNG 3: DỰ BÁO SỬ DỤNG DEEP LEARNING SO VỚI CÁC PHƯƠNG PHÁP KHÁC TRONG DỰ BÁO CHUỖI THỜI GIAN TRƯỜNG HỢP GIÁ CỔ PHIẾU
• 3.1. BÀI TOÁN ĐẶT RA
• 3.2. Phần mềm và các thư viện
• 3.3. DỰ BÁO VỚI MÔ HÌNH LSTM
• 3.4. DỰ BÁO VỚI MÔ HÌNH RANDOM FOREST (RF)
• 3.5. DỰ BÁO VỚI MÔ HÌNH ARIMA
• 3.6. SO SÁNH VÀ ĐÁNH GIÁ KẾT QUẢ DỰ BÁO
• 4. CHƯƠNG 4: KẾT LUẬN VÀ KIẾN NGHỊ
• PHỤ LỤC
• A. Bảng kết quả kiểm định và dự báo
• B. Code script
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về Deep Learning và Dự báo Chuỗi Thời Gian

Deep Learning đã trở thành một công cụ mạnh mẽ trong việc phân tích và dự báo chuỗi thời gian. Với khả năng học sâu từ dữ liệu, các mô hình Deep Learning như LSTM (Long Short-Term Memory) và RNN (Recurrent Neural Network) đã chứng minh hiệu quả vượt trội so với các phương pháp truyền thống như ARIMA và Random Forest. Dự báo chuỗi thời gian là quá trình dự đoán các giá trị tương lai dựa trên dữ liệu lịch sử, và Deep Learning đã mở ra những hướng đi mới trong lĩnh vực này.

1.1. Khái niệm cơ bản về Deep Learning

Deep Learning là một nhánh của Machine Learning, tập trung vào việc xây dựng các mạng nơ-ron nhân tạo có khả năng học từ dữ liệu. Các mô hình này thường bao gồm nhiều lớp (layers) để xử lý thông tin phức tạp. Trong dự báo chuỗi thời gian, Deep Learning giúp nắm bắt các mối quan hệ phi tuyến và phụ thuộc dài hạn trong dữ liệu, điều mà các phương pháp truyền thống khó có thể làm được.

1.2. Tầm quan trọng của Dự báo Chuỗi Thời Gian

Dự báo chuỗi thời gian đóng vai trò quan trọng trong nhiều lĩnh vực như kinh tế, tài chính, và thời tiết. Ví dụ, trong dự báo tài chính, việc dự đoán chính xác giá cổ phiếu có thể giúp các nhà đầu tư đưa ra quyết định hiệu quả. Deep Learning đã mang lại những cải tiến đáng kể trong việc dự báo các chuỗi thời gian phức tạp, đặc biệt là khi dữ liệu có tính chất phi tuyến và nhiễu cao.

II. Các Mô Hình Deep Learning trong Dự Báo Chuỗi Thời Gian

Các mô hình Deep Learning như LSTM, RNN, và GRU (Gated Recurrent Unit) đã được áp dụng rộng rãi trong dự báo chuỗi thời gian. Những mô hình này có khả năng xử lý dữ liệu tuần tự và nắm bắt các mối quan hệ phụ thuộc dài hạn, điều mà các phương pháp truyền thống như ARIMA không thể làm được.

2.1. Mô hình LSTM Long Short Term Memory

LSTM là một biến thể của RNN, được thiết kế để giải quyết vấn đề vanishing gradient thường gặp trong các mô hình RNN truyền thống. LSTM sử dụng các cổng (gates) để kiểm soát thông tin, giúp mô hình có thể nhớ các thông tin quan trọng trong thời gian dài. Điều này làm cho LSTM trở thành một công cụ mạnh mẽ trong dự báo chuỗi thời gian, đặc biệt là khi dữ liệu có tính chất phức tạp và nhiễu cao.

2.2. Mô hình RNN Recurrent Neural Network

RNN là một mô hình nơ-ron được thiết kế để xử lý dữ liệu tuần tự. Mỗi nơ-ron trong RNN có một trạng thái ẩn (hidden state) giúp lưu trữ thông tin từ các bước thời gian trước đó. Tuy nhiên, RNN thường gặp phải vấn đề vanishing gradient, khiến mô hình khó học các phụ thuộc dài hạn. Mặc dù vậy, RNN vẫn là một công cụ hữu ích trong dự báo chuỗi thời gian, đặc biệt là khi kết hợp với các kỹ thuật như GRU.

III. Ứng Dụng Deep Learning trong Dự Báo Tài Chính

Trong lĩnh vực tài chính, Deep Learning đã được áp dụng để dự báo giá cổ phiếu, dự báo thị trường, và dự báo rủi ro. Các mô hình như LSTM và RNN đã chứng minh hiệu quả trong việc dự đoán các biến động thị trường, giúp các nhà đầu tư đưa ra quyết định chính xác hơn.

3.1. Dự Báo Giá Cổ Phiếu

Dự báo giá cổ phiếu là một bài toán phức tạp do tính chất biến động cao của thị trường. Deep Learning đã được sử dụng để dự đoán giá cổ phiếu dựa trên dữ liệu lịch sử. Các mô hình như LSTM và RNN đã cho thấy khả năng nắm bắt các xu hướng và mô hình phức tạp trong dữ liệu, giúp cải thiện độ chính xác của dự báo.

3.2. Dự Báo Rủi Ro

Dự báo rủi ro là một phần quan trọng trong quản lý tài chính. Deep Learning đã được áp dụng để dự đoán các rủi ro tiềm ẩn trong thị trường tài chính. Các mô hình như LSTM và RNN có thể phân tích các dữ liệu lịch sử để dự đoán các sự kiện rủi ro, giúp các nhà quản lý đưa ra các biện pháp phòng ngừa hiệu quả.

IV. So Sánh Deep Learning với Các Phương Pháp Truyền Thống

Deep Learning đã chứng minh hiệu quả vượt trội so với các phương pháp truyền thống như ARIMA và Random Forest trong dự báo chuỗi thời gian. Các mô hình Deep Learning có khả năng nắm bắt các mối quan hệ phi tuyến và phụ thuộc dài hạn trong dữ liệu, điều mà các phương pháp truyền thống khó có thể làm được.

4.1. So Sánh với ARIMA

ARIMA là một phương pháp truyền thống được sử dụng rộng rãi trong dự báo chuỗi thời gian. Tuy nhiên, ARIMA chỉ phù hợp với các chuỗi thời gian có tính chất tuyến tính và ổn định. Trong khi đó, Deep Learning có thể xử lý các chuỗi thời gian phi tuyến và nhiễu cao, giúp cải thiện độ chính xác của dự báo.

4.2. So Sánh với Random Forest

Random Forest là một phương pháp Machine Learning được sử dụng trong dự báo chuỗi thời gian. Tuy nhiên, Random Forest không thể nắm bắt các mối quan hệ phụ thuộc dài hạn trong dữ liệu. Deep Learning, đặc biệt là các mô hình như LSTM, có khả năng xử lý các phụ thuộc dài hạn, giúp cải thiện hiệu suất dự báo.

Trích đoạn nội dung tài liệu

Chương 1. CƠ SỞ LÝ LUẬN VA TONG QUAN NGHIÊN CỨU 1. CƠ SỞ LÝ THUYET VE DỰ BAO CHUOI THỜI GIAN Với sự phát triên của công nghiệp hiện đại, rât nhiêu ngành công nghiệp, nêu không muốn nói là tất cả đều dựa trên các dựa các dự báo dé đưa ra kế hoạch sản xuất hoặc quyết định quan trọng. Ví dụ, dự báo tốt về nhu cầu từng mặt hàng trong tương lai rõ ràng sẽ giúp doanh nghiệp lập kế hoạch sản xuất, kế hoạch vận chuyền, kho bãi dễ dang hơn và giảm thiểu lượng hàng phải bỏ đi do quá han sử dụng.

Do đó, kết quả dự báo tốt đóng vai trò thiết yếu trong nhiều lĩnh vực hoạt động khoa học, công nghiệp, thương mại và kinh tế. Đề làm được điều đó, các nhà quản trị hay nhà hoạch định chiến lược thường sử dụng các thông tin trong quá khứ hay chuỗi thời gian để đưa ra dự báo trong tương lai. Airlines’ Stock Price Oscillations in 2020 Price Change as a Percentage of Adj Close Price on January 2nd & Major Events Price Change 2020 (%) 1 allelfGnt | +2.68%| from COVID-19 top 200,000 -25% -75% Hình 1 :Minh hoa sự thay đối của chuối giá cô phiếu cổ phiếu của 9 hãng hang không của Mỹ 1. Khái niệm chuỗi thời gian Chuỗi thời gian là một tập hợp các quan sát được thực hiện tuần tự qua thời gian.

Vi dụ (i) doanh số bán một sản phẩm cụ thé trong những tháng liên tiếp, (ii) nhiệt độ tại một địa điêm cụ thê vào buôi trưa của những ngày liên tiép và (iii) tiêu thụ điện ở một 11173943 — Vũ Nhật Quang 3 Chuyên đề thực tập - chuyên ngành Toán Kinh Tế khu vực cụ thê trong khoảng thời gian một giờ liên tiếp. Một số ứng dụng của dự báo chuỗi thời gian có thé ké đến như: Dự báo bán hàng eWNAm Kiểm soát hàng tồn kho Lập kế hoạch sản xuất và năng lực Đánh giá các chiến lược kinh tế thay thế Lập ngân sách Quản lý rủi ro tài chính Dự báo nhiệt độ thời tiết 1. Một số đặc trưng của chuỗi thời gian Chuỗi thời gian có 4 tính chất chính là tính thời vụ (seasonal), tính xu hướng (trend), tính chu kì (cyclical) và tính nhiễu (noise). Tính thời vụ biêu thị qua sự biến động có chu kì thời gian nhất định.

Tính thời vụ đặc biệt quan trọng trong dự báo vì tại một thời điểm dự báo nhất định, giá trị dự báo có thé cao hơn (hoặc thấp hơn) bất thường. Với số liệu kinh tế thông thường, mỗi một thời kì thường tính theo tháng, quý hoặc năm, nhưng với một vài số liệu đặc biệt, một thời kì có thê kéo dài tới vài năm. Sunspots Hình 2: Chuỗi thời gian có yếu t6 mùa vụ Tính xu hướng phản ánh xu hướng tăng (giảm) của chuỗi thơi gian trong cả quá trình. 11173943 — Vũ Nhật Quang 4 Chuyên đề thực tập - chuyên ngành Toán Kinh Tế E-Commerce Retail Sales in the United States 0 01-10-1999 27-06-2002 23-03-2005 18-12-2007 13-09-2010 09-06-2013 05-03-2016 30-11-2018 Quarter Hình 3: Chuỗi thời gian có yếu to xu thé Tính chu kì, giống với tính thời vụ, cũng thé hiện sự biến động theo chu kì nhưng độ đài của chu kì thường thay đổi, không thể biết trước được.

Dow Jones Industrials. % change in closing price from previous year The great depression (1929-30) The downturn of 2002 Economic The dot.com depression 1907 Banker's Recession bubble (1893-97) pant (1937-38) (2000-2001) 1920 1940 Year Hình 4: Chuỗi thời gian có yếu to chu kì Tính nhiễu thê hiện sự ngẫu nhiên sau khi đã bỏ qua tính thời vụ và tính chu kì khỏi chuỗi thời gian. Tính nhiễu là một thành phần không thê biết trước được hay đo lường được, là tác động ngẫu nhiên của các yếu tô biết hoặc chưa được biết. Một dạng đặc biệt của chuỗi thời gian là chuỗi dừng.

Chuỗi dừng là chuỗi thời gian có trung bình, hiệp phương sai và hệ số tương qua không phụ thuộc vào thời gian được gọi là chuỗi dừng. Nói cách khác, một chuỗi thời gian có xu hướng vận động xung quanh giá tri trung bình. Vì lẽ đó, dé có thé dự báo được, chuỗi thời gian luôn được giả định rằng xu hướng dao động của dữ liệu trong quá khứ và hiện tại được bảo toàn cho đến cả các giai đoạn tương lai. Theo Gujarati (2003), một chuỗi thời gian không dừng thì chúng ta chỉ có thé nghiên cứu hành vi của nó trong khoảng thời gian đang xét ma thôi.

11173943 — Vũ Nhật Quang 5 Chuyên đề thực tập - chuyên ngành Toán Kinh Tế Nhiễu trắng là chuỗi dừng có trung bình bằng 0, phương sai đồng nhất và không có tự tương quan chuỗi. Khi dự báo chuỗi thời gian, néu phan dư của mô hình, phan chênh lệch giữa giá trị thực tế và giá trị dự báo, là một nhiễu trăng thì mô hình đó có thể dùng dé dự báo được. ũ 1000 2000 3000 4000 Hinh 5: Hinh minh hoa nhiéu trang 1. Đánh giá sai số trong dự báo chuỗi thời gian Một trong những điều quan trọng của mô hình chuỗi thời gian là độ chính xác của dự báo.

Độ chính xác càng cao thì khả năng dự báo của mô hình cảng đáng tin cậy. Độ chính xác của các dự báo chỉ có thé được xác định bằng cách xem xét mô hình hoạt động tốt như thế nào trên dữ liệu mới không được sử dụng trong khi xây dựng mô hình dự báo. Khi xây dựng một mô hình dự báo chuỗi thời gian, đữ liệu ban đàu thường được tách thành hai phần, dt liệu dao tạo và dữ liệu thử nghiệm, trong đó dữ liệu dao tạo được sử dụng dé ước tính bất kỳ tham số nào của phương pháp dự báo và dữ liệu thử nghiệm được sử dụng dé đánh giá độ chính xác của nó. Bởi vì dữ liệu thử nghiệm không được sử dụng để xây dựng mô hình, nó sẽ cung cấp một dấu hiệu đáng tin cậy về khả năng dự báo của mô hình trên đữ liệu mới.

Thông thường, 2 phương pháp tuyệt đối và tương đối thường được sử dụng kết hợp khi đánh giá độ chính xác. Phương pháp đánh giá chỉ số tuyệt đối đo lường giá trị sai lệch với giá trị theo giá trị của bộ dữ liệu. Hai thước đo thường được sử dụng cảu phương pháp này là MAE (Mean absolute error) và RMSE (Root Mean Square Error). n 1 MAE =—n › ly; —ÿ — Fel t=1 11173943 — Vũ Nhat Quang 6 Chuyên đề thực tập - chuyên ngành Toán Kinh Tế 1 R RMSE = I Mới - Ne Khi so sánh các phương pháp dự báo được áp dụng cho một chuỗi thời gian hoặc một số chuỗi thời gian có cùng đơn vị, MAE rất phô biến vì nó dễ hiểu và dễ tính toán.

Phương pháp dự báo giảm thiêu MAE sẽ dẫn đến dự báo về giá trị trung vị, trong khi giảm thiểu RMSE sẽ dẫn đến dự báo về giá trị trung bình. Do đó, RMSE cũng được sử dụng rộng rãi, mặc dù khó giải thích hơn. Phương pháp đánh giá chỉ số tương đối đo lường giá trị phần trăm sai lệch với giá trị theo giá trị của bộ dtr liệu. Thước đo thường duoc sử dụng là MAPE (Mean Absolute Percent Error).

n 1 Vị —Ấ MAPE = ¬ n Vt t=1 Ưu điểm của phương pháp đánh gia chỉ số tương đối là không phụ thuộc vào don vị của bộ dữ liệu và có thé dùng để so sánh hiệu suất dự báo giữa các tập dữ liệu khác nhau. Bài toán dự báo chuỗi thời gian trong kinh tế - kinh doanh Chuỗi thời gian là một trong những kiểu dit liệu phổ biến nhất mà các doanh nghiệp sử dụng trong cuộc sông hàng ngày. Các công ty sử dụng nguồn thông tin này để phát triển các chiến lược kinh doanh cũng như đề ra kế hoạch sản xuất. Ngày nay, Trí tuệ nhân tạo (AI) va dit liệu lớn (Big data) càng củng cố tam quan trọng của việc sử dụng chuỗi thời gian trong kinh tế và kinh doanh.

Trong kinh tế, các chỉ số tong sản phẩm quốc nội (GDP), tỷ giá hoái đối, ti lệ thất nghiệp hay tỉ lệ lạm phát là vô cùng quan trọng đối với chính phủ. Việc dự báo các chỉ số kinh tế này có thé giúp đưa ra các chính sách phù hợp, hiệu quả giúp chính phủ điều tiết kinh tế. Trong kinh doanh, việc năm bắt được xu hướng thị trường, năng lực sản xuất và nhu cầu thị trường là yêu tố sống còn với các doanh nghiệp. Việc sử dụng các kết qua dự báo sẽ giúp các doanh nghiệp giảm thiểu rủi ro, kip thời đưa ra các chiến lược điều chỉnh phù hợp đem lại hiệu quả kinh tế cao.

TONG QUAN NGHIÊN CỨU VE DỰ BAO CHUOI THỜI GIAN Dự báo liên quan đến việc đưa ra các dự đoán về giá trị trong tương lai trên cơ sở dir liệu lịch sử và hiện tại. Từ dữ liệu chuỗi thời gian, các nhà quan lí có được cái 11173943 — Vũ Nhật Quang 7 Chuyên đề thực tập - chuyên ngành Toán Kinh Tế nhìn tổng quan trong quá khứ và sử dụng phương pháp dự báo dé đưa ra chiến lược cho doanh nghiệp. Phương pháp dự báo là một quy trình tính toán các dự báo từ các giá tri hiện tại và quá khứ. Do đó, nó có thể đơn giản là một quy tắc thuật toán và không cần phụ thuộc vào mô hình xác suât cơ bản.

Một trong những phương pháp dự báo chuỗi thời gian sớm nhất là phương pháp dự báo của Charles C. Holt (1957) và Peter R. Holt-Winters (là một trong những kỹ thuật dự báo phổ biến nhất cho chuỗi thời gian dù nó đã có tuổi đời hàng thập kỷ nhưng vẫn được sử dụng phố biến trong nhiều ứng dung, bao gồm cả giám sát, nơi nó được sử dụng cho các mục đích như phát hiện bắt thường và lập kế hoạch. Tiền thân của phương pháp Holt-Winters được gọi là phương pháp làm mịn theo cấp số nhân đơn giản (Simple Exponential Smoothing - SES).

Phương pháp này phù hợp dé dự báo dữ liệu không có xu hướng hoặc mùa vụ rõ ràng. Holt (1957) đã mở rộng SES dé cho phép dự báo dữ liệu có xu hướng và Winters (1960) phát triển thêm tinh năng xử lí được dự liệu có yếu tố thời vụ. Tuy nhiên, phải đến tận năm 1985, phương pháp Exponential Smoothing (ES) mới nhận được công nhận và phát triển thông qua 2 bài báo Gadner (1985) và Syner (1985). Gadner đã cung cấp một đánh giá kỹ lưỡng và tổng hợp những công trình về ES và mở rộng bằng phương pháp phân loại Pegels để giảm thiểu yếu tổ xu hướng.

Bài báo của ông tập hop rất nhiều công trình hiện có, đã mô phỏng việc sử dụng các phương pháp này và thúc đây một lượng đáng kể các nghiên cứu bồ sung.