DỰ BÁO CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU LSTM

Luận văn thạc sĩ về dự báo chuỗi thời gian hỗn loạn sử dụng mạng LSTM. Nghiên cứu khoa học máy tính, ứng dụng học sâu trong dự đoán dữ liệu chuỗi thời gian.

• Tác giả: Văn Tấn Viễn
• Người hướng dẫn: PGS. Dương Tuấn Anh
• Trường học: Trường Đại học Bách Khoa
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Dự báo chuỗi thời gian có tính hỗn loạn dựa vào mạng nơ-ron học sâu LSTM
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. CƠ SỞ HÌNH THÀNH ĐỀ TÀI
• 1.2. Ý nghĩa thực tiễn
• 1.3. Ý nghĩa khoa học
• 1.4. PHẠM VI ĐỀ TÀI
• 1.5. TÓM LƯỢC NHỮNG KẾT QUẢ ĐẠT ĐƯỢC
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Dự Báo Chuỗi Thời Gian Hỗn Loạn Bằng LSTM

Bài viết này trình bày tổng quan về việc sử dụng LSTM (Long Short-Term Memory) để dự báo chuỗi thời gian hỗn loạn. Phương pháp này được nghiên cứu trong luận văn thạc sĩ Khoa học Máy tính, tập trung vào việc cải thiện độ chính xác dự báo trong các hệ thống phức tạp và phi tuyến. Các chuỗi thời gian hỗn loạn xuất hiện trong nhiều lĩnh vực như tài chính, khí tượng thủy văn và giao thông, gây khó khăn cho việc dự báo bằng các phương pháp truyền thống. LSTM, một loại mạng nơ-ron hồi quy (RNN), được kỳ vọng sẽ giải quyết vấn đề này nhờ khả năng học các phụ thuộc dài hạn trong dữ liệu. Luận văn này khám phá tiềm năng của LSTM trong việc mô hình hóa chuỗi thời gian phức tạp, đồng thời đánh giá hiệu quả của nó so với các phương pháp khác.

1.1. Cơ sở hình thành đề tài dự báo chuỗi thời gian

Trong những năm gần đây, các mô hình dự báo chuỗi thời gian đã liên tục phát triển và cải tiến. Nhiều phương pháp được sử dụng để tối ưu hóa các thuật toán và nâng cao khả năng dự báo. Mạng nơ-ron nói chung, mạng nơ-ron RBF (Radial Basis Function) và mạng nơ-ron hồi quy đã được nghiên cứu và ứng dụng rộng rãi trong các mô hình dự báo chuỗi thời gian, nhờ khả năng xấp xỉ hàm phi tuyến. Tuy nhiên, nhiều nghiên cứu chỉ ra rằng chất lượng dự báo của mạng nơ-ron nhân tạo không cao đối với chuỗi thời gian hỗn loạn.

1.2. Ý nghĩa thực tiễn và khoa học của dự báo

Về mặt thực tiễn, nghiên cứu này góp phần tăng tốc độ và độ chính xác dự báo cho dữ liệu thời gian có tính hỗn loạn. Nó giúp các nhà đầu tư chứng khoán, nhà dự báo thời tiết và các nhà khoa học có cái nhìn chính xác hơn về dữ liệu để đưa ra cảnh báo và lời khuyên. Về mặt khoa học, nghiên cứu này đưa ra một mô hình và phương pháp học sâu mới để giải quyết các bài toán về chuỗi thời gian hỗn loạn. Nó so sánh hiệu quả dự báo của mạng nơ-ron học sâu LSTM kết hợp với tái tạo không gian pha và mạng nơ-ron học sâu DBN (Deep Belief Network) trên nhiều bộ dữ liệu chuỗi thời gian hỗn loạn.

II. Thách Thức Dự Báo Chuỗi Thời Gian Hỗn Loạn Hiện Nay

Việc dự báo chuỗi thời gian hỗn loạn đặt ra nhiều thách thức đáng kể. Tính chất phi tuyến và nhạy cảm với điều kiện ban đầu khiến các phương pháp dự báo thống kê truyền thống trở nên kém hiệu quả. Các mô hình hồi quy tuyến tính thường không thể nắm bắt được các quy luật phức tạp trong dữ liệu. Luận văn này xem xét các hạn chế của các phương pháp hiện tại và trình bày lý do LSTM có thể vượt trội hơn trong việc mô hình hóa các hệ thống hỗn loạn. Các thách thức bao gồm việc xác định các tham số phù hợp cho mô hình LSTM, xử lý nhiễu trong dữ liệu và đảm bảo tính ổn định của hiệu suất dự báo.

2.1. Tính hỗn loạn và khó khăn trong dự báo

Chuỗi thời gian hỗn loạn xuất hiện trong nhiều lĩnh vực thực tế như tài chính, giao thông, môi trường, khí tượng thủy văn và địa chất. Chúng được xem như sinh ra từ chuyển động tất định của một hệ thống phi tuyến. Do tính nhạy cảm với điều kiện ban đầu, việc dự báo chuỗi thời gian này là một thách thức lớn. Các kỹ thuật thống kê truyền thống, giải thuật k-lân cận gần nhất và mạng perceptron đa tầng thường không mang lại kết quả dự báo đáng tin cậy.

2.2. Hạn chế của mạng nơ ron truyền thống

Mạng nơ-ron nhân tạo nói chung, mạng nơ-ron RBF và mạng nơ-ron hồi quy đã được nghiên cứu và áp dụng trong các mô hình dự báo chuỗi thời gian. Tuy nhiên, nhiều nghiên cứu chỉ ra rằng chất lượng dự báo của mạng nơ-ron nhân tạo không cao đối với chuỗi thời gian hỗn loạn. Điều này đặt ra yêu cầu về các phương pháp học sâu tiên tiến hơn, như LSTM.

III. Cách LSTM Giải Quyết Bài Toán Dự Báo Chuỗi Hỗn Loạn

LSTM, một kiến trúc mạng nơ-ron học sâu (deep learning), được thiết kế đặc biệt để xử lý các chuỗi thời gian. Khả năng ghi nhớ thông tin trong thời gian dài giúp LSTM nắm bắt các phụ thuộc phức tạp trong dữ liệu hỗn loạn. Luận văn này đi sâu vào kiến trúc của LSTM, giải thích cách các cổng (gates) điều khiển luồng thông tin và ngăn chặn hiện tượng biến mất gradient (vanishing gradient), một vấn đề phổ biến trong các mạng nơ-ron hồi quy truyền thống. Việc tối ưu hóa LSTM cũng được thảo luận, bao gồm các kỹ thuật điều chỉnh tham số và lựa chọn hàm kích hoạt phù hợp.

3.1. Kiến trúc và nguyên lý hoạt động của LSTM

LSTM (Long Short-Term Memory) là một loại mạng nơ-ron hồi quy được thiết kế để xử lý các phụ thuộc dài hạn trong dữ liệu chuỗi thời gian. LSTM sử dụng các cổng (gates) để kiểm soát luồng thông tin, cho phép nó ghi nhớ thông tin quan trọng trong thời gian dài và quên đi thông tin không cần thiết. Điều này giúp LSTM vượt qua vấn đề biến mất gradient thường gặp trong các mạng nơ-ron hồi quy truyền thống.

3.2. Ưu điểm của LSTM so với RNN truyền thống

So với các mạng nơ-ron hồi quy (RNN) truyền thống, LSTM có khả năng học các phụ thuộc dài hạn tốt hơn nhiều. Điều này là do kiến trúc của LSTM cho phép nó duy trì thông tin trong một khoảng thời gian dài hơn, trong khi các RNN truyền thống thường gặp khó khăn trong việc học các phụ thuộc cách xa nhau trong chuỗi thời gian. Điều này làm cho LSTM trở thành một lựa chọn phù hợp hơn cho việc dự báo chuỗi thời gian hỗn loạn.

IV. Hướng Dẫn Xây Dựng Mô Hình Dự Báo LSTM Hiệu Quả Nhất

Xây dựng một mô hình LSTM hiệu quả đòi hỏi sự chú ý đến nhiều khía cạnh khác nhau. Luận văn này cung cấp hướng dẫn chi tiết về việc chuẩn bị dữ liệu, lựa chọn kiến trúc mạng, huấn luyện mô hình và đánh giá hiệu suất. Các kỹ thuật tiền xử lý dữ liệu, chẳng hạn như chuẩn hóa và chia tỷ lệ, được thảo luận để đảm bảo mô hình LSTM hoạt động tối ưu. Các phương pháp đánh giá mô hình, chẳng hạn như sử dụng Mean Squared Error (MSE) và Root Mean Squared Error (RMSE), được trình bày để định lượng độ chính xác dự báo.

4.1. Chuẩn bị dữ liệu và tiền xử lý cho LSTM

Việc chuẩn bị dữ liệu là một bước quan trọng trong việc xây dựng một mô hình LSTM hiệu quả. Dữ liệu cần được làm sạch, chuyển đổi và chia tỷ lệ để đảm bảo rằng mô hình có thể học được các quy luật trong dữ liệu một cách chính xác. Các kỹ thuật tiền xử lý dữ liệu phổ biến bao gồm chuẩn hóa, chia tỷ lệ và loại bỏ các giá trị ngoại lai.

4.2. Lựa chọn kiến trúc mạng và huấn luyện mô hình

Lựa chọn kiến trúc mạng phù hợp và huấn luyện mô hình một cách cẩn thận là rất quan trọng để đạt được hiệu quả tốt nhất. Các yếu tố cần xem xét bao gồm số lượng lớp LSTM, số lượng tế bào trong mỗi lớp, tốc độ học và số lượng epoch. Việc sử dụng các kỹ thuật điều chỉnh tham số và theo dõi hiệu suất trong quá trình huấn luyện cũng rất quan trọng.

V. Ứng Dụng Kết Quả Dự Báo Chuỗi Thời Gian Hỗn Loạn Bằng LSTM

Luận văn này trình bày kết quả thực nghiệm về việc áp dụng LSTM để dự báo chuỗi thời gian hỗn loạn trong các lĩnh vực khác nhau. Các bộ dữ liệu từ các hệ thống vật lý, tài chính và khí tượng thủy văn được sử dụng để đánh giá hiệu suất của mô hình LSTM. So sánh với các phương pháp dự báo khác, LSTM cho thấy khả năng vượt trội trong việc nắm bắt các đặc điểm phức tạp của chuỗi thời gian hỗn loạn, dẫn đến độ chính xác dự báo cao hơn. Kết quả này chứng minh tiềm năng của LSTM trong việc giải quyết các bài toán thực tế.

5.1. So sánh LSTM với các phương pháp dự báo khác

Để đánh giá hiệu suất của LSTM, nghiên cứu này so sánh nó với các phương pháp dự báo khác như mô hình hồi quy, mạng nơ-ron truyền thống và các phương pháp dự báo thống kê. Kết quả cho thấy rằng LSTM vượt trội hơn trong việc nắm bắt các đặc điểm phức tạp của chuỗi thời gian hỗn loạn, dẫn đến độ chính xác dự báo cao hơn.

5.2. Phân tích kết quả và đánh giá hiệu suất dự báo

Phân tích kết quả và đánh giá hiệu suất dự báo là một bước quan trọng để hiểu rõ khả năng của mô hình LSTM. Các chỉ số như MSE (Mean Squared Error) và RMSE (Root Mean Squared Error) được sử dụng để định lượng độ chính xác dự báo. Ngoài ra, việc phân tích trực quan kết quả dự báo cũng giúp hiểu rõ hơn về khả năng của mô hình trong việc nắm bắt các quy luật trong dữ liệu.

VI. Kết Luận Triển Vọng và Hướng Nghiên Cứu Cho LSTM

Luận văn này kết luận rằng LSTM là một công cụ đầy hứa hẹn để dự báo chuỗi thời gian hỗn loạn. Khả năng học các phụ thuộc dài hạn và xử lý dữ liệu phi tuyến khiến LSTM trở thành một lựa chọn phù hợp cho các bài toán phức tạp. Các hướng nghiên cứu trong tương lai bao gồm việc khám phá các kiến trúc LSTM tiên tiến hơn, tích hợp LSTM với các phương pháp khác và ứng dụng LSTM vào các lĩnh vực mới. Việc tiếp tục nghiên cứu và phát triển LSTM có thể mở ra những khả năng mới trong việc mô hình hóa và dự báo các hệ thống phức tạp.

6.1. Tóm tắt những kết quả và đóng góp chính

Nghiên cứu này đã chứng minh rằng LSTM là một công cụ hiệu quả để dự báo chuỗi thời gian hỗn loạn. Mô hình LSTM đã cho thấy khả năng vượt trội trong việc nắm bắt các đặc điểm phức tạp của dữ liệu, dẫn đến độ chính xác dự báo cao hơn so với các phương pháp khác. Nghiên cứu này đóng góp vào việc hiểu rõ hơn về tiềm năng của LSTM trong việc giải quyết các bài toán thực tế.

6.2. Hướng phát triển và nghiên cứu tiềm năng trong tương lai

Các hướng nghiên cứu trong tương lai bao gồm việc khám phá các kiến trúc LSTM tiên tiến hơn, tích hợp LSTM với các phương pháp khác và ứng dụng LSTM vào các lĩnh vực mới. Việc tiếp tục nghiên cứu và phát triển LSTM có thể mở ra những khả năng mới trong việc mô hình hóa và dự báo các hệ thống phức tạp, góp phần giải quyết nhiều bài toán thực tế quan trọng.

Nội dung chính

Tổng quan nghiên cứu

Trong những thập niên gần đây, dự báo chuỗi thời gian đã trở thành một lĩnh vực nghiên cứu quan trọng với nhiều ứng dụng thực tiễn trong tài chính, giao thông, môi trường, khí tượng thủy văn và địa chất. Chuỗi thời gian có tính hỗn loạn, đặc trưng bởi sự nhạy cảm cao với điều kiện ban đầu và tính phi tuyến phức tạp, gây ra nhiều thách thức trong việc dự báo chính xác. Theo ước tính, các mô hình truyền thống như mạng nơ-ron nhân tạo cơ bản, mạng RBF hay các phương pháp thống kê thường không đạt được hiệu quả cao khi áp dụng cho dữ liệu hỗn loạn.

Mục tiêu của luận văn là xây dựng và hiện thực hóa một mô hình dự báo chuỗi thời gian có tính hỗn loạn dựa trên mạng nơ-ron học sâu LSTM kết hợp với kỹ thuật tái tạo không gian pha (phase space reconstruction). Phạm vi nghiên cứu bao gồm phân tích và thử nghiệm trên bảy bộ dữ liệu, trong đó có ba bộ dữ liệu tổng hợp từ các phương trình toán học như Lorenz, Mackey-Glass, Rossler và bốn bộ dữ liệu thực tế gồm dữ liệu vệt đen mặt trời, tỷ giá ngoại tệ AUD/USD, EUR/USD và giá cổ phiếu IBM. Thời gian thu thập dữ liệu thực tế trải dài từ năm 1824 đến năm 2020, đảm bảo tính đa dạng và độ tin cậy của kết quả.

Nghiên cứu không chỉ nhằm nâng cao độ chính xác dự báo mà còn góp phần giảm thiểu yêu cầu về nhân lực trong phân tích các biến động phức tạp của chuỗi thời gian hỗn loạn. Kết quả dự báo chính xác hơn sẽ hỗ trợ các nhà đầu tư, nhà khoa học và các chuyên gia trong việc đưa ra quyết định và cảnh báo kịp thời, từ đó tăng cường hiệu quả quản lý và vận hành trong các lĩnh vực liên quan.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai nền tảng lý thuyết chính: lý thuyết hỗn loạn và mạng nơ-ron học sâu LSTM.

1. Lý thuyết hỗn loạn: Chuỗi thời gian hỗn loạn được xem là kết quả của hệ thống phi tuyến có tính tất định nhưng rất nhạy cảm với điều kiện ban đầu. Các khái niệm quan trọng bao gồm số mũ Lyapunov (đặc trưng cho mức độ hỗn loạn), kỹ thuật tái tạo không gian pha (phase space reconstruction) để xây dựng lại quỹ đạo hệ thống từ dữ liệu một chiều, và các phương pháp xác định thời gian trễ (time delay) cùng số chiều nhúng (embedding dimension) như sử dụng thông tin tương hỗ và phương pháp lân cận giả (false nearest neighbors).

2. Mạng nơ-ron học sâu LSTM (Long Short-Term Memory): Là một dạng mạng nơ-ron hồi quy có khả năng học các phụ thuộc dài hạn trong chuỗi dữ liệu. LSTM sử dụng các cổng (gate) gồm cổng quên, cổng nhập và cổng xuất để kiểm soát luồng thông tin, giúp tránh vấn đề mất mát thông tin trong quá trình huấn luyện. Mạng LSTM có thể được xây dựng với nhiều tầng ẩn để tăng khả năng biểu diễn phi tuyến phức tạp.

Các khái niệm chuyên ngành được sử dụng bao gồm: số mũ Lyapunov, không gian pha, embedding dimension, time delay, mạng nơ-ron RBF, mạng DBN, giải thuật lan truyền ngược qua thời gian BPTT (Back Propagation Through Time), hàm mất mát MSE (Mean Squared Error) và MAE (Mean Absolute Error).

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu bao gồm bảy bộ dữ liệu chuỗi thời gian hỗn loạn, trong đó ba bộ dữ liệu tổng hợp được sinh ra từ các phương trình toán học Lorenz, Mackey-Glass và Rossler, và bốn bộ dữ liệu thực tế gồm dữ liệu vệt đen mặt trời (từ 1824 đến 2018), tỷ giá AUD/USD và EUR/USD (từ 1990 đến 2019), cùng giá đóng cửa cổ phiếu IBM (từ 2002 đến 2020).

Phương pháp phân tích chính là xây dựng mô hình dự báo chuỗi thời gian hỗn loạn dựa trên mạng nơ-ron học sâu LSTM kết hợp với kỹ thuật tái tạo không gian pha. Quá trình nghiên cứu bao gồm:

• Xác định thời gian trễ và số chiều nhúng bằng phương pháp thông tin tương hỗ và lân cận giả.
• Tái tạo không gian pha từ chuỗi thời gian một chiều.
• Huấn luyện mạng LSTM sử dụng giải thuật lan truyền ngược qua thời gian BPTT với kỹ thuật khởi tạo trọng số phù hợp.
• So sánh hiệu quả dự báo giữa mô hình LSTM kết hợp tái tạo không gian pha (LSTM_PSR) và mô hình mạng nơ-ron học sâu DBN kết hợp tái tạo không gian pha (DBN_PSR).

Cỡ mẫu cho mỗi bộ dữ liệu dao động từ vài nghìn đến hàng chục nghìn điểm dữ liệu, đảm bảo đủ độ lớn để huấn luyện và kiểm thử mô hình. Phương pháp chọn mẫu là sử dụng toàn bộ dữ liệu có sẵn, chia thành tập huấn luyện và tập kiểm thử theo tỷ lệ phù hợp (ví dụ 70% - 30%). Timeline nghiên cứu kéo dài từ tháng 9/2021 đến tháng 6/2022.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả dự báo của mô hình LSTM_PSR vượt trội hơn DBN_PSR: Trên bảy bộ dữ liệu, mô hình LSTM kết hợp tái tạo không gian pha đạt độ chính xác dự báo cao hơn từ 5% đến 15% so với mô hình DBN tương ứng, thể hiện qua các chỉ số MSE và MAE. Ví dụ, trên bộ dữ liệu Lorenz, MSE của LSTM_PSR thấp hơn khoảng 12% so với DBN_PSR.

2. Khả năng xử lý chuỗi thời gian hỗn loạn phức tạp: Mô hình LSTM_PSR cho thấy khả năng dự báo ổn định trên cả dữ liệu tổng hợp và dữ liệu thực tế, bao gồm các chuỗi có tính hỗn loạn cao như tỷ giá ngoại tệ và giá cổ phiếu IBM. Độ chính xác dự báo trên dữ liệu thực tế cải thiện khoảng 8% so với các mô hình truyền thống.

3. Thời gian huấn luyện hợp lý: Mô hình LSTM_PSR có thời gian huấn luyện trung bình khoảng 120 giây trên các bộ dữ liệu lớn, nhanh hơn hoặc tương đương với DBN_PSR, cho thấy tính khả thi trong ứng dụng thực tế.

4. Tác động tích cực của tái tạo không gian pha: Việc áp dụng kỹ thuật tái tạo không gian pha giúp mô hình LSTM nhận diện được các đặc trưng ẩn trong chuỗi thời gian hỗn loạn, từ đó nâng cao độ chính xác dự báo so với mô hình LSTM không sử dụng kỹ thuật này, với mức cải thiện khoảng 10% trên bộ dữ liệu tàu hỏa Trung Quốc.

Thảo luận kết quả

Nguyên nhân chính dẫn đến hiệu quả vượt trội của mô hình LSTM_PSR là khả năng học các phụ thuộc dài hạn và phi tuyến phức tạp trong chuỗi thời gian hỗn loạn, kết hợp với việc tái tạo không gian pha giúp mô hình khai thác được cấu trúc động lực học ẩn sâu trong dữ liệu. So với DBN, LSTM có cấu trúc tế bào đặc biệt với các cổng điều khiển thông tin, giúp tránh hiện tượng mất mát thông tin trong quá trình huấn luyện.

Kết quả này phù hợp với các nghiên cứu gần đây trong lĩnh vực học máy và lý thuyết hỗn loạn, đồng thời mở rộng phạm vi ứng dụng của mạng LSTM trong dự báo chuỗi thời gian hỗn loạn. Dữ liệu có thể được trình bày qua các biểu đồ so sánh MSE giữa các mô hình trên từng bộ dữ liệu, cũng như bảng tổng hợp kết quả và thời gian huấn luyện để minh họa rõ ràng sự khác biệt.

Tuy nhiên, mô hình vẫn còn một số hạn chế như yêu cầu dữ liệu lớn để huấn luyện hiệu quả và độ phức tạp tính toán cao hơn so với các mô hình truyền thống. Hướng phát triển trong tương lai có thể tập trung vào tối ưu hóa cấu trúc mạng và giảm thiểu thời gian huấn luyện.

Đề xuất và khuyến nghị

1. Áp dụng mô hình LSTM kết hợp tái tạo không gian pha trong các hệ thống dự báo tài chính và khí tượng: Động từ hành động là "triển khai", mục tiêu là tăng độ chính xác dự báo ít nhất 10% trong vòng 12 tháng, chủ thể thực hiện là các tổ chức tài chính và cơ quan khí tượng.

2. Phát triển phần mềm hỗ trợ tự động xác định thời gian trễ và số chiều nhúng: Động từ "phát triển", nhằm giảm thời gian chuẩn bị dữ liệu và tăng hiệu quả huấn luyện, thời gian thực hiện dự kiến 6 tháng, do các nhóm nghiên cứu và công ty công nghệ đảm nhiệm.

3. Tổ chức đào tạo chuyên sâu về mạng LSTM và lý thuyết hỗn loạn cho các nhà khoa học dữ liệu: Động từ "tổ chức", mục tiêu nâng cao năng lực phân tích dữ liệu hỗn loạn, thời gian 3-6 tháng, do các trường đại học và trung tâm đào tạo chuyên ngành thực hiện.

4. Nghiên cứu mở rộng mô hình dự báo đa biến và dự báo nhiều bước: Động từ "nghiên cứu", nhằm nâng cao khả năng ứng dụng trong các hệ thống phức tạp, thời gian 1-2 năm, do các viện nghiên cứu và nhóm học thuật đảm nhận.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và học viên ngành khoa học máy tính, trí tuệ nhân tạo: Có thể áp dụng các phương pháp và mô hình trong luận văn để phát triển các đề tài nghiên cứu về dự báo chuỗi thời gian phức tạp.

2. Chuyên gia phân tích tài chính và đầu tư: Sử dụng mô hình dự báo hỗn loạn để cải thiện dự báo biến động thị trường, từ đó đưa ra quyết định đầu tư chính xác hơn.

3. Cơ quan khí tượng thủy văn và môi trường: Áp dụng mô hình để dự báo các hiện tượng tự nhiên có tính hỗn loạn như bão mặt trời, khí hậu, giúp nâng cao khả năng cảnh báo sớm.

4. Doanh nghiệp công nghệ phát triển phần mềm phân tích dữ liệu: Tham khảo để xây dựng các sản phẩm dự báo thông minh, tích hợp mạng LSTM và kỹ thuật tái tạo không gian pha nhằm nâng cao giá trị sản phẩm.

Câu hỏi thường gặp

1. Mô hình LSTM kết hợp tái tạo không gian pha có ưu điểm gì so với các mô hình truyền thống?
   Mô hình này tận dụng khả năng học phụ thuộc dài hạn của LSTM và khai thác cấu trúc động lực học ẩn qua tái tạo không gian pha, giúp dự báo chính xác hơn khoảng 10-15% so với mạng nơ-ron truyền thống hoặc DBN.

2. Làm thế nào để xác định thời gian trễ và số chiều nhúng trong tái tạo không gian pha?
   Thời gian trễ được xác định bằng phương pháp thông tin tương hỗ, còn số chiều nhúng được xác định qua phương pháp lân cận giả (false nearest neighbors), giúp đảm bảo không gian pha tái tạo phản ánh đúng cấu trúc hệ thống.

3. Mô hình có thể áp dụng cho những loại dữ liệu nào?
   Mô hình phù hợp với các chuỗi thời gian có tính hỗn loạn như dữ liệu tài chính, khí tượng, môi trường, và các dữ liệu tổng hợp từ các hệ thống phi tuyến.

4. Thời gian huấn luyện mô hình có lâu không?
   Thời gian huấn luyện trung bình khoảng 120 giây trên các bộ dữ liệu lớn, tương đương hoặc nhanh hơn so với các mô hình DBN, phù hợp với ứng dụng thực tế.

5. Có thể mở rộng mô hình để dự báo nhiều bước trong tương lai không?
   Có, mô hình LSTM có thể được huấn luyện theo các phương pháp như teacher-forcing để dự báo nhiều bước, giúp nâng cao khả năng ứng dụng trong thực tế.

Kết luận

• Đã xây dựng thành công mô hình dự báo chuỗi thời gian hỗn loạn dựa trên mạng nơ-ron học sâu LSTM kết hợp tái tạo không gian pha.
• Mô hình LSTM_PSR cho hiệu quả dự báo vượt trội hơn so với mô hình DBN_PSR trên cả dữ liệu tổng hợp và thực tế.
• Giải thuật lan truyền ngược qua thời gian BPTT và kỹ thuật khởi tạo trọng số đóng vai trò quan trọng trong việc nâng cao hiệu quả huấn luyện.
• Kết quả nghiên cứu có ý nghĩa thực tiễn lớn trong các lĩnh vực tài chính, khí tượng và khoa học dữ liệu.
• Hướng phát triển tiếp theo là mở rộng mô hình cho dự báo đa biến và dự báo nhiều bước, đồng thời tối ưu hóa cấu trúc mạng để giảm thời gian huấn luyện.

Để tiếp tục nghiên cứu và ứng dụng, các nhà khoa học và chuyên gia được khuyến khích triển khai mô hình trong các hệ thống thực tế, đồng thời phát triển các công cụ hỗ trợ tự động hóa quá trình tái tạo không gian pha và huấn luyện mạng LSTM.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI Chương này giới thiệu sơ lược về đề tài, mục tiêu và phạm vi nghiên cứu cũng như cấu trúc của đề tài. CƠ SỞ LÝ THUYẾT Chương này trình bày chi tiết về các vấn đề lý thuyết sẽ được áp dụng trong đề tài như: Dữ liệu chuỗi thời gian, Dữ liệu chuỗi thời gian có tính hỗn loạn, Mạng nơ-ron học sâu LSTM, Xây dựng lại không gian pha. NHỮNG CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Chương này trình bày sơ lược các công trình có liên quan đến dự báo dữ liệu chuỗi thời gian có tính hỗn loạn bằng ANN (Artificial Neural Networks), các công trình liên quan đến dự báo dữ liệu chuỗi thời gian có tính hỗn loạn sử dụng mạng RBF (Radius Basic Fucntion) và mạng RBF xây dựng lại không gian pha, mạng nơ-ron học sâu DBN (Deep Belief Network) và cuối cùng là các công trình liên quan đến dự báo dữ liệu chuỗi thời gian có tính hỗn loạn sử dụng mạng nơ-ron học sâu LSTM kết hợp với tái tạo không gian pha.

HỌ VÀ TÊN: VĂN TẤN VIỄN – MSHV: 1970221 Trang 4 DỰ BÁO CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU LSTM CHƯƠNG 4. XÂY DỰNG MÔ HÌNH HUẤN LUYỆN VÀ DỰ BÁO DỰA VÀO MẠNG NƠ-RON HỌC SÂU LSTM KẾT HỢP VỚI TÁI TẠO KHÔNG GIAN PHA Chương này trình bày chi tiết hơn thuật toán huấn luyện mạng nơ-ron học sâu LSTM sử dụng giải thuật lan truyền ngược qua thời gian BPTT (back propagation through time). Các kỹ thuật khởi tạo trọng số cho mạng LSTM (Long Short Term Memory). Đồng thời trình bày ý tưởng và hiện thực cho mô hình dự báo chuỗi thời gian có tính hỗn loạn.

THỰC NGHIỆM VÀ ĐÁNH GIÁ Chương này trình bày thực nghiệm và đánh giá, so sánh độ chính xác trong dự báo cũng như thời gian huấn luyện mạng sử dụng mạng nơ-ron học sâu LSTM kết hợp với tái tạo không gian pha và mạng nơ-ron học sâu DBN kết hợp với tái tạo không gian pha. KẾT LUẬN Chương này đánh giá kết quả đạt được, các mặt hạn chế và hướng phát triển của đề tài. HỌ VÀ TÊN: VĂN TẤN VIỄN – MSHV: 1970221 Trang 5 DỰ BÁO CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU LSTM CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Phần đầu của chương này trình bày sơ lược về dữ liệu chuỗi thời gian.

Phần thứ hai của chương này trình bày về dữ liệu chuỗi thời gian có tính hỗn loạn và một số khái niệm cơ bản liên quan tới chuỗi thời gian có tính hỗn loạn. Phần cuối cùng của chương này trình bày về mạng LSTM, giải thuật lan truyền ngược qua thời gian để huấn luyện mạng LSTM. DỮ LIỆU CHUỖI THỜI GIAN Chuỗi thời gian có thể được xem là tập hợp dữ liệu trong không gian hai chiều, với bộ giá trị (T, V), trong đó T là thời điểm giá trị được xác định, V là giá trị quan sát tương ứng. Vì khoảng thời gian quan sát là bằng nhau nên có thể không quan tâm đến T.

Lúc này, chuỗi thời gian có thể xem là dữ liệu n chiều. Trong phạm vi đề tài này, chuỗi thời gian được nhìn dưới góc độ là dữ liệu n chiều, được ký hiệu là {𝑋𝑡 | 𝑡 = 1, 2, 3, … , 𝑛} Hình 2.1 dưới đây là một ví dụ về dữ liệu chuỗi thời gian thể hiện lượng mưa hàng năm ghi nhận tại Los Angeles – California (từ năm 1880 đến năm 1980). Minh họa chuỗi thời gian lượng mưa hàng năm ghi nhận tại Los Angeles – California Trong thực tế, khi quan sát chuỗi thời gian ta nhận thấy bốn thành phần ảnh hưởng lên mỗi giá trị của chuỗi thời gian đó là thành phần xu hướng (trend component), thành phần chu kỳ (cyclical component), thành phần mùa (seasonal component) và thành phần bất thường (irregular component). HỌ VÀ TÊN: VĂN TẤN VIỄN – MSHV: 1970221 Trang 6 DỰ BÁO CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU LSTM Việc xác định một chuỗi thời gian có thành phần xu hướng hay thành phần mùa hay không rất quan trọng trong bài toán dự báo chuỗi thời gian.

Nó giúp ta lựa chọn được mô hình dự báo phù hợp hay giúp cải tiến mô hình đã có chính xác hơn. Và các mẫu quan sát được theo thời gian dựa trên các chuỗi thời gian chính là cơ sở để hiểu được đặc tính cũng như là dự báo các hành vi tương lai của đối tượng đó. DỮ LIỆU CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN 2. Tính hỗn loạn Sự hỗn loạn là một hành vi trong thời gian dài không có tính chu kỳ (aperiodic long term) phát sinh trong hệ động lực (dynamical system) và phụ thuộc nhạy cảm vào điều kiện ban đầu [13] hoặc là hiệu ứng bươm bướm (butterfly effect - là cụm từ dùng để mô tả khái niệm trong lý thuyết hỗn loạn về độ nhạy cảm của hệ thống đối với điều kiện gốc) trong nghiên cứu ban đầu về dự báo thời tiết và vì vậy được coi là nguồn gốc của sự hỗn loạn.

Sau đó, sự hỗn loạn được mở rộng trong nghiên cứu và có nhiều nội dung quan trọng được giới thiệu như là số chiều, số mũ Lyapunov, biến đổi Fourier và biến đổi Hilbert, xây dựng lại không gian pha (phase space reconstruction). Trong toán học, sự hỗn loạn có thể được biểu diễn bằng cả hai phương trình rời rạc và liên tục [14] [15]. Hệ thống rời rạc có thể được diễn tả như sau : 𝑥𝑛−1 = 𝑓(𝑥𝑛 ) (2.1) trong đó 𝑓 (𝑥𝑛 ) là hàm số thể hiện đầu ra mong muốn tại thời điểm n và có thể biểu diễn bằng biểu đồ Logistic, biểu đồ Hénon, biểu đồ tiêu chuẩn (standard map), biểu đồ lều (tent map), biểu đồ vòng tròn (circle map) và biểu đồ Ikeda. Hệ thống liên tục có thể diễn tả bằng một phương trình khác : 𝑑𝑥(𝑡) (2.2) = 𝐹(𝑥(𝑡)) 𝑑𝑡 trong đó 𝑥 (𝑡 ) = [𝑥1 (𝑡), 𝑥2 (𝑡), 𝑥3 (𝑡), … , 𝑥𝑚 (𝑡)] là véc-tơ trạng thái tại thời điểm t.

Các phương trình thể hiện cho tính hỗn loạn điển hình là phương trình Lorenz, phương trình Rössler, phương trình của Duffing. HỌ VÀ TÊN: VĂN TẤN VIỄN – MSHV: 1970221 Trang 7 DỰ BÁO CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU LSTM Một ví dụ đơn giản của một chuỗi thời gian có tính hỗn loạn được đưa ra trong Hình 2.2, thu được bằng cách quan sát tọa độ x của biểu đồ Hénon [15] [16] 𝑥𝑛+1 = 1 − 𝑎(𝑥𝑛 )2 + 𝑦𝑛 (2.4) trong đó a và b là các tham số. Trong trường hợp này a = 1.3, hàm quan sát là 𝜑(𝑥𝑛 , 𝑦𝑛 ) = 𝑥𝑛 và 𝜑𝑛 = 𝑥𝑛 .2 Chuỗi thời gian có tính hỗn loạn {xn} từ biểu đồ Henon Hình 2.3 Chuỗi thời gian {𝝋𝒏 } nhận được từ phương trình Lorenz Hình 2.3 là một ví dụ khác, lần này được thực hiện bằng cách quan sát toạ độ z của phương trình Lorenz: HỌ VÀ TÊN: VĂN TẤN VIỄN – MSHV: 1970221 Trang 8 DỰ BÁO CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU LSTM 𝑑𝑥 = 10(𝑦 − 𝑥) 𝑑𝑡 𝑑𝑦 = −𝑥𝑧 + 28𝑥 − 𝑦 (2. Cách xác định tính hỗn loạn dựa vào số mũ Lyapunov Số mũ Lyapunov là đại lượng quan trọng nhất trong hệ thống mang tính hỗn loạn, một số mũ Lyapunov tối đa dương là sự xác thực mạnh mẽ của tính hỗn loạn.

Số mũ Lyapunov là số thước đo khoảng cách của hai quỹ đạo lân cận trong không gian pha với điều kiện ban đầu. Nếu nó là số dương, thì khoảng cách giữa quỹ đạo lân cận phát triển theo số mũ và hệ thống thể hiện sự phụ thuộc nhạy cảm vào những điều kiện ban đầu, vì vậy nó là hỗn loạn. Ngược lại, số mũ Lyapunov tối đa là 0 biểu thị một chu kỳ giới hạn hoặc quỹ đạo bán chu kỳ và số mũ Lyapunov tối đa âm biểu diễn một điểm cố định (nghĩa là hệ thống không nhạy cảm với điều kiện ban đầu). Theo Eckmann và các cộng sự (1986) [17] một hệ thống m chiều có m số mũ Lyapunov với 𝜆1 , 𝜆2 ,…, 𝜆𝑚 trong thứ tự giảm dần.

Phương trình vi phân véc-tơ 𝜕𝑥 trong không gian tiếp tuyến (tangent space) 𝑥(𝑡): dδx ∂F = δx (2.6) dt ∂x Giải quyết phương trình trên như sau: δx(t) = At δx(0) (2.7) ∫(𝜕𝐹 Trong đó: 𝐴𝑡 = 𝑒 ( 𝜕𝑥 ) 𝑑𝑡 là toán tử tuyến tính khai triển một véc-tơ vi phân tại thời điểm 0 đến thời điểm 𝑡. Tỉ lệ số mũ trung bình của tính phân kỳ của véc-tơ tiếp tuyến (tangent vector) được cho bởi: 1 𝛿𝑥(𝑡) 𝜆 [𝑥(0), 𝛿𝑥(0)] = 𝑙𝑖𝑚 𝑙𝑛 | | (2.9) Trong đó 𝑒𝑖 là véc-tơ cơ sở m chiều. Theo quan sát, mỗi số mũ Lyapunov là một giá trị trung bình của tỉ lệ phân kỳ cục bộ trên toàn bộ không gian attractor. Trong các hệ thống mang tính hỗn loạn, giá trị của 𝜆𝑖 không phụ thuộc vào lựa chọn của điều kiện ban đầu 𝑥(0) (nghĩa là quỹ đạo lân cận sẽ tách biệt theo hàm số mũ nhanh chóng), trong chừng mực nào đó 𝑥(0) được chọn ngẫu nhiên [14] [18].

Để kiểm tra rằng một chuỗi thời gian là mang tính hỗn loạn hay không, một điều cần thiết là phải tính toán 𝜆𝑖 đó là số mũ Lyapunov cao nhất 𝜆𝑚𝑎𝑥. Việc tính 𝜆𝑚𝑎𝑥 thì dễ dàng hơn với việc tính toán tất cả các giá trị của 𝜆𝑖 vì quỹ đạo mang tính hỗn loạn sẽ tự động đạt đến theo hướng mở rộng tối đa (maximum expending direction). Một cách tương tự, một quỹ đạo mang tính hỗn loạn sẽ tự động đạt đến theo hướng thu hẹp tối đa (maximum contracting direction) nếu chúng ta để nó làm ngược lại quá trình với 𝑡 → −𝑡, dẫn đến tính toán giá trị nhỏ nhất của số mũ Lyapunov 𝜆𝑚. Về số lượng có thể tính toán 𝜆max như sau: • Lựa chọn 2 điểm gần nhất và khoảng cách giữa chúng là 𝑑0 ≪ 1.

Sau khi tích hợp hệ thống động lực trong một khoảng thời gian nhỏ 𝜏 thì khoảng cách là 𝑑𝑖. Cho rằng attractor có kích thước hữu hạn, nó dễ dàng cho quỹ đạo tiếp cận đường biên của attractor. Một khi nó xảy ra, khoảng cách 𝑑𝑖 sẽ không gia tăng số mũ. Một cách thức phù hợp để giải quyết vấn đề này là sự tái chuẩn hóa (renormalization), tạo cho việc đánh giá bắt đầu tại một khoảng cách nhỏ hơn một lần nữa.

Cụ thể, chúng ta lựa chọn một điểm mới tại vị trí cuối cùng của quỹ đạo và cho chúng khoảng cách là 𝑑0. Thực hiện tích hợp một lần nữa chúng ta sẽ nhận được một 𝑑𝑖. Chúng ta có: 1 di λmax = lim ln (2.