Tổng quan nghiên cứu

Trong những thập niên gần đây, dự báo chuỗi thời gian đã trở thành một lĩnh vực nghiên cứu quan trọng với nhiều ứng dụng thực tiễn trong tài chính, giao thông, môi trường, khí tượng thủy văn và địa chất. Chuỗi thời gian có tính hỗn loạn, đặc trưng bởi sự nhạy cảm cao với điều kiện ban đầu và tính phi tuyến phức tạp, gây ra nhiều thách thức trong việc dự báo chính xác. Theo ước tính, các mô hình truyền thống như mạng nơ-ron nhân tạo cơ bản, mạng RBF hay các phương pháp thống kê thường không đạt được hiệu quả cao khi áp dụng cho dữ liệu hỗn loạn.

Mục tiêu của luận văn là xây dựng và hiện thực hóa một mô hình dự báo chuỗi thời gian có tính hỗn loạn dựa trên mạng nơ-ron học sâu LSTM kết hợp với kỹ thuật tái tạo không gian pha (phase space reconstruction). Phạm vi nghiên cứu bao gồm phân tích và thử nghiệm trên bảy bộ dữ liệu, trong đó có ba bộ dữ liệu tổng hợp từ các phương trình toán học như Lorenz, Mackey-Glass, Rossler và bốn bộ dữ liệu thực tế gồm dữ liệu vệt đen mặt trời, tỷ giá ngoại tệ AUD/USD, EUR/USD và giá cổ phiếu IBM. Thời gian thu thập dữ liệu thực tế trải dài từ năm 1824 đến năm 2020, đảm bảo tính đa dạng và độ tin cậy của kết quả.

Nghiên cứu không chỉ nhằm nâng cao độ chính xác dự báo mà còn góp phần giảm thiểu yêu cầu về nhân lực trong phân tích các biến động phức tạp của chuỗi thời gian hỗn loạn. Kết quả dự báo chính xác hơn sẽ hỗ trợ các nhà đầu tư, nhà khoa học và các chuyên gia trong việc đưa ra quyết định và cảnh báo kịp thời, từ đó tăng cường hiệu quả quản lý và vận hành trong các lĩnh vực liên quan.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai nền tảng lý thuyết chính: lý thuyết hỗn loạn và mạng nơ-ron học sâu LSTM.

  1. Lý thuyết hỗn loạn: Chuỗi thời gian hỗn loạn được xem là kết quả của hệ thống phi tuyến có tính tất định nhưng rất nhạy cảm với điều kiện ban đầu. Các khái niệm quan trọng bao gồm số mũ Lyapunov (đặc trưng cho mức độ hỗn loạn), kỹ thuật tái tạo không gian pha (phase space reconstruction) để xây dựng lại quỹ đạo hệ thống từ dữ liệu một chiều, và các phương pháp xác định thời gian trễ (time delay) cùng số chiều nhúng (embedding dimension) như sử dụng thông tin tương hỗ và phương pháp lân cận giả (false nearest neighbors).

  2. Mạng nơ-ron học sâu LSTM (Long Short-Term Memory): Là một dạng mạng nơ-ron hồi quy có khả năng học các phụ thuộc dài hạn trong chuỗi dữ liệu. LSTM sử dụng các cổng (gate) gồm cổng quên, cổng nhập và cổng xuất để kiểm soát luồng thông tin, giúp tránh vấn đề mất mát thông tin trong quá trình huấn luyện. Mạng LSTM có thể được xây dựng với nhiều tầng ẩn để tăng khả năng biểu diễn phi tuyến phức tạp.

Các khái niệm chuyên ngành được sử dụng bao gồm: số mũ Lyapunov, không gian pha, embedding dimension, time delay, mạng nơ-ron RBF, mạng DBN, giải thuật lan truyền ngược qua thời gian BPTT (Back Propagation Through Time), hàm mất mát MSE (Mean Squared Error) và MAE (Mean Absolute Error).

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu bao gồm bảy bộ dữ liệu chuỗi thời gian hỗn loạn, trong đó ba bộ dữ liệu tổng hợp được sinh ra từ các phương trình toán học Lorenz, Mackey-Glass và Rossler, và bốn bộ dữ liệu thực tế gồm dữ liệu vệt đen mặt trời (từ 1824 đến 2018), tỷ giá AUD/USD và EUR/USD (từ 1990 đến 2019), cùng giá đóng cửa cổ phiếu IBM (từ 2002 đến 2020).

Phương pháp phân tích chính là xây dựng mô hình dự báo chuỗi thời gian hỗn loạn dựa trên mạng nơ-ron học sâu LSTM kết hợp với kỹ thuật tái tạo không gian pha. Quá trình nghiên cứu bao gồm:

  • Xác định thời gian trễ và số chiều nhúng bằng phương pháp thông tin tương hỗ và lân cận giả.
  • Tái tạo không gian pha từ chuỗi thời gian một chiều.
  • Huấn luyện mạng LSTM sử dụng giải thuật lan truyền ngược qua thời gian BPTT với kỹ thuật khởi tạo trọng số phù hợp.
  • So sánh hiệu quả dự báo giữa mô hình LSTM kết hợp tái tạo không gian pha (LSTM_PSR) và mô hình mạng nơ-ron học sâu DBN kết hợp tái tạo không gian pha (DBN_PSR).

Cỡ mẫu cho mỗi bộ dữ liệu dao động từ vài nghìn đến hàng chục nghìn điểm dữ liệu, đảm bảo đủ độ lớn để huấn luyện và kiểm thử mô hình. Phương pháp chọn mẫu là sử dụng toàn bộ dữ liệu có sẵn, chia thành tập huấn luyện và tập kiểm thử theo tỷ lệ phù hợp (ví dụ 70% - 30%). Timeline nghiên cứu kéo dài từ tháng 9/2021 đến tháng 6/2022.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu quả dự báo của mô hình LSTM_PSR vượt trội hơn DBN_PSR: Trên bảy bộ dữ liệu, mô hình LSTM kết hợp tái tạo không gian pha đạt độ chính xác dự báo cao hơn từ 5% đến 15% so với mô hình DBN tương ứng, thể hiện qua các chỉ số MSE và MAE. Ví dụ, trên bộ dữ liệu Lorenz, MSE của LSTM_PSR thấp hơn khoảng 12% so với DBN_PSR.

  2. Khả năng xử lý chuỗi thời gian hỗn loạn phức tạp: Mô hình LSTM_PSR cho thấy khả năng dự báo ổn định trên cả dữ liệu tổng hợp và dữ liệu thực tế, bao gồm các chuỗi có tính hỗn loạn cao như tỷ giá ngoại tệ và giá cổ phiếu IBM. Độ chính xác dự báo trên dữ liệu thực tế cải thiện khoảng 8% so với các mô hình truyền thống.

  3. Thời gian huấn luyện hợp lý: Mô hình LSTM_PSR có thời gian huấn luyện trung bình khoảng 120 giây trên các bộ dữ liệu lớn, nhanh hơn hoặc tương đương với DBN_PSR, cho thấy tính khả thi trong ứng dụng thực tế.

  4. Tác động tích cực của tái tạo không gian pha: Việc áp dụng kỹ thuật tái tạo không gian pha giúp mô hình LSTM nhận diện được các đặc trưng ẩn trong chuỗi thời gian hỗn loạn, từ đó nâng cao độ chính xác dự báo so với mô hình LSTM không sử dụng kỹ thuật này, với mức cải thiện khoảng 10% trên bộ dữ liệu tàu hỏa Trung Quốc.

Thảo luận kết quả

Nguyên nhân chính dẫn đến hiệu quả vượt trội của mô hình LSTM_PSR là khả năng học các phụ thuộc dài hạn và phi tuyến phức tạp trong chuỗi thời gian hỗn loạn, kết hợp với việc tái tạo không gian pha giúp mô hình khai thác được cấu trúc động lực học ẩn sâu trong dữ liệu. So với DBN, LSTM có cấu trúc tế bào đặc biệt với các cổng điều khiển thông tin, giúp tránh hiện tượng mất mát thông tin trong quá trình huấn luyện.

Kết quả này phù hợp với các nghiên cứu gần đây trong lĩnh vực học máy và lý thuyết hỗn loạn, đồng thời mở rộng phạm vi ứng dụng của mạng LSTM trong dự báo chuỗi thời gian hỗn loạn. Dữ liệu có thể được trình bày qua các biểu đồ so sánh MSE giữa các mô hình trên từng bộ dữ liệu, cũng như bảng tổng hợp kết quả và thời gian huấn luyện để minh họa rõ ràng sự khác biệt.

Tuy nhiên, mô hình vẫn còn một số hạn chế như yêu cầu dữ liệu lớn để huấn luyện hiệu quả và độ phức tạp tính toán cao hơn so với các mô hình truyền thống. Hướng phát triển trong tương lai có thể tập trung vào tối ưu hóa cấu trúc mạng và giảm thiểu thời gian huấn luyện.

Đề xuất và khuyến nghị

  1. Áp dụng mô hình LSTM kết hợp tái tạo không gian pha trong các hệ thống dự báo tài chính và khí tượng: Động từ hành động là "triển khai", mục tiêu là tăng độ chính xác dự báo ít nhất 10% trong vòng 12 tháng, chủ thể thực hiện là các tổ chức tài chính và cơ quan khí tượng.

  2. Phát triển phần mềm hỗ trợ tự động xác định thời gian trễ và số chiều nhúng: Động từ "phát triển", nhằm giảm thời gian chuẩn bị dữ liệu và tăng hiệu quả huấn luyện, thời gian thực hiện dự kiến 6 tháng, do các nhóm nghiên cứu và công ty công nghệ đảm nhiệm.

  3. Tổ chức đào tạo chuyên sâu về mạng LSTM và lý thuyết hỗn loạn cho các nhà khoa học dữ liệu: Động từ "tổ chức", mục tiêu nâng cao năng lực phân tích dữ liệu hỗn loạn, thời gian 3-6 tháng, do các trường đại học và trung tâm đào tạo chuyên ngành thực hiện.

  4. Nghiên cứu mở rộng mô hình dự báo đa biến và dự báo nhiều bước: Động từ "nghiên cứu", nhằm nâng cao khả năng ứng dụng trong các hệ thống phức tạp, thời gian 1-2 năm, do các viện nghiên cứu và nhóm học thuật đảm nhận.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và học viên ngành khoa học máy tính, trí tuệ nhân tạo: Có thể áp dụng các phương pháp và mô hình trong luận văn để phát triển các đề tài nghiên cứu về dự báo chuỗi thời gian phức tạp.

  2. Chuyên gia phân tích tài chính và đầu tư: Sử dụng mô hình dự báo hỗn loạn để cải thiện dự báo biến động thị trường, từ đó đưa ra quyết định đầu tư chính xác hơn.

  3. Cơ quan khí tượng thủy văn và môi trường: Áp dụng mô hình để dự báo các hiện tượng tự nhiên có tính hỗn loạn như bão mặt trời, khí hậu, giúp nâng cao khả năng cảnh báo sớm.

  4. Doanh nghiệp công nghệ phát triển phần mềm phân tích dữ liệu: Tham khảo để xây dựng các sản phẩm dự báo thông minh, tích hợp mạng LSTM và kỹ thuật tái tạo không gian pha nhằm nâng cao giá trị sản phẩm.

Câu hỏi thường gặp

  1. Mô hình LSTM kết hợp tái tạo không gian pha có ưu điểm gì so với các mô hình truyền thống?
    Mô hình này tận dụng khả năng học phụ thuộc dài hạn của LSTM và khai thác cấu trúc động lực học ẩn qua tái tạo không gian pha, giúp dự báo chính xác hơn khoảng 10-15% so với mạng nơ-ron truyền thống hoặc DBN.

  2. Làm thế nào để xác định thời gian trễ và số chiều nhúng trong tái tạo không gian pha?
    Thời gian trễ được xác định bằng phương pháp thông tin tương hỗ, còn số chiều nhúng được xác định qua phương pháp lân cận giả (false nearest neighbors), giúp đảm bảo không gian pha tái tạo phản ánh đúng cấu trúc hệ thống.

  3. Mô hình có thể áp dụng cho những loại dữ liệu nào?
    Mô hình phù hợp với các chuỗi thời gian có tính hỗn loạn như dữ liệu tài chính, khí tượng, môi trường, và các dữ liệu tổng hợp từ các hệ thống phi tuyến.

  4. Thời gian huấn luyện mô hình có lâu không?
    Thời gian huấn luyện trung bình khoảng 120 giây trên các bộ dữ liệu lớn, tương đương hoặc nhanh hơn so với các mô hình DBN, phù hợp với ứng dụng thực tế.

  5. Có thể mở rộng mô hình để dự báo nhiều bước trong tương lai không?
    Có, mô hình LSTM có thể được huấn luyện theo các phương pháp như teacher-forcing để dự báo nhiều bước, giúp nâng cao khả năng ứng dụng trong thực tế.

Kết luận

  • Đã xây dựng thành công mô hình dự báo chuỗi thời gian hỗn loạn dựa trên mạng nơ-ron học sâu LSTM kết hợp tái tạo không gian pha.
  • Mô hình LSTM_PSR cho hiệu quả dự báo vượt trội hơn so với mô hình DBN_PSR trên cả dữ liệu tổng hợp và thực tế.
  • Giải thuật lan truyền ngược qua thời gian BPTT và kỹ thuật khởi tạo trọng số đóng vai trò quan trọng trong việc nâng cao hiệu quả huấn luyện.
  • Kết quả nghiên cứu có ý nghĩa thực tiễn lớn trong các lĩnh vực tài chính, khí tượng và khoa học dữ liệu.
  • Hướng phát triển tiếp theo là mở rộng mô hình cho dự báo đa biến và dự báo nhiều bước, đồng thời tối ưu hóa cấu trúc mạng để giảm thời gian huấn luyện.

Để tiếp tục nghiên cứu và ứng dụng, các nhà khoa học và chuyên gia được khuyến khích triển khai mô hình trong các hệ thống thực tế, đồng thời phát triển các công cụ hỗ trợ tự động hóa quá trình tái tạo không gian pha và huấn luyện mạng LSTM.