Luận văn thạc sĩ: Dự báo chuỗi thời gian hỗn loạn bằng mạng LSTM Autoencoder và lý thuyết hỗn loạn

Luận văn thạc sĩ khám phá dự báo chuỗi thời gian hỗn loạn bằng mạng LSTM Autoencoder và lý thuyết hỗn loạn trong khoa học máy tính.

Trường đại học

Đại học Bách Khoa

Chuyên ngành

Khoa học máy tính

Người đăng

Ẩn danh

Thể loại

luận văn thạc sĩ

2023

106
3
0

Phí lưu trữ

35 Point

Tóm tắt

I. Giới thiệu vấn đề

Bài toán dự báo chuỗi thời gian luôn là một thách thức lớn trong nhiều lĩnh vực như tài chính, khí hậu, và môi trường. Tính chất hỗn loạn của chuỗi thời gian khiến cho việc dự báo trở nên phức tạp, đặc biệt là khi dữ liệu có tính bất định và tương quan cao. Các phương pháp truyền thống như mô hình ARIMA hay MA thường gặp khó khăn trong việc xử lý các đặc điểm này. Nghiên cứu đã chỉ ra rằng việc áp dụng lý thuyết hỗn loạn giúp cải thiện đáng kể độ chính xác của các mô hình dự báo. Mạng nơ-ron học sâu, đặc biệt là mạng LSTM, đã trở thành một công cụ mạnh mẽ trong việc giải quyết bài toán này. Việc kết hợp lý thuyết hỗn loạn với mạng Autoencoder để rút trích đặc trưng từ dữ liệu đã được chứng minh là một hướng đi tiềm năng.

1.1 Mục tiêu nghiên cứu

Mục tiêu của nghiên cứu này là phát triển một phương pháp dự báo chuỗi thời gian hỗn loạn bằng cách kết hợp lý thuyết hỗn loạn với mạng LSTMAutoencoder. Phương pháp này sẽ được thực nghiệm trên nhiều bộ dữ liệu khác nhau để đánh giá hiệu quả. Việc rút trích đặc trưng từ không gian pha sẽ giúp cải thiện độ chính xác của dự báo. Đặc biệt, luận văn sẽ tập trung vào việc cải thiện khả năng dự báo một bước, từ đó mở rộng thành dự báo nhiều bước trong tương lai.

II. Cơ sở lý thuyết

Chương này trình bày các khái niệm cơ bản liên quan đến chuỗi thời gian và lý thuyết hỗn loạn. Đầu tiên, chuỗi thời gian được định nghĩa là một tập hợp các giá trị được thu thập theo thời gian, có thể là dữ liệu thời gian thực hoặc dữ liệu lịch sử. Tính chất hỗn loạn trong chuỗi thời gian khiến cho việc dự đoán trở nên khó khăn, vì những thay đổi nhỏ trong điều kiện ban đầu có thể dẫn đến những kết quả khác biệt lớn. Tái tạo không gian pha là một phương pháp quan trọng trong việc phân tích chuỗi thời gian hỗn loạn, giúp xác định các đặc trưng ẩn của dữ liệu. Mạng LSTMAutoencoder sẽ được sử dụng để rút trích và dự đoán các đặc trưng này, từ đó cải thiện độ chính xác của mô hình dự báo.

2.1 Tái tạo không gian pha

Tái tạo không gian pha là quá trình chuyển đổi dữ liệu chuỗi thời gian thành một không gian đa chiều, giúp phân tích các đặc điểm động lực học của hệ thống. Phương pháp này thường sử dụng các kỹ thuật như độ trễ trung bìnhkỹ thuật lân cận gần nhất giả để xác định các tham số cần thiết cho việc tái tạo. Qua đó, không gian pha được tái tạo sẽ cho phép các mô hình như mạng LSTM hoạt động hiệu quả hơn, nhờ vào việc cung cấp các đặc trưng chính xác hơn từ dữ liệu đầu vào.

III. Các công trình liên quan

Nghiên cứu về dự báo chuỗi thời gian hỗn loạn đã thu hút sự chú ý của nhiều nhà nghiên cứu. Một số công trình đã áp dụng mạng LSTM và lý thuyết hỗn loạn để cải thiện độ chính xác của dự báo. Các nghiên cứu này cho thấy rằng việc kết hợp lý thuyết hỗn loạn với mạng Autoencoder có thể mang lại kết quả vượt trội so với các phương pháp truyền thống. Đặc biệt, việc sử dụng mạng LSTM trong các bài toán dự báo đã cho thấy khả năng xử lý tốt hơn các dữ liệu có tính chất không ổn định và hỗn loạn. Những công trình này làm nền tảng cho nghiên cứu hiện tại, cung cấp các phương pháp và kỹ thuật hữu ích để cải thiện hiệu quả dự báo.

3.1 Dự báo chuỗi thời gian hỗn loạn bằng mạng LSTM

Nhiều nghiên cứu đã chỉ ra rằng mạng LSTM có khả năng xử lý tốt các chuỗi thời gian có tính chất hỗn loạn. Việc áp dụng lý thuyết hỗn loạn trong các mô hình này đã giúp cải thiện đáng kể độ chính xác của dự báo. Các mô hình này thường kết hợp với các phương pháp như Autoencoder để rút trích đặc trưng, từ đó tối ưu hóa quá trình dự báo. Nghiên cứu này sẽ tiếp tục khai thác những thành tựu này để phát triển một phương pháp mới, kết hợp lý thuyết hỗn loạn với các mạng nơ-ron học sâu.

IV. Phương pháp giải quyết vấn đề

Phương pháp nghiên cứu được đề xuất bao gồm ba bước chính: tái tạo không gian pha, rút trích đặc trưng bằng mạng Autoencoder, và cuối cùng là huấn luyện mạng LSTM để dự báo. Quá trình tái tạo không gian pha sẽ giúp làm nổi bật các đặc điểm ẩn của chuỗi thời gian hỗn loạn. Sau đó, mạng Autoencoder sẽ được huấn luyện để rút trích các đặc trưng này, cung cấp đầu vào cho mạng LSTM. Kết quả thực nghiệm cho thấy phương pháp này mang lại những cải thiện đáng kể về độ chính xác so với các phương pháp truyền thống.

4.1 Huấn luyện bộ dự báo chuỗi thời gian hỗn loạn

Bộ dự báo sẽ được huấn luyện trên nhiều bộ dữ liệu khác nhau, bao gồm cả dữ liệu tổng hợp và dữ liệu thực tế. Việc sử dụng các kỹ thuật như chuỗi thời gianhọc sâu sẽ giúp tối ưu hóa quá trình dự báo. Kết quả sẽ được so sánh với các mô hình khác như mạng LSTM không sử dụng lý thuyết hỗn loạn để đánh giá hiệu quả của phương pháp đề xuất.

V. Hiện thực và kết quả thực nghiệm

Nghiên cứu đã thực hiện trên tám bộ dữ liệu khác nhau, bao gồm cả dữ liệu tổng hợp và dữ liệu thực tế. Kết quả cho thấy phương pháp đề xuất đã đạt được độ chính xác cao hơn so với các phương pháp khác. Các chỉ số như MAE, RMSE, và MAPE đều cho thấy sự cải thiện đáng kể. Điều này chứng tỏ rằng việc kết hợp lý thuyết hỗn loạn với mạng LSTMAutoencoder có thể mang lại kết quả tốt hơn trong việc dự báo chuỗi thời gian.

5.1 Đánh giá kết quả

Kết quả thực nghiệm cho thấy phương pháp đề xuất đã cho thấy hiệu quả vượt trội so với các mô hình khác. Đặc biệt, việc sử dụng mạng Autoencoder để rút trích đặc trưng đã đóng vai trò quan trọng trong việc cải thiện độ chính xác của dự báo. Các kết quả cho thấy rằng lý thuyết hỗn loạn không chỉ giúp cải thiện kết quả mà còn mở ra hướng nghiên cứu mới trong lĩnh vực dự báo chuỗi thời gian.

10/01/2025

Bài viết "Luận văn thạc sĩ: Dự báo chuỗi thời gian hỗn loạn bằng mạng LSTM Autoencoder và lý thuyết hỗn loạn" của tác giả Nguyễn Đức Huy, dưới sự hướng dẫn của PGS. Dương Tuấn Anh tại Đại học Bách Khoa, tập trung vào việc áp dụng mạng LSTM và Autoencoder để dự đoán các chuỗi thời gian hỗn loạn. Nghiên cứu không chỉ cung cấp cái nhìn sâu sắc về lý thuyết hỗn loạn mà còn mở ra những ứng dụng thực tiễn trong việc phân tích và dự báo dữ liệu phức tạp trong nhiều lĩnh vực như tài chính, khí tượng hay kỹ thuật.

Để mở rộng thêm kiến thức về các ứng dụng trong lĩnh vực khoa học máy tính, bạn có thể tham khảo bài viết Luận văn về tâm lý học mạng xã hội và ảnh hưởng đến người lớn, nơi nghiên cứu về tác động của mạng xã hội, hoặc Luận Văn Thạc Sĩ: Ứng Dụng Active Learning trong Lựa Chọn Dữ Liệu Gán Nhãn cho Bài Toán Nhận Diện Giọng Nói, nghiên cứu về việc sử dụng phương pháp học máy trong nhận diện giọng nói. Cả hai bài viết đều liên quan đến việc áp dụng các phương pháp học máy và phân tích dữ liệu, giúp bạn có cái nhìn tổng quát hơn về xu hướng hiện tại trong lĩnh vực này.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA -------------------- NGUYỄN ĐỨC HUY DỰ BÁO CHUỖI THỜI GIAN HỖN LOẠN KẾT HỢP MẠNG LSTM, AUTOENCODER VÀ LÝ THUYẾT HỖN LOẠN Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 02 năm 2023 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hướng dẫn khoa học : PGS. Dương Tuấn Anh Cán bộ chấm nhận xét 1 : PGS. Võ Thị Ngọc Châu Cán bộ chấm nhận xét 2 : TS. Bùi Công Giao Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. HCM ngày 08 tháng 02 năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. Lê Hồng Trang - Chủ tịch hội đồng 2. Nguyễn Thị Ái Thảo - Thư ký 3. Võ Thị Ngọc Châu – Phản biện 1 4. Bùi Công Giao – Phản biện 2 5. Nguyễn Thị Thanh Sang - Ủy viên Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Đức Huy MSHV: 2070010 Ngày, tháng, năm sinh: 23/06/1996 Nơi sinh: Vĩnh Long Chuyên ngành: Khoa học máy tính Mã số : 8480101 I. TÊN ĐỀ TÀI: Dự báo chuỗi thời gian hỗn loạn dựa trên mạng LSTM, AutoEncoder và lý thuyết hỗn loạn (Prediction of chaotic time series based on LSTM, AutoEncoder, and Chaos Theory) II. NHIỆM VỤ VÀ NỘI DUNG : Nhiệm vụ : Nghiên cứu lý thuyết hỗn loạn áp dụng cho chuỗi thời gian hỗn loạn để đề xuất phương pháp dự báo dựa trên việc tái tạo không gian pha. Huấn luyện mạng AutoEncoder để xây dựng bộ rút trích đặc trưng từ dữ liệu không gian pha. Huấn luyện bộ dự báo dựa trên mạng LSTM. Nghiên cứu được thực nghiệm trên tám bộ dữ liệu khác nhau bao gồm cả những bộ dữ liệu tổng hợp và những bộ dữ liệu thực tế. Nghiên cứu lý thuyết hỗn loạn, áp dụng các độ đo thông tin tương hỗ trung bình (Average Mutual Information) để xác định độ trễ, và giải thuật lân cận gần nhất giả (False Nearest Neighbor) để tìm số chiều nhúng hợp lý. Tái tạo không gian pha từ chuỗi thời gian đơn biến ban đầu. Cài đặt và huấn luyện mạng AutoEncoder. Dùng bộ mã hóa lấy từ mạng AutoEncoder để rút trích đặt trưng. Thực hiện một số kỹ thuật sinh đặt trưng, chuẩn hóa dữ liệu chuẩn bị đầu vào cho bộ dự báo. Huấn luyện bộ dự báo trên tám bộ dữ liệu khác nhau. So sánh các phương pháp khác: mạng LSTM không dùng lý thuyết hỗn loạn, mạng LSTM dùng lý thuyết hỗn loạn, chỉ dùng mạng AutoEncoder và lý thuyết hỗn loạn. Thực nghiệm dùng mạng Bi-LSTM thay cho LSTM. NGÀY GIAO NHIỆM VỤ : 14/02/2022 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 10/12/2022 V. CÁN BỘ HƯỚNG DẪN: PGS. Dương Tuấn Anh Tp. HCM, ngày 01 tháng 03 năm 2023. CÁN BỘ HƯỚNG DẪN HỘI ĐỒNG NGÀNH PGS. Dương Tuấn Anh TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH TÓM TẮT BÁO CÁO Lời cảm ơn Lời đầu tiên, tôi xin gửi lời cảm ơn chân thành đến thầy PGS TS Dương Tuấn Anh, đã luôn kiên nhẫn hướng dẫn và giúp đỡ tôi xuyên suốt quá trình thực hiện luận văn tốt nghiệp. Dù có nhiều khó khăn trong những năm dịch bệnh Covid-19, nhưng được sự hỗ trợ từ thầy, được thầy góp ý phản biện liên tục đã giúp tôi có cơ hội phát triển và hoàn thiện đề tài tốt hơn. Nếu không có sự chỉ dẫn từ thầy, thì khó lòng công trình này có thể thành hình. Kế tiếp, tôi muốn dành lời cảm ơn đến gia đình, họ là những người luôn bên cạnh, động viên để tôi luôn vững tin nghiên cứu. Sự hy sinh thầm lặng, thời gian và công sức để tôi chuyên tâm vào công việc nghiên cứu của mình. Sau cùng, tôi xin kính chúc quý Thầy Cô trong khoa Khoa Học và Kĩ Thuật Máy Tính thật nhiều sức khỏe, luôn giữ vững niềm tin để thực hiện sứ mệnh cao cả, truyền đạt tri thức cho thế hệ mai sau. Một lần nữa, xin chân thành cảm ơn. Thành phố Hồ Chí Minh, ngày 27 tháng 03 năm 2022 Nguyễn Đức Huy i TÓM TẮT BÁO CÁO Tóm tắt Luận văn Dù được nghiên cứu từ rất sớm, nhưng cho đến hiện tại, dự báo chuỗi thời gian, đặc biệt là chuỗi có tính chất hỗn loạn chưa bao giờ mất đi sự cần thiết và quan trọng, được trải dài trên các lĩnh vực như tài chính, thời tiết, thiên văn, môi trường. Cách tiếp cận theo hướng phân tích chuỗi thời gian như một hệ thống hỗn loạn tất định và vận dụng mạng nơ-rơn học sâu đã cho những cải thiện, tuy nhiên vẫn còn nhiều hạn chế. Nghiên cứu này sẽ vận dụng lý thuyết hỗn loạn giúp biểu diễn lại dữ liệu đầu vào, hay còn gọi là tái tạo không gian pha, rồi từ đó áp dụng cả cách học không giám sát và giám sát để cải thiện kết quả dự báo. Ở quá trình học không giám sát, mạng AutoEncoder được huấn luyện và sử dụng bộ mã hóa như một công cụ để rút trích những đặc trưng ẩn tự động, sau đó được qua bộ dự báo cấu tạo từ các lớp mạng Long-Short Term Memory (LSTM). Nghiên cứu được thực nghiệm trên tám bộ dữ liệu mẫu khác nhau bao gồm dữ liệu tổng hợp và dữ liệu thực tế. Dựa trên kết quả, phương pháp đề xuất đã cho những cải thiện đáng kể so với các cách tiếp cận học sâu trước đây. ii TÓM TẮT BÁO CÁO Abstract Time-series forecasting, especially in a chaotic system, is a critical prob- lem because of its application in ubiquitous real-world areas, namely finance, weather, astronomy, environment, etc. There are many studies, but it is still challenging to reach a higher accuracy due to its chaotic characteristic which is very sensitive on the initial condition. In this work, we propose an ap- proach that takes advantage of chaos theory to represent data into phase space and combines Long Short-Terms Memory (LSTM) networks and au- toencoder (AE). First of all, the process of phase-space reconstruction starts with determining appropriate time lag and embedding dimension by aver- age mutual information and false nearest neighbors algorithm. Autoencoder, which is constructed by LSTM units, takes responsibility for latent-feature extraction from unsupervised learning task and feeds into LSTM-based fore- caster afterward. The experimental results on eight datasets including both synthetic and real-world chaotic time series based on Mean Absolute Error (MAE), Root Mean Squared Error (RMSE), and Mean Absolute Percentage Error (MAPE) reveal that our proposed method outperforms other methods using only AE, LSTM with or without chaos theory. iii TÓM TẮT BÁO CÁO Lời cam đoan Tôi tên Nguyễn Đức Huy, học viên cao học khoa Khoa học và Kỹ thuật trường Đại học Bách Khoa Tp.HCM, mã số học viên 2070010. Tôi xin cam đoan rằng, luận văn thạc sĩ "Dự báo chuỗi thời gian hỗn loạn kết hợp mạng LSTM, AutoEncoder và lý thuyết hỗn loạn" là kết quả của tìm hiểu, nghiên cứu đọc lập của chính bản thân. Tôi xin cam đoan: 1. Luận văn được thực hiện cho mục đích tìm hiểu và nghiên cứu ở bậc cao học 2. Các công trình, bài báo tham khảo để xây dựng nên luận văn này đều được trích dẫn, tham khảo. Tất cả các tài liệu được trích dẫn và có tính kế thừa từ các tạp chí và các công trình nghiên cứu đã được công bố 3. Những công cụ, phần mềm thực hiện cho luận văn đều là phần mềm mã nguồn mở 4. Hình ảnh và số liệu được trích dẫn nguồn tham khảo rõ ràng 5. Kết quả nghiên cứu được trình bày trung thực dựa trên số liệu thực tế khi chạy chương trình Thành phố Hồ Chí Minh, ngày 27 tháng 03 năm 2022 Nguyễn Đức Huy iv MỤC LỤC Mục lục Lời cảm ơn i Tóm tắt Luận văn ii Abstract iii Lời cam đoan iv Danh sách hình ảnh x 1 Giới thiệu vấn đề 1 1.1 Giới thiệu vấn đề .2 Mục tiêu nghiên cứu .3 Các kết quả đạt được .4 Cấu trúc luận văn .1 Chuỗi thời gian có tính hỗn loạn .2 Tái tạo không gian pha .2 Xác định số chiều nhúng m .3 Mạng Long-Short Term Memory (LSTM) .5 Một số độ đo đánh giá hiệu quả dự báo . 22 3 Các công trình liên quan 24 3.1 Dự báo chuỗi thời gian hỗn loạn bằng mạng Radial Basic Function (RBF) .2 Dự báo chuỗi thời gian hỗn loạn bằng mạng học sâu Deep Belief Network (DBN) .3 Dự báo chuỗi thời gian hỗn loạn bằng mạng LSTM .4 Dự báo trên chuỗi thời gian dữ liệu tỉ giá ngoại tệ bằng mạng LSTM kết hợp AutoEncoder . 34 4 Phương pháp giải quyết vấn đề 35 4.1 Tái tạo không gian pha và tiền xử lý dữ liệu .1 Tái tạo không gian pha .2 Tiền xử lý dữ liệu .2 Rút trích đặc trưng bằng mạng AutoEncoder .3 Huấn luyện bộ dự báo chuỗi thời gian hỗn loạn . 44 5 Hiện thực và kết quả thực nghiệm 47 5.1 Giới thiệu dữ liệu và các mô hình so sánh .1 Giới thiệu dữ liệu .2 Các mô hình và phương pháp thực nghiệm .2 Tái tạo không gian pha .3 Tiền xử lý dữ liệu .4 Huấn luyện mạng AE và rút trích đặc trưng .1 Huấn luyện mạng AE .2 Rút trích đặc trưng .5 Huấn luyện bộ dự báo .6 Hiện thực các mô hình đối sánh .7 Kết quả thực nghiệm và đánh giá . 74 vi MỤC LỤC 5.8 Đánh giá kết quả .1 Những kết quả đạt được .2 Hướng phát triển . 82 Danh mục các công trình khoa học 84 Tài liệu tham khảo 85 Thuật ngữ Anh Việt 90 Lý Lịch Trích Ngang 92 vii DANH SÁCH HÌNH VẼ Danh sách hình vẽ 2.1 Quỹ đạo chuyển động của hệ thống Lorenz trên không gian ba chiều .2 5000 điểm dữ liệu của Lorenz trên trục x .3 Biểu đồ nến dữ liệu tỉ giá ngoại tệ USD/GBP[14] .4 Dữ liệu vệt đen mặt trời theo từng tháng .5 Độ thông tin tương hỗ trung bình cho bộ dữ liệu Lorenz .6 Xác định số chiều nhúng dựa vào FNN .7 Xác định số mũ Lyapunov trên dữ liệu Lorenz .8 Cấu trúc hoạt động của mạng RNN [13] .9 Kiến trúc một đơn vị tế bào của mạng LSTM [13] .10 Mạng LSTM và mạng Bi-LSTM .11 Ví dụ cơ chế hoạt động của mạng AE một tầng .12 Kiến trúc tổng quát của mạng AE hai tầng [13] .1 Kiến trúc mạng RBF [3] .2 Kiến trúc mạng DBN [6] .3 Hai kỹ thuật huấn luyện được sử dụng [11] .4 Kiến trúc một tế bào của mạng D-LSTM [20] .5 Phương pháp đề xuất dự báo chuỗi thời gian tỉ giá ngoại tệ [13] 33 4.1 Sơ đồ tổng quát của phương pháp đề xuất .

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ