Luận văn thạc sĩ: Dự báo chuỗi thời gian hỗn loạn bằng mạng LSTM Autoencoder và lý thuyết hỗn loạn

Luận văn thạc sĩ khám phá dự báo chuỗi thời gian hỗn loạn bằng mạng LSTM Autoencoder và lý thuyết hỗn loạn trong khoa học máy tính.

Trường đại học

Đại học Bách Khoa

Chuyên ngành

Khoa học máy tính

Tác giả

Nguyễn Đức Huy

Người đăng

Ẩn danh

Thể loại

luận văn thạc sĩ

2023

106
3
0

Phí lưu trữ

35 Point

Tóm tắt

I. Giới thiệu vấn đề

Bài toán dự báo chuỗi thời gian luôn là một thách thức lớn trong nhiều lĩnh vực như tài chính, khí hậu, và môi trường. Tính chất hỗn loạn của chuỗi thời gian khiến cho việc dự báo trở nên phức tạp, đặc biệt là khi dữ liệu có tính bất định và tương quan cao. Các phương pháp truyền thống như mô hình ARIMA hay MA thường gặp khó khăn trong việc xử lý các đặc điểm này. Nghiên cứu đã chỉ ra rằng việc áp dụng lý thuyết hỗn loạn giúp cải thiện đáng kể độ chính xác của các mô hình dự báo. Mạng nơ-ron học sâu, đặc biệt là mạng LSTM, đã trở thành một công cụ mạnh mẽ trong việc giải quyết bài toán này. Việc kết hợp lý thuyết hỗn loạn với mạng Autoencoder để rút trích đặc trưng từ dữ liệu đã được chứng minh là một hướng đi tiềm năng.

1.1 Mục tiêu nghiên cứu

Mục tiêu của nghiên cứu này là phát triển một phương pháp dự báo chuỗi thời gian hỗn loạn bằng cách kết hợp lý thuyết hỗn loạn với mạng LSTMAutoencoder. Phương pháp này sẽ được thực nghiệm trên nhiều bộ dữ liệu khác nhau để đánh giá hiệu quả. Việc rút trích đặc trưng từ không gian pha sẽ giúp cải thiện độ chính xác của dự báo. Đặc biệt, luận văn sẽ tập trung vào việc cải thiện khả năng dự báo một bước, từ đó mở rộng thành dự báo nhiều bước trong tương lai.

II. Cơ sở lý thuyết

Chương này trình bày các khái niệm cơ bản liên quan đến chuỗi thời gian và lý thuyết hỗn loạn. Đầu tiên, chuỗi thời gian được định nghĩa là một tập hợp các giá trị được thu thập theo thời gian, có thể là dữ liệu thời gian thực hoặc dữ liệu lịch sử. Tính chất hỗn loạn trong chuỗi thời gian khiến cho việc dự đoán trở nên khó khăn, vì những thay đổi nhỏ trong điều kiện ban đầu có thể dẫn đến những kết quả khác biệt lớn. Tái tạo không gian pha là một phương pháp quan trọng trong việc phân tích chuỗi thời gian hỗn loạn, giúp xác định các đặc trưng ẩn của dữ liệu. Mạng LSTMAutoencoder sẽ được sử dụng để rút trích và dự đoán các đặc trưng này, từ đó cải thiện độ chính xác của mô hình dự báo.

2.1 Tái tạo không gian pha

Tái tạo không gian pha là quá trình chuyển đổi dữ liệu chuỗi thời gian thành một không gian đa chiều, giúp phân tích các đặc điểm động lực học của hệ thống. Phương pháp này thường sử dụng các kỹ thuật như độ trễ trung bìnhkỹ thuật lân cận gần nhất giả để xác định các tham số cần thiết cho việc tái tạo. Qua đó, không gian pha được tái tạo sẽ cho phép các mô hình như mạng LSTM hoạt động hiệu quả hơn, nhờ vào việc cung cấp các đặc trưng chính xác hơn từ dữ liệu đầu vào.

III. Các công trình liên quan

Nghiên cứu về dự báo chuỗi thời gian hỗn loạn đã thu hút sự chú ý của nhiều nhà nghiên cứu. Một số công trình đã áp dụng mạng LSTM và lý thuyết hỗn loạn để cải thiện độ chính xác của dự báo. Các nghiên cứu này cho thấy rằng việc kết hợp lý thuyết hỗn loạn với mạng Autoencoder có thể mang lại kết quả vượt trội so với các phương pháp truyền thống. Đặc biệt, việc sử dụng mạng LSTM trong các bài toán dự báo đã cho thấy khả năng xử lý tốt hơn các dữ liệu có tính chất không ổn định và hỗn loạn. Những công trình này làm nền tảng cho nghiên cứu hiện tại, cung cấp các phương pháp và kỹ thuật hữu ích để cải thiện hiệu quả dự báo.

3.1 Dự báo chuỗi thời gian hỗn loạn bằng mạng LSTM

Nhiều nghiên cứu đã chỉ ra rằng mạng LSTM có khả năng xử lý tốt các chuỗi thời gian có tính chất hỗn loạn. Việc áp dụng lý thuyết hỗn loạn trong các mô hình này đã giúp cải thiện đáng kể độ chính xác của dự báo. Các mô hình này thường kết hợp với các phương pháp như Autoencoder để rút trích đặc trưng, từ đó tối ưu hóa quá trình dự báo. Nghiên cứu này sẽ tiếp tục khai thác những thành tựu này để phát triển một phương pháp mới, kết hợp lý thuyết hỗn loạn với các mạng nơ-ron học sâu.

IV. Phương pháp giải quyết vấn đề

Phương pháp nghiên cứu được đề xuất bao gồm ba bước chính: tái tạo không gian pha, rút trích đặc trưng bằng mạng Autoencoder, và cuối cùng là huấn luyện mạng LSTM để dự báo. Quá trình tái tạo không gian pha sẽ giúp làm nổi bật các đặc điểm ẩn của chuỗi thời gian hỗn loạn. Sau đó, mạng Autoencoder sẽ được huấn luyện để rút trích các đặc trưng này, cung cấp đầu vào cho mạng LSTM. Kết quả thực nghiệm cho thấy phương pháp này mang lại những cải thiện đáng kể về độ chính xác so với các phương pháp truyền thống.

4.1 Huấn luyện bộ dự báo chuỗi thời gian hỗn loạn

Bộ dự báo sẽ được huấn luyện trên nhiều bộ dữ liệu khác nhau, bao gồm cả dữ liệu tổng hợp và dữ liệu thực tế. Việc sử dụng các kỹ thuật như chuỗi thời gianhọc sâu sẽ giúp tối ưu hóa quá trình dự báo. Kết quả sẽ được so sánh với các mô hình khác như mạng LSTM không sử dụng lý thuyết hỗn loạn để đánh giá hiệu quả của phương pháp đề xuất.

V. Hiện thực và kết quả thực nghiệm

Nghiên cứu đã thực hiện trên tám bộ dữ liệu khác nhau, bao gồm cả dữ liệu tổng hợp và dữ liệu thực tế. Kết quả cho thấy phương pháp đề xuất đã đạt được độ chính xác cao hơn so với các phương pháp khác. Các chỉ số như MAE, RMSE, và MAPE đều cho thấy sự cải thiện đáng kể. Điều này chứng tỏ rằng việc kết hợp lý thuyết hỗn loạn với mạng LSTMAutoencoder có thể mang lại kết quả tốt hơn trong việc dự báo chuỗi thời gian.

5.1 Đánh giá kết quả

Kết quả thực nghiệm cho thấy phương pháp đề xuất đã cho thấy hiệu quả vượt trội so với các mô hình khác. Đặc biệt, việc sử dụng mạng Autoencoder để rút trích đặc trưng đã đóng vai trò quan trọng trong việc cải thiện độ chính xác của dự báo. Các kết quả cho thấy rằng lý thuyết hỗn loạn không chỉ giúp cải thiện kết quả mà còn mở ra hướng nghiên cứu mới trong lĩnh vực dự báo chuỗi thời gian.

Tóm tắt và mô tả trên trang này được tạo với sự hỗ trợ của AI. Nếu bạn thấy nội dung không chính xác hoặc có vấn đề, vui lòng Báo lỗi nội dung.

10/01/2025
Luận văn thạc sĩ khoa học máy tính dự báo chuỗi thời gian hỗn loạn kết hợp mạng lstm autoencoder và lý thuyết hỗn loạn

Trích đoạn nội dung tài liệu

Chương 1 - Giới thiệu vấn đề: trình bày một cách tổng quan về tình hình nghiên cứu bài toán dự báo chuỗi thời gian từ cổ điển cho đến hiện tại. Qua đó, đề xuất một cách tiếp cận mới để có thể cải thiện hiệu quả dự báo cho chuỗi thời gian hỗn loạn. • Chương 2 - Cơ sở lý thuyết: trình bày những cơ sở lý thuyết quan trọng bao gồm lý thuyết hỗn loạn, phương pháp xác định độ trễ, số chiều nhúng. Giải thích cơ chế hoạt động của mạng LSTM, mạng AutoEn- coder.

• Chương 3 - Các công trình liên quan: nêu lên, xem xét một số các công trình liên quan, phân tích ưu điểm và hạn chế. Từ đó làm động lực đề xuất cách tiếp cận của đề tài. • Chương 4 - Phương pháp đề xuất: trình bày cụ thể hơn cách tiếp cận đề xuất, đó là kết hợp lý thuyết hỗn loạn để có thể lấy được nhiều thông tin nhất từ chuỗi thời gian hỗn loạn, sau đó sử dụng mạng AutoEnder rút trích đặc trưng rồi dùng những đặc trưng đó để tiếp tục huấn luyện bộ dự báo bằng mạng LSTM. • Chương 5 - Hiện thực và kết quả thực nghiệm: trình bày chi tiết hơn phần hiện thực và kết quả thực nghiệm trên tám bộ dữ liệu khác nhau.

• Chương 6 - Kết luận: sẽ đưa ra một số kết luận, phân tích ưu và nhược điểm, đồng thời cũng nên lên một số hướng nghiên cứu khả thi. CƠ SỞ LÝ THUYẾT Chương 2 Cơ sở lý thuyết Chương này sẽ trình bày một số kiến thức quan trọng được sử dụng trong luận văn, bao gồm những nội dung: chuỗi thời gian và tính chất hỗn loạn, phương pháp tái tạo không gian pha, nguyên lý hoạt động của mạng Long Short-Term Memory (LSTM), mạng AutoEncoder và một số độ đo đánh giá được dùng trong công trình này.1 Chuỗi thời gian có tính hỗn loạn Dữ liệu chuỗi (sequence data) là một chuỗi dữ liệu có các phần tử (thường là số nguyên/thực) nối tiếp nhau, có tính thứ tự và phụ thuộc lẫn nhau. Nghĩa là thứ tự xuất hiện trước sau trong chuỗi có tính ý nghĩa, nếu thay đổi sẽ làm mất đi tính chất vốn có của chuỗi. Dữ liệu chuỗi thời gian (time-series data) là một dạng của dữ liệu chuỗi khi được gán thêm thông tin về thời gian.

Ví dụ: dữ liệu giá cổ phiếu theo ngày, tỉ giá ngoại tệ, thời gian mặt trời mọc theo ngày, dữ liệu lượng mưa tại một khu vực được thu thập theo ngày/tháng. Tựu trung lại, hai tính chất quan trọng của dữ liệu chuỗi, đặc biệt là dữ liệu chuỗi thời gian cần quan tâm khi giải quyết các bài toán liên quan so với dữ liệu khác, như hình ảnh hay dạng cấu trúc: 6 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT • Chiều dài không cố định • Thông tin có thứ tự, phụ thuộc, có liên hệ với nhau Chuỗi thời gian có tính hỗn loạn là chuỗi dữ liệu được sinh ra từ sự chuyển động tất định của một hệ phi tuyến. Trong đó, các quy luật hấp dẫn xác định nên quỹ đạo hệ thống tạo nên một tập con phức tạp với số chiều lớn được gọi là một vùng hấp thu bất thường (strange attractor).

Một hệ thống hỗn loạn có tính chất nhạy cảm với điều kiện khởi tạo, dữ liệu ban đầu sẽ chuyển động, thay đổi theo hàm mũ ở những bước sau theo thời gian. Do đó, việc dự báo trên chuỗi thời gian có tính hỗn loạn vẫn là một thách thức. Một số chuỗi thời gian có tính hỗn loạn: • Hệ thống Lorenz: Sự chuyển động của các điểm dữ liệu của hệ thống Lorenz được biểu diễn bằng 3 phương trình vi phân ở công thức 2. Với a, b, c lần lượt là các tham số của phương trình.

Thông thường, giá trị mặc định của a = 10, b = 28, c = 8/3.1 minh họa quỹ đạo dữ liệu Lorez trên 3 chiều không gian.2 biểu diễn dữ liệu Lorenz trên trục x với 5000 điểm dữ liệu.  dx  = a(y − x)  dt   dy (2.1)  dt = x(b − z) − y   dz  dt = xy − cz • Hệ thống Mackey-Glass: Phương trình vi phân biểu diễn chuyển động của hệ thống được mô tả bằng công thức 2.2) dt 1 + xc (1 − τ ) • Hệ thống Rossler: Dữ liệu Rossler cũng là dữ liệu được mô phỏng, biểu 7 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Hình 2.1: Quỹ đạo chuyển động của hệ thống Lorenz trên không gian ba chiều Hình 2.2: 5000 điểm dữ liệu của Lorenz trên trục x 8 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT diễn bằng 3 phương trình vi phân ở công thức 2.

 dx  = −y − z  dt   dy (2.3) dt = x + ay    dz = b + z(x − c)  dt • Tỉ giá của các đồng tiền trên thế giới cũng được xem là chuỗi thời gian có tính hỗn loạn.3 biểu diễn sự biến động tỉ giá của đồng Đô-la Mỹ và đồng Bảng Anh (USD/GBP) từ năm 2000 đến giữa năm 2021.3: Biểu đồ nến dữ liệu tỉ giá ngoại tệ USD/GBP[14] • Dữ liệu vết đen mặt trời: Hình 2.4 trình bày một đoạn dữ liệu thống kê số vết đen xuất hiện ở mặt trời hàng tháng. CƠ SỞ LÝ THUYẾT Hình 2.4: Dữ liệu vệt đen mặt trời theo từng tháng 2.2 Tái tạo không gian pha Phương pháp tái tạo không gian pha (Phase Space Reconstruction ) [1] là một phương pháp được sử dụng phổ biến trong giải quyết bài toán với chuỗi thời gian hỗn loạn. Phương pháp này là một cách biểu diễn lại dữ liệu chuỗi thời gian sao cho thể hiện được thông tin đầy đủ hơn, tường minh bằng cách mở rộng một chiều phi tuyến của dữ liệu sang nhiều hơn một chiều. Cụ thể, để tạo nên một không gian pha mới tương đương từ một chuỗi thời gian đơn biến xt , với t = 1,2,3,.

N , mỗi phần tử xt sẽ được gán lại bằng một giá trị liền kề sau khoảng thời gian trễ để tạo nên một vec-tơ mới. Xt = {xt , xt+τ , xt+2τ , .4) Trong công thức 2.4, Xt là vec-tơ mới tái tạo trong không gian pha với các phần tử xt , xt+τ , x2t+τ ,. CƠ SỞ LÝ THUYẾT Số chiều nhúng m của một chuỗi thời gian là số chiều cần thiết để xây dựng không gian pha đồng thời tái tạo ngược lại chiều ban đầu mà không làm mất đi đặc tính hình vị (topological properties) của dữ liệu. Theo lý thuyết của Takens [1], trên một chuỗi thời gian một chiều vô tận, không nhiễu, tham số τ và m có thể chọn một cách ngẫu nhiên.

Nhưng trên thực tế, chuỗi thời gian là hữu hạn và hỗn loạn, nên hai tham số τ và m cần được xác định bằng những phương pháp riêng. Giá trị τ và m ảnh hưởng rất nhiều đến bài toán, nếu τ quá nhỏ sẽ không đủ tách biệt, tương quan giữa các điểm trên trục tọa độ lớn sẽ không thể đảm bảo mỗi không gian pha cung cấp đủ thông tin. Ngược lại, độ trể quá lớn sẽ dẫn đến tình trạng ngắt quãng thông tin, mất thông tin. Đối với số chiều nhúng m, m nhỏ thì không đủ thông tin, nhưng khi m quá lớn dù cung cấp nhiều thông tin hơn nhưng lại gặp trở ngại về độ phức tạp tính toán.

Với phương pháp tái tạo không gian pha được Takens đề xuất, số chiều nhúng lí tưởng m nên lớn hơn hoặc bằng (2D +1), với D là chiều không gian bất thường.1 Xác định độ trễ τ Phương pháp thường sử dụng để xác định độ trễ τ tối ưu được Fraser và Swinney [2] đề xuất sử dụng lý thuyết thông tin tương hỗ trung bình (average mutual information - AMI). Giá trị thông tin tương hỗ ứng của một chuỗi thời gian ứng với độ trễ τ , S(τ ) được tính bằng công thức 2.5) pi pj i,j Trong đó, pi là xác suất một giá trị của chuỗi thời gian tương ứng nằm trong khoảng thứ i (i-th interval) và pij là xác suất mà một điểm dữ liệu rơi vào khoảng thứ i và sau đó nằm trong khoảng thứ j. Giá trị hợp lý của độ trễ chính là giá trị được chọn khi độ tương hỗ thông tin đạt cực tiểu hoặc để tránh trường hợp độ trễ quá lớn, có thể chọn giá 11 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT trị khi S(τ ) đạt cực tiểu cục bộ đầu tiên.

Một số phương pháp khác dùng để xác định thời gian trễ là hàm tự tương quan (Autocorrection), phương pháp C-C.5 biểu diễn tương quan giữa S(τ ) và trên tập dữ liệu Lorenz 10000 điểm. Dựa vào hình trên, giá trị cực tiểu của AMI đạt được khi độ trễ bằng 62. Nhưng do 62 khá lớn, nên độ trễ sẽ được chọn là 10, chính là giá trị có cực tiểu cục bộ đầu tiên.5: Độ thông tin tương hỗ trung bình cho bộ dữ liệu Lorenz 2.2 Xác định số chiều nhúng m Phương pháp lân cận gần nhất giả (False Nearest Neighbor – FNN) [15] có thể áp dụng để tìm số chiều nhúng tối thiểu phù hợp. Phương pháp này tìm số chiều nhúng m bằng cách kiểm tra sự thay đổi của các điểm lân cận trong không gian pha khi dần dần tăng số chiều nhúng.

Những điểm lân cận giả hay “hàng xóm giả” được xem là những điểm mà mỗi khi tăng số chiều nhúng, các điểm đó không còn là lân cận nữa. Giả sử m0 số chiều nhúng của chuỗi thời gian {xi }. Ứng với mỗi vec-tơ Xi là lân cận gần nhất trong không gian có độ trễ τ với m chiều. Khoảng cách 12 CHƯƠNG 2.

CƠ SỞ LÝ THUYẾT Euclid giữa Xi , X̂i là dm (Xi , X̂i ). Để kiểm tra sự ảnh hưởng của việc thay đổi m (cụ thể là tăng dần số chiều), công thức độ tăng của khoảng cách (2.6) ở mỗi lần tăng số chiều nhúng sẽ được áp dụng.6) dm (Xi , X̂i ) Để xác định đó có phải là một lân cận giả, Ri sẽ so với Rt , một ngưỡng thực nghiệm định trước. Nếu Ri > Rt thì đó là một lân cận giả. Số chiều nhúng khả dụng là số chiều mà độ chênh lệch giữa Ri và Rt bằng không hoặc đủ nhỏ.6 biểu diễn cách tìm số chiều nhúng phù hợp dựa theo phương pháp FNN trên dữ liệu 10000 điểm của Lorenz.6: Xác định số chiều nhúng dựa vào FNN 2.3 Số mũ Lyapunov Rất khó nhận biết những chuyển động hỗn loạn nếu chỉ dựa vào sự quan sát trên không gian pha.

Để xác định một chuỗi thời gian có tính chất hỗn 13 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT loạn hay không, số mũ Lyapunov được sử dụng như một cách để đánh giá. Phương pháp này được đề xuất bởi Rosenstein và cộng sự [16] dựa trên tìm số mũ Lyapunov cực đại.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Bài viết "Luận văn thạc sĩ: Dự báo chuỗi thời gian hỗn loạn bằng mạng LSTM Autoencoder và lý thuyết hỗn loạn" của tác giả Nguyễn Đức Huy, dưới sự hướng dẫn của PGS. Dương Tuấn Anh tại Đại học Bách Khoa, tập trung vào việc áp dụng mạng LSTM và Autoencoder để dự đoán các chuỗi thời gian hỗn loạn. Nghiên cứu không chỉ cung cấp cái nhìn sâu sắc về lý thuyết hỗn loạn mà còn mở ra những ứng dụng thực tiễn trong việc phân tích và dự báo dữ liệu phức tạp trong nhiều lĩnh vực như tài chính, khí tượng hay kỹ thuật.

Để mở rộng thêm kiến thức về các ứng dụng trong lĩnh vực khoa học máy tính, bạn có thể tham khảo bài viết Luận văn về tâm lý học mạng xã hội và ảnh hưởng đến người lớn, nơi nghiên cứu về tác động của mạng xã hội, hoặc Luận Văn Thạc Sĩ: Ứng Dụng Active Learning trong Lựa Chọn Dữ Liệu Gán Nhãn cho Bài Toán Nhận Diện Giọng Nói, nghiên cứu về việc sử dụng phương pháp học máy trong nhận diện giọng nói. Cả hai bài viết đều liên quan đến việc áp dụng các phương pháp học máy và phân tích dữ liệu, giúp bạn có cái nhìn tổng quát hơn về xu hướng hiện tại trong lĩnh vực này.