I. Tổng Quan Dự Báo Chuỗi Thời Gian Gom Cụm Nơ ron
Các công ty hiện nay hoạt động trong môi trường biến động, do đó, dự báo chuỗi thời gian đóng vai trò quan trọng trong việc đưa ra quyết định. Các nhà đầu tư cần dự báo nhu cầu thị trường để đầu tư hiệu quả, các nhà hoạch định chính sách cần dự báo môi trường kinh doanh để đưa ra chính sách phù hợp. Để dự báo chính xác, cần thu thập dữ liệu liên quan. Dữ liệu chuỗi thời gian là dữ liệu được thu thập, lưu trữ theo thời gian. Ví dụ, doanh thu hàng năm của một công ty, số lượng hàng hóa bán được hàng tháng tại siêu thị. Dự báo dữ liệu chuỗi thời gian ngày càng quan trọng. Có nhiều phương pháp, từ hồi quy (thế kỷ 19) đến mạng nơ-ron nhân tạo. Bốn kỹ thuật chính là hồi quy, làm trơn hàm mũ, mô hình ARIMA, và mạng nơ-ron nhân tạo. Theo Lê Minh Nam, việc kết hợp các phương pháp này có thể mang lại kết quả dự báo tốt hơn.
1.1. Giới Thiệu Về Bài Toán Dự Báo Chuỗi Thời Gian
Bài toán dự báo chuỗi thời gian là một lĩnh vực nghiên cứu quan trọng trong nhiều ngành. Mục tiêu là dự đoán giá trị tương lai của một chuỗi dữ liệu dựa trên các giá trị lịch sử. Các ứng dụng bao gồm dự báo tài chính, dự báo nhu cầu, dự báo thời tiết và nhiều hơn nữa. Việc sử dụng các mô hình chính xác là rất quan trọng để đưa ra quyết định thông minh và hiệu quả. Các phương pháp truyền thống như ARIMA và làm trơn hàm mũ đã được sử dụng rộng rãi, nhưng chúng thường gặp khó khăn trong việc xử lý các chuỗi thời gian phi tuyến tính và phức tạp. Do đó, các phương pháp dựa trên mạng nơ-ron đã trở nên phổ biến hơn.
1.2. Tại Sao Cần Kết Hợp Gom Cụm và Mạng Nơ ron
Phương pháp tiếp cận truyền thống khi sử dụng mạng nơ-ron cho dự báo chuỗi thời gian thường huấn luyện một mạng nơ-ron duy nhất. Tuy nhiên, phương pháp này có thể không nắm bắt được các biến động cục bộ trong chuỗi thời gian. Bằng cách kết hợp gom cụm và mạng nơ-ron, chúng ta có thể chia chuỗi thời gian thành các phân đoạn (segment) riêng lẻ và gom các phân đoạn tương tự thành các cụm. Sau đó, mỗi cụm được huấn luyện với một mạng nơ-ron riêng biệt. Điều này cho phép mô hình nắm bắt được cả các biến động toàn cục và cục bộ, từ đó cải thiện độ chính xác dự báo. Pavlidis và cộng sự (2006) đã chứng minh hiệu quả của phương pháp này trong dự báo tài chính.
II. Thách Thức Độ Chính Xác Trong Dự Báo Chuỗi Thời Gian
Việc sử dụng mạng nơ-ron nhân tạo trong dự báo dữ liệu chuỗi thời gian đã được áp dụng nhiều. Tuy nhiên, mô hình mạng nơ-ron nhân tạo truyền thống thường huấn luyện một mạng duy nhất, bỏ qua các biến động cục bộ. Nghiên cứu này đề xuất giải pháp giải quyết vấn đề này bằng cách tách chuỗi thời gian thành các phân đoạn và sử dụng thuật toán gom cụm để gom các phân đoạn thành nhiều cụm. Sau đó, mỗi cụm được huấn luyện thành một mạng nơ-ron riêng, tạo thành một tập hợp các mạng nơ-ron khác nhau, được sử dụng để dự báo. Điều này giúp tăng độ chính xác dự báo so với việc chỉ sử dụng một mạng nơ-ron.
2.1. Những Hạn Chế Của Phương Pháp Truyền Thống
Mặc dù mạng nơ-ron đã chứng minh được khả năng mạnh mẽ trong dự báo chuỗi thời gian, việc sử dụng một mạng nơ-ron duy nhất có thể không đủ để nắm bắt được tất cả các đặc điểm của chuỗi thời gian. Đặc biệt, khi chuỗi thời gian có tính phi tuyến tính cao hoặc chứa các biến động cục bộ phức tạp, một mạng nơ-ron duy nhất có thể gặp khó khăn trong việc dự báo chính xác. Hơn nữa, việc huấn luyện một mạng nơ-ron lớn để xử lý toàn bộ chuỗi thời gian có thể tốn kém về mặt tính toán và yêu cầu một lượng lớn dữ liệu huấn luyện.
2.2. Tại Sao Độ Chính Xác Dự Báo Lại Quan Trọng
Độ chính xác dự báo là yếu tố then chốt trong nhiều ứng dụng thực tế. Trong dự báo tài chính, độ chính xác cao có thể giúp nhà đầu tư đưa ra quyết định đầu tư đúng đắn và tối đa hóa lợi nhuận. Trong dự báo nhu cầu, độ chính xác cao có thể giúp doanh nghiệp quản lý hàng tồn kho hiệu quả và giảm thiểu chi phí. Trong dự báo thời tiết, độ chính xác cao có thể giúp cảnh báo sớm các thiên tai và giảm thiểu thiệt hại về người và tài sản. Do đó, việc cải thiện độ chính xác dự báo là một mục tiêu quan trọng trong nghiên cứu và ứng dụng dự báo chuỗi thời gian.
2.3. Các Yếu Tố Ảnh Hưởng Đến Độ Chính Xác Dự Báo
Độ chính xác dự báo chịu ảnh hưởng bởi nhiều yếu tố, bao gồm chất lượng dữ liệu, lựa chọn mô hình, và kỹ thuật huấn luyện. Dữ liệu bị nhiễu hoặc thiếu có thể dẫn đến dự báo không chính xác. Lựa chọn mô hình phù hợp với đặc điểm của chuỗi thời gian là rất quan trọng. Ví dụ, mô hình ARIMA có thể phù hợp với chuỗi thời gian tuyến tính, trong khi mạng nơ-ron có thể phù hợp với chuỗi thời gian phi tuyến tính. Kỹ thuật huấn luyện cũng đóng vai trò quan trọng. Việc sử dụng các thuật toán tối ưu hóa hiệu quả và tránh overfitting có thể cải thiện độ chính xác dự báo.
III. Phương Pháp Kết Hợp Gom Cụm Phân Cấp và Mạng Nơ ron
Mục tiêu của nghiên cứu này là nghiên cứu phương pháp dự báo dữ liệu chuỗi thời gian dựa trên gom cụm sử dụng giải thuật gom cụm phân cấp từ dưới lên HAC (Hierarchical Agglomerative Clustering) kết hợp với một tập hợp mạng nơ-ron. Nội dung nghiên cứu bao gồm tìm hiểu về cách phân đoạn chuỗi thời gian dựa trên các điểm cực trị quan trọng, tìm hiểu giải thuật gom cụm HAC để gom các phân đoạn thành các cụm khác nhau, và tìm hiểu mạng nơ-ron, sử dụng giải thuật lan truyền ngược (backpropagation) để huấn luyện mạng nơ-ron. Cuối cùng, hiện thực một chương trình dự báo dữ liệu chuỗi thời gian sử dụng kết hợp gom cụm và một tập hợp mạng nơ-ron và đánh giá độ chính xác.
3.1. Phân Đoạn Dữ Liệu Chuỗi Thời Gian Bằng Điểm Cực Trị
Bước đầu tiên trong phương pháp này là phân đoạn dữ liệu chuỗi thời gian thành các chuỗi con. Một kỹ thuật phổ biến là sử dụng các điểm cực trị (cực đại và cực tiểu) để xác định các điểm phân đoạn. Các điểm cực trị thường đại diện cho các thay đổi quan trọng trong xu hướng của chuỗi thời gian. Bằng cách chia chuỗi thời gian tại các điểm cực trị, chúng ta có thể tạo ra các chuỗi con có đặc điểm tương đối đồng nhất. Việc sử dụng các điểm cực trị quan trọng giúp giảm thiểu nhiễu và tập trung vào các biến động quan trọng nhất trong chuỗi thời gian. Các thuật toán tìm kiếm điểm cực trị có thể được sử dụng để tự động xác định các điểm phân đoạn.
3.2. Gom Cụm Phân Cấp HAC Các Chuỗi Con
Sau khi phân đoạn dữ liệu chuỗi thời gian, bước tiếp theo là gom cụm các chuỗi con tương tự. Gom cụm phân cấp (HAC) là một thuật toán gom cụm phổ biến, xây dựng một hệ thống phân cấp các cụm. Bắt đầu bằng việc coi mỗi chuỗi con là một cụm riêng biệt, HAC lặp đi lặp lại kết hợp các cụm gần nhau nhất cho đến khi chỉ còn lại một cụm duy nhất. Các phương pháp liên kết khác nhau (ví dụ: liên kết đơn, liên kết đầy đủ, liên kết trung bình) có thể được sử dụng để xác định khoảng cách giữa các cụm. Kết quả của HAC là một dendrogram, cho phép chúng ta chọn số lượng cụm tối ưu dựa trên một số tiêu chí nhất định (ví dụ: khoảng cách giữa các cụm).
3.3. Huấn Luyện Mạng Nơ ron Cho Mỗi Cụm
Sau khi các chuỗi con đã được gom cụm, bước tiếp theo là huấn luyện một mạng nơ-ron riêng biệt cho mỗi cụm. Điều này cho phép mô hình nắm bắt được các đặc điểm cụ thể của từng cụm. Ví dụ, một cụm có thể đại diện cho các chuỗi thời gian có xu hướng tăng, trong khi một cụm khác có thể đại diện cho các chuỗi thời gian có xu hướng giảm. Các loại mạng nơ-ron khác nhau (ví dụ: LSTM, GRU) có thể được sử dụng tùy thuộc vào đặc điểm của chuỗi thời gian. Giải thuật lan truyền ngược (backpropagation) thường được sử dụng để huấn luyện các mạng nơ-ron. Quá trình huấn luyện cần được tối ưu hóa để tránh overfitting và đảm bảo độ chính xác dự báo cao.
IV. Ứng Dụng Thực Tế Dự Báo Chứng Khoán và Tỷ Giá
Luận văn đã hiện thực một chương trình dự báo dữ liệu chuỗi thời gian sử dụng kết hợp giữa gom cụm dùng HAC và một tập hợp mạng nơ-ron, thử nghiệm để đánh giá độ chính xác dự báo và so sánh với phương pháp chỉ dùng một mạng nơ-ron truyền thống. Kết quả cho thấy phương pháp dùng một tập hợp mạng nơ-ron có độ chính xác cao hơn và có thể nắm rõ được các biến thiên cục bộ, đặc biệt trong lĩnh vực tài chính. Các thử nghiệm được thực hiện trên dữ liệu chứng khoán và tỷ giá.
4.1. Thử Nghiệm Trên Dữ Liệu Chứng Khoán
Dữ liệu chứng khoán với 114789 điểm đã được sử dụng để thử nghiệm mô hình. Quá trình phân đoạn và huấn luyện dữ liệu chứng khoán được thực hiện. Kết quả cho thấy mô hình kết hợp gom cụm và mạng nơ-ron có khả năng dự báo tốt hơn so với mô hình chỉ sử dụng một mạng nơ-ron. Các thông số tách chuỗi con và huấn luyện mạng nơ-ron được điều chỉnh để đạt được kết quả tối ưu. Bảng kết quả đánh giá được trình bày chi tiết.
4.2. Thử Nghiệm Trên Dữ Liệu Tỷ Giá AUD USD
Dữ liệu tỷ giá AUD/USD với 7927 điểm cũng được sử dụng để đánh giá hiệu quả của mô hình. Quá trình phân đoạn và huấn luyện dữ liệu tỷ giá được thực hiện tương tự như với dữ liệu chứng khoán. Kết quả cho thấy mô hình kết hợp gom cụm và mạng nơ-ron có độ chính xác dự báo cao hơn so với mô hình chỉ sử dụng một mạng nơ-ron. Các thông số tách chuỗi con và huấn luyện mạng nơ-ron được điều chỉnh để đạt được kết quả tốt nhất.
4.3. Ứng Dụng Dự Báo Nhu Cầu Năng Lượng và Doanh Nghiệp
Mô hình cũng được thử nghiệm trên dữ liệu nhu cầu năng lượng ở Ý (30651 điểm) và dữ liệu doanh nghiệp (ERP) với 6654 điểm. Kết quả cho thấy tính linh hoạt và khả năng ứng dụng rộng rãi của phương pháp kết hợp gom cụm và mạng nơ-ron trong dự báo chuỗi thời gian. Việc điều chỉnh các thông số phù hợp với từng loại dữ liệu là rất quan trọng để đạt được kết quả dự báo tốt nhất.
V. Kết Luận Ưu Điểm của Gom Cụm và Hướng Phát Triển
Mục đích chính của luận văn là nghiên cứu và thử nghiệm phương pháp dự báo dữ liệu chuỗi thời gian dùng một tập hợp mạng nơ-ron so với phương pháp chỉ dùng một mạng nơ-ron. Kết quả cho thấy phương pháp mới có độ chính xác dự báo cao hơn và có thể nắm rõ được các biến thiên cục bộ, đặc biệt trong lĩnh vực tài chính. Các nghiên cứu tiếp theo có thể tập trung vào tối ưu hóa thuật toán gom cụm và cải thiện hiệu quả của quá trình huấn luyện mạng nơ-ron.
5.1. Những Đóng Góp Quan Trọng Của Nghiên Cứu
Nghiên cứu này đã đóng góp vào lĩnh vực dự báo chuỗi thời gian bằng cách đề xuất và chứng minh hiệu quả của phương pháp kết hợp gom cụm và mạng nơ-ron. Phương pháp này có khả năng nắm bắt các biến động cục bộ trong chuỗi thời gian, từ đó cải thiện độ chính xác dự báo. Nghiên cứu cũng cung cấp một khuôn khổ rõ ràng để áp dụng phương pháp này vào các ứng dụng thực tế. Các kết quả thử nghiệm trên dữ liệu chứng khoán, tỷ giá, nhu cầu năng lượng và dữ liệu doanh nghiệp đã chứng minh tính khả thi và hiệu quả của phương pháp.
5.2. Hướng Phát Triển Tiềm Năng Trong Tương Lai
Có nhiều hướng phát triển tiềm năng cho nghiên cứu này. Một hướng là tối ưu hóa thuật toán gom cụm để đạt được kết quả gom cụm tốt hơn. Các thuật toán gom cụm khác nhau (ví dụ: DBSCAN, SOM) có thể được khám phá. Một hướng khác là cải thiện hiệu quả của quá trình huấn luyện mạng nơ-ron. Các kỹ thuật regularization và dropout có thể được sử dụng để tránh overfitting. Việc sử dụng các kiến trúc mạng nơ-ron tiên tiến (ví dụ: Transformer) cũng có thể cải thiện độ chính xác dự báo. Ngoài ra, nghiên cứu có thể được mở rộng để áp dụng vào các lĩnh vực khác, chẳng hạn như dự báo thời tiết và dự báo y tế.