PHẦN MỞ ĐẦU. Lý do chọn đề tài .Tổng quan về tài liệu và tình hình nghiên cứu đề tài. Tổng quan về tài liệu nghiên cứu. Tình hình nghiên cứu đề tài.
Mục đích và nhiệm vụ nghiên cứu. Đối tƣợng và phạm vi nghiên cứu. Phƣơng pháp nghiên cứu. Nội dung dự kiến nghiên cứu .7 PHẦN NỘI DUNG .8 CHƢƠNG 1: CÁC KHÁI NIỆM CƠ SỞ.
Giới thiệu về dự báo. Giới thiệu hồi qui. Giới thiệu chuỗi thời gian. Mô hình tự hồi qui bậc p(AR(p)).
Mô hình trung bình động bậc q(MA(q)). Mô hình tự hồi qui và trung bình động (ARMA(p,q)). Mô hình trung bình di động tổng hợp với tự hồi qui ARIMA(p,d,q)9 1. Tiêu chuẩn đánh giá mô hình.
Các tính chất của chuỗi thời gian. Phân loại chuỗi thời gian. Các đặc tính định dạng. Liên hệ giữa tính toán hồi qui và dự báo chuỗi thời gian.
Giới thiệu về Deep Learning. Khái niệm Deep Learning. Hoạt động của Deep Learning. Ƣu nhƣợc điểm của Deep Learning.
Vấn đề Deep Learning giải quyết. Các kỹ thuật cơ bản trong Deep Learning. Kỹ thuật véc-tơ (Vectorization). Kỹ thuật tìm giá trị nhỏ nhất (Mini-batch gradient descent).
Kỹ thuật tìm độ lệch và phƣơng sai (Bias và variance). Kỹ thuật bỏ học (Dropout). Kỹ thuật sử dụng hàm kích hoạt phi tuyến (Activation function). Tổng kết chƣơng 1 .22 CHƢƠNG 2: DỰ BÁO CHUỖI THỜI GIAN VỚI CÁC MÔ HÌNH RNN.
Phát biểu bài toán. Dữ liệu đầu vào. Kết quả đầu ra. Mạng nơ-ron hồi quy RNN.
Tổng kết chƣơng 2 .27 CHƢƠNG 3: THỬ NGHIỆM CÁC MÔ HÌNH. Giới thiệu chƣơng. Thu thập dữ liệu. Thử nghiệm trên Google Colab.
Thử nghiệm mô hình RNN. Thử nghiệm mô hình LSTM. Thử nghiệm mô hình GRU. Chỉ số đánh giá của mô hình.
Cài đặt mô hình thử nghiệm. Dữ liệu thử nghiệm và cài đặt tham số. Đánh giá hiệu suất mô hình và so sánh kết quả thử nghiệm. So sánh ba mô hình với MSE, RMSE, MAE, R2.
Trực quan hóa ba mô hình trực quan hóa tình huống cuối cùng. Trực quan hóa giá trị dự đoán cuối cùng với LSTM làm ví dụ. Tổng kết chƣơng 3 .53 PHẦN KẾT LUẬN. Các kết quả đạt đƣợc.
Hƣớng nghiên cứu tiếp theo. 54 DANH MỤC TÀI LIỆU THAM KHẢO .55 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT - RNN: Recurrent Neural Network - HAR: nhận dạng hoạt động của con ngƣời - CNN: Convolutional Neural Network - GRU: Gated Recurrent Unit - LSTM: Long Short – Term Memory - 𝑀𝐴𝐸: 𝑀𝑒𝑎𝑛 𝐴𝑏𝑠𝑜𝑙𝑢𝑡𝑒 𝐸𝑟𝑟𝑜𝑟 - 𝑀𝑆𝐸: 𝑀𝑒𝑎𝑛 𝑆𝑞𝑢𝑎𝑟𝑒 𝐸𝑟𝑟𝑜𝑟 - 𝑅𝑀𝑆𝐸: 𝑠𝑞𝑢𝑎𝑟𝑒𝑅𝑜𝑜𝑡 𝑀𝑒𝑎𝑛 𝑆𝑞𝑢𝑎𝑟𝑒 𝐸𝑟𝑟𝑜𝑟 - AR: Auto Regression - MA: Moving Average - DNN: mô hình mạng thần kinh sâu - ML: Machine Learning - BPTT: Backpropagation Through Time DANH MỤC CÁC BẢNG Bảng 3.2: LSTM mạng nơ-ron một lớp khác nhau đầu vào tế bào thần kinh dự đoán.3: LSTM mạng nơ-ron hai lớp khác nhau đầu vào tế bào thần kinh dự đoán .4: LSTM hai lớp LSTM dự đoán các bƣớc trình tự thời gian khác nhau .5: Bộ thử nghiệm LSTM hai lớp dự đoán tỉ lệ phân chia khác nhau .6: Bộ thử nghiệm LSTM hai lớp tập hợp các dự báo hàng loạt khác nhau .7: So sánh giá trị MSE, RMSE, MAE, R2. 52 DANH MỤC CÁC HÌNH Hình 1.1: Hoạt động của Deep Learning .2: Đồ thị hàm Sigmoid .3: Đồ thị hàm Tanh .4: Đồ thị hàm ReLU .5: Đồ thị hàm Leaky ReLU .1: Mô hình hoạt động của mạng nơ-ron RNN .2: Cấu trúc của một tế bào mạng nơ-ron RNN .3: So sánh mô hình 2 mạng RNN và LSTM .4: Mô hình một tế bào mạng LSTM .5: Mô hình một tế bào mạng GRU.3: Đồ thị GRU loss .4: Đồ thị RNN phù hợp .5: Đồ thị LSTM phù hợp .6: Đồ thị GRU phù hợp .7: Đồ thị LSTM dự đoán trực quan. Lý do chọn đề tài Mô hình dự báo chuỗi thời gian là một trong những mảng dự báo quan trọng đƣợc ứng dụng trong nhiều ngành nghề, lĩnh vực khác nhau.
Trong thực tiễn phân tích dữ liệu chúng ta sẽ gặp rất nhiều những chuỗi thời gian. Một cách tiếp cận thông thƣờng là sử dụng những mô hình hồi qui truyền thống nhƣ ARIMA, GARCH, VAR, ARIMAX, SARIMA, SARIMAX, …. Những mô hình này hầu hết đều dựa trên giả định về phần dƣ là nhiễu trắng, chuỗi dừng, … và các giả định thống kê khác đối với từng mô hình cụ thể. Trong các mạng thần kinh truyền thống (Neural Network) bao gồm 3 phần chính là Input layer, Hidden layer và Output layer, ta có thể thấy là đầu vào và đầu ra của mạng neuron này là độc lập với nhau.
Nhƣ vậy mô hình này không phù hợp với những bài toán dạng chuỗi nhƣ mô tả, hoàn thành câu, dự báo. vì những dự đoán tiếp theo nhƣ từ tiếp theo phụ thuộc vào vị trí của nó trong câu và những từ đằng trƣớc nó. Và nhƣ vậy RNN ra đời với ý tƣởng chính là sử dụng một bộ nhớ để lƣu lại thông tin từ những bƣớc tính toán xử lý trƣớc để dựa vào nó có thể đƣa ra dự đoán chính xác nhất cho bƣớc dự đoán hiện tại. Mạng hồi qui RNN (Recurrent Neural Network) là một trong những loại mạng nơ-ron trong đó đầu ra của một bƣớc trong thời gian đóng vai trò là đầu vào cho bƣớc tiếp theo trong thời gian.
Do đó, RNN giải quyết vấn đề này với sự trợ giúp của một lớp ẩn. Tính năng chính và quan trọng nhất của RNN là trạng thái ẩn, ghi nhớ một số thông tin về một chuỗi. Một RNN có thể ghi nhớ từng thông tin theo thời gian. Nó rất hữu ích trong dự đoán chuỗi thời gian chỉ vì tính năng để ghi nhớ các đầu vào trƣớc đó là tốt.
Điều này đƣợc gọi là bộ nhớ ngắn hạn, dài hạn. RNN hoạt động rất tốt khi nói đến dữ liệu chuỗi nhƣ dự báo thời tiết, thị trƣờng chứng khoán, giá vàng, thị trƣờng du lịch, v. Với những phân tích trên, tôi xin chọn nghiên cứu đề tài “Nghiên cứu ứng dụng mô hình RNN trong dự báo giá vàng”. Tổng quan về tài liệu và tình hình nghiên cứu đề tài 2.
Tổng quan về tài liệu nghiên cứu - Tình hình các nước trên thế giới: Học sâu cho phân tích chuỗi thời gian (Deep Learning for Time-Series 2 Analysis, 2017, John Cristian Borges Gamboa) Đã có nhiều ứng dụng trong thế giới thực, ví dụ: nhận dạng giọng nói hoặc phân loại giai đoạn giấc ngủ, dữ liệu đƣợc nắm bắt theo thời gian, tạo thành một chuỗi thời gian. Time-Series thƣờng chứa các phụ thuộc thời gian khiến hai thời điểm giống hệt nhau thuộc về các lớp khác nhau hoặc dự đoán hành vi khác nhau. Đặc điểm này thƣờng làm tăng khó khăn trong việc phân tích chúng. Các kỹ thuật hiện có thƣờng phụ thuộc vào các tính năng thủ công đắt tiền để tạo ra và đòi hỏi kiến thức chuyên môn về lĩnh vực này.
Với sự ra đời của Deep Learning, các mô hình học tập mới không giám sát với các tính năng để phân tích và dự báo chuỗi thời gian đã đƣợc phát triển. Những phát triển mới nhƣ vậy là chủ đề của bài báo này: đánh giá các kỹ thuật học sâu chính đƣợc trình bày và một số ứng dụng trên phân tích Time-Series đƣợc tóm tắt. Kết quả cho thấy rõ rằng Deep Learning có rất nhiều đóng góp cho lĩnh vực này. Mạng nơron để xử lý chuỗi thời gian, 1996 (Neural Networks for Time Series Processing, 1996, Georg Dorffner) Bài báo này cung cấp một cái nhìn tổng quan về các loại mạng thần kinh phổ biến nhất để xử lý chuỗi thời gian, tức là nhận dạng mẫu và dự báo trong các mẫu spatio-temporal.
Nhấn mạnh vào mối quan hệ giữa các mô hình mạng thần kinh và các phƣơng pháp tiếp cận cổ điển hơn để xử lý chuỗi thời gian, đặc biệt là dự báo. Bài báo bắt đầu với việc giới thiệu những điều cơ bản về xử lý chuỗi thời gian và thảo luận về các mạng lƣới thần kinh tái phát cũng nhƣ về khả năng mô hình hóa các phụ thuộc phi tuyến tính trong các mô hình thời gian spatio. Mạng thần kinh chuyển đổi sâu trên chuỗi thời gian đa kênh để nhận biết hoạt động của con ngƣời, 2015. (Deep Convolutional Neural Networks On Multichannel Time Series For Human Activity Recognition, 2015.
Bài báo này tập trung vào vấn đề nhận dạng hoạt động của con ngƣời (HAR), trong đó đầu vào là tín hiệu chuỗi thời gian đa kênh thu đƣợc từ một tập hợp các cảm biến quán tính của cơ thể và đầu ra là các hoạt động đƣợc xác định trƣớc của con ngƣời. Trong vấn đề này, trích xuất các tính năng hiệu quả để xác định các hoạt động là một nhiệm vụ quan trọng nhƣng đầy thách thức. Hầu hết các công việc hiện có dựa trên thiết kế tính năng thủ công heuristic và kiến trúc học tính năng nông, không thể tìm thấy các tính năng phân biệt đó để phân loại chính xác các hoạt động khác nhau. Trong bài viết này, đã đề xuất một phƣơng pháp học tập tính năng có hệ thống cho vấn đề 3 HAR.
Phƣơng pháp này áp dụng một mạng lƣới thần kinh phức tạp sâu (CNN) để tự động hóa tính năng học hỏi từ các đầu vào thô một cách có hệ thống. Thông qua kiến trúc sâu, các tính năng học đƣợc coi là đại diện trừu tƣợng cấp cao hơn của các tín hiệu chuỗi thời gian thô cấp thấp. Bằng cách tận dụng thông tin đƣợc dán nhãn thông qua học tập có giám sát, các tính năng đã học đƣợc ban cho sức mạnh phân biệt đối xử hơn. Thống nhất trong một mô hình, học tập và phân loại tính năng đƣợc tăng cƣờng lẫn nhau.
Tất cả những lợi thế độc đáo này của CNN làm cho nó vƣợt trội so với các thuật toán HAR khác, nhƣ đã đƣợc xác minh trong các thí nghiệm trên thử thách nhận dạng hoạt động cơ hội và các bộ dữ liệu chuẩn khác. - Tình hình trong nước: Việt Nam xây dựng mô hình dự báo bão sớm 3 ngày (https://bit.ly/3EUZ8EE) Mô hình động lực đo đƣợc sự phát triển và di chuyển của xoáy thuận nhiệt đới trên Biển Đông giúp cảnh báo sớm bão, áp thấp nhiệt đới. Sáng 6/11/2021, tại hội nghị tổng kết chƣơng trình khoa học và công nghệ trọng điểm cấp quốc gia "Nghiên cứu khoa học và công nghệ phục vụ quản lý biển, hải đảo và phát triển kinh tế biển" (KC.09 giai đoạn 2016-2020), Ban Chủ nhiệm chƣơng trình đã nêu nhiều kết quả sau 5 năm thực hiện. Toàn chƣơng trình có 41 nhiệm vụ nghiên cứu đã triển khai.