Báo Cáo Tổng Kết Đề Tài NCKH Sinh Viên: Xây Dựng Mô Hình Dự Báo Chuỗi Thời Gian Bằng Python

Tìm hiểu cách xây dựng mô hình dự báo chuỗi thời gian hiệu quả bằng Python. Báo cáo NCKH sinh viên tại Hà Nội, ứng dụng Deep Learning và RNN, LSTM.

• Tác giả: Vũ Đình Hoàng
• Người hướng dẫn: Ths. Nguyễn Thu Hằng
• Trường học: Trường Đại học Mỏ - Địa chất
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Xây dựng mô hình dự báo chuỗi thời gian bằng Python
• Loại tài liệu: Báo cáo tổng kết đề tài NCKH sinh viên
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: MÔ HÌNH HỌC SÂU TRONG DỰ BÁO PHÂN TÍCH CHUỖI THỜI GIAN
• 1.1. Tìm hiểu về Time Series
• 1.2. Tìm hiểu về Deep Learning
• 1.2.1. Các thành phần của Deep Learning
• 1.2.2. Cách thức hoạt động của Deep Learning
• 1.2.3. Một vài mô hình điển hình sử dụng trong Deep Learning
• 1.2.4. Ưu điểm, nhược điểm của Deep Learning
• 1.2.5. Ứng dụng của Deep Learning
• 1.3. Tìm hiểu về công nghệ sử dụng trong dự án
• 1.3.1. Ngôn ngữ Python
• 1.3.2. Mô hình RNN
• 1.3.3. Mô hình LSTM
• 2. CHƯƠNG 2: DỮ LIỆU VÀ MA TRẬN ĐÁNH GIÁ
• 2.1. Chia tệp dữ liệu
• 2.2. Ma trận đánh giá
• 3. CHƯƠNG 3: ĐỀ XUẤT VÀ ĐÁNH GIÁ KẾT QUẢ MÔ HÌNH
• 3.1. Giải thích ý nghĩa của biểu đồ
• 3.2. Đánh giá mô hình
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• Tài liệu tham khảo

Tóm tắt

I. Tổng Quan Về Dự Báo Chuỗi Thời Gian Cho NCKH Python

Dự báo chuỗi thời gian (time series forecasting) là một kỹ thuật quan trọng trong phân tích dữ liệu và khoa học dữ liệu. Nó cho phép dự đoán các sự kiện tương lai dựa trên chuỗi dữ liệu theo thời gian. Kỹ thuật này phân tích xu hướng quá khứ để dự đoán tương lai, giả định rằng các xu hướng này sẽ tiếp tục. Dự báo chuỗi thời gian là một phần quan trọng của học máy và có thể được coi là một bài toán học có giám sát. Các phương pháp học máy như Regression, Neural Networks, Support Vector Machines, Random Forests, và XGBoost đều có thể được áp dụng. Theo (Abbasov & Mamedova, 2003; Tai, 2019), dự báo là dự đoán các vấn đề trong tương lai dựa trên cơ sở nào đó và nó luôn nhận được sự quan tâm của nhiều nhà khoa học và nhà quản lý vì vai trò quan trọng trong thực tế.

1.1. Khái Niệm và Ứng Dụng của Dự Báo Chuỗi Thời Gian

Dự báo chuỗi thời gian (time series forecasting) dự đoán các sự kiện bằng cách phân tích xu hướng trong quá khứ. Nó khác với phân tích chuỗi thời gian, tập trung vào việc tìm kiếm tri thức trong dữ liệu. Dự báo chuỗi thời gian sử dụng kiến thức đó để xây dựng mô hình dự đoán và hướng dẫn các quyết định chiến lược trong tương lai. Ứng dụng trong nhiều lĩnh vực như kinh tế, tài chính, và khoa học. Dữ liệu chuỗi thời gian thường được phân tích để tìm ra các thành phần như xu hướng, tính mùa vụ và yếu tố ngẫu nhiên (nhiễu trắng).

1.2. Tại Sao Dự Báo Chuỗi Thời Gian Quan Trọng trong NCKH Sinh Viên

NCKH sinh viên thường đối mặt với các bài toán thực tế cần dự báo và phân tích xu hướng. Dự báo chuỗi thời gian cung cấp công cụ mạnh mẽ để giải quyết các vấn đề này. Các dự án NCKH có thể sử dụng Python và các thư viện như Pandas, NumPy, và Scikit-learn để xây dựng mô hình dự báo. Kiến thức về dự báo chuỗi thời gian giúp sinh viên phát triển kỹ năng phân tích dữ liệu và áp dụng khoa học dữ liệu vào thực tiễn.

II. Thách Thức Khi Xây Dựng Mô Hình Chuỗi Thời Gian Với Python

Xây dựng mô hình dự báo chuỗi thời gian hiệu quả đòi hỏi kiến thức và kỹ năng nhất định. Một thách thức lớn là xử lý dữ liệu chuỗi thời gian phức tạp, bao gồm tính mùa vụ, tính chu kỳ, và biến động. Việc chọn mô hình phù hợp, chẳng hạn như ARIMA, SARIMA, Prophet, hoặc LSTM, cũng là một thách thức. Quá trình tuning tham số (parameter tuning) để tối ưu hóa hiệu suất mô hình cũng đòi hỏi sự tỉ mỉ. Theo Nghị quyết số 55-NQ/TW, phát triển năng lượng phải gắn liền với bảo vệ môi trường, giảm phát thải khí nhà kính, và thúc đẩy kinh tế tuần hoàn.

2.1. Xử Lý Dữ Liệu Chuỗi Thời Gian Vấn Đề Dữ Liệu Thiếu và Ngoại Lai

Dữ liệu chuỗi thời gian thường chứa các giá trị thiếu (missing value imputation) và các điểm ngoại lai (outliers). Việc xử lý dữ liệu (data preprocessing) là bước quan trọng để đảm bảo chất lượng mô hình. Các phương pháp vệ sinh dữ liệu (data cleaning) như điền giá trị thiếu và loại bỏ điểm ngoại lai cần được áp dụng cẩn thận. Sử dụng các thư viện như Pandas và NumPy trong Python giúp đơn giản hóa quá trình này.

2.2. Chọn Mô Hình Dự Báo Chuỗi Thời Gian Phù Hợp ARIMA SARIMA LSTM

Việc chọn mô hình phù hợp phụ thuộc vào đặc điểm của dữ liệu chuỗi thời gian. Mô hình ARIMA và SARIMA phù hợp cho dữ liệu có tính dừng và tính mùa vụ. Mô hình LSTM thích hợp cho dữ liệu phức tạp và phi tuyến tính. Prophet là lựa chọn tốt cho dữ liệu có tính mùa vụ mạnh mẽ. Cần đánh giá mô hình (validation) kỹ lưỡng để chọn ra mô hình có hiệu suất tốt nhất.

III. Hướng Dẫn Xây Dựng Mô Hình Dự Báo ARIMA Với Python

Mô hình ARIMA (AutoRegressive Integrated Moving Average) là một trong những mô hình dự báo chuỗi thời gian phổ biến nhất. Nó dựa trên giả định rằng chuỗi thời gian là dừng và phương sai sai số không đổi. Mô hình này sử dụng các tín hiệu quá khứ của chuỗi để dự báo. Theo Báo cáo tổng kết đề tài NCKH sinh viên xây dựng mô hình dự báo chuỗi thời gian bằng Python, mô hình sử dụng đầu vào chính là những tín hiệu quá khứ của chuỗi được dự báo, bao gồm chuỗi tự hồi quy AR và chuỗi trung bình trượt MA.

3.1. Kiểm Định Tính Dừng Stationarity Của Chuỗi Thời Gian Với ADF Test

Tính dừng (stationarity) là một yêu cầu quan trọng để áp dụng mô hình ARIMA. Cần thực hiện kiểm định tính dừng (stationarity test) bằng Dickey-Fuller test (ADF test) để xác định xem chuỗi thời gian có dừng hay không. Nếu chuỗi không dừng, cần thực hiện sai phân để chuyển đổi nó thành chuỗi dừng. Sau khi đã chuyển đổi chuỗi thời gian thành chuỗi dừng thì tham số đặc trưng của mô hình sẽ có thêm thành phần bậc của sai phân d và mô hình được đặc tả bởi 3 tham số ARIMA (p, d, q).

3.2. Xác Định Bậc p d q Cho Mô Hình ARIMA Sử Dụng ACF và PACF

Để xác định bậc (p, d, q) cho mô hình ARIMA, cần phân tích biểu đồ ACF và biểu đồ PACF. ACF (Autocorrelation Function) đo lường sự tương quan giữa chuỗi thời gian và chính nó ở các độ trễ khác nhau. PACF (Partial Autocorrelation Function) đo lường sự tương quan riêng phần giữa chuỗi thời gian và chính nó ở các độ trễ khác nhau. Dựa trên các biểu đồ này, có thể xác định các bậc phù hợp cho mô hình.

3.3. Triển Khai Mô Hình ARIMA Trong Python và Đánh Giá Kết Quả

Sử dụng thư viện statsmodels trong Python để triển khai mô hình ARIMA. Huấn luyện mô hình trên dữ liệu lịch sử và đánh giá hiệu suất trên dữ liệu kiểm tra. Các chỉ số đánh giá như RMSE (Root Mean Squared Error) và MAPE (Mean Absolute Percentage Error) được sử dụng để đo lường độ chính xác của mô hình. Điều chỉnh tham số để tối ưu hóa hiệu suất mô hình.

IV. Hướng Dẫn Xây Dựng Mô Hình LSTM Với Python Cho Chuỗi Thời Gian

Mô hình LSTM (Long Short-Term Memory) là một loại mạng nơ-ron hồi quy (RNN) đặc biệt phù hợp cho dự báo chuỗi thời gian. Nó có khả năng học được các thông tin và ràng buộc trong khoảng thời gian dài. Mô hình LSTM xử lý các dữ liệu chuỗi thời gian rất hiệu quả. Theo Báo cáo, mạng LSTM là một dạng đặc biệt của RNN, với cấu trúc gồm các cổng có khả năng ghi nhớ và học được các thông tin và ràng buộc trong khoảng thời gian dài mà không cần bất kỳ sự can thiệp nào.

4.1. Chuẩn Bị Dữ Liệu Cho Mô Hình LSTM Scaling và Reshaping

Dữ liệu cần được chuẩn hóa bằng cách scaling để có giá trị từ 0 đến 1. Reshape dữ liệu thành định dạng phù hợp với mô hình LSTM. Chia dữ liệu thành tập huấn luyện và tập kiểm tra. Sử dụng thư viện Scikit-learn để thực hiện scaling và reshaping dữ liệu. Scaling giúp cải thiện hiệu suất của mô hình LSTM.

4.2. Xây Dựng và Huấn Luyện Mô Hình LSTM Với TensorFlow Keras

Sử dụng TensorFlow và Keras để xây dựng mô hình LSTM. Thiết kế kiến trúc mạng LSTM với các lớp LSTM và các lớp Dense. Chọn hàm mất mát và thuật toán tối ưu hóa phù hợp. Huấn luyện mô hình trên tập huấn luyện và đánh giá hiệu suất trên tập kiểm tra. Theo Hình 0-2 trong tài liệu, mô hình LSTM có kiến trúc dạng chuỗi, nhưng các mô-đun bên trong phức tạp hơn RNN. Thay vì chỉ có một tầng mạng nơ-ron, chúng có tới 4 tầng tương tác với nhau.

4.3. Đánh Giá và Tinh Chỉnh Mô Hình LSTM Để Tối Ưu Hiệu Suất

Sử dụng các chỉ số đánh giá như RMSE và MAPE để đo lường độ chính xác của mô hình LSTM. Tinh chỉnh các tham số của mô hình như số lượng lớp LSTM, số lượng nơ-ron, và tốc độ học để tối ưu hóa hiệu suất. Sử dụng các kỹ thuật như dropout và early stopping để tránh overfitting.

V. Ứng Dụng Thực Tiễn Dự Báo Tiêu Thụ Năng Lượng Với Python

Dự báo chuỗi thời gian có nhiều ứng dụng thực tiễn quan trọng. Một ví dụ điển hình là dự báo tiêu thụ năng lượng. Việc dự đoán nhu cầu tiêu thụ năng lượng giúp các nhà quản lý và chính phủ đưa ra các quyết định chiến lược về cung cấp năng lượng. Mô hình dự báo có thể sử dụng dữ liệu lịch sử về tiêu thụ năng lượng, các yếu tố kinh tế, và yếu tố thời tiết. Theo Báo cáo, trong cuộc cách mạng công nghệ 4.0, trí tuệ nhân tạo (AI) đang trở thành xu hướng toàn cầu và được ứng dụng phổ biến trong mọi ngành nghề, lĩnh vực, tổ chức, doanh nghiệp.

5.1. Thu Thập và Chuẩn Hóa Dữ Liệu Tiêu Thụ Năng Lượng

Thu thập dữ liệu lịch sử về tiêu thụ năng lượng từ các nguồn đáng tin cậy. Chuẩn hóa dữ liệu bằng cách loại bỏ các giá trị thiếu và điểm ngoại lai. Biến đổi dữ liệu để phù hợp với mô hình dự báo. Sử dụng các thư viện Python như Pandas và NumPy để thực hiện các thao tác này.

5.2. Xây Dựng Mô Hình Dự Báo Tiêu Thụ Năng Lượng Sử Dụng LSTM

Sử dụng mô hình LSTM để dự báo tiêu thụ năng lượng. Huấn luyện mô hình trên dữ liệu lịch sử và đánh giá hiệu suất trên dữ liệu kiểm tra. Điều chỉnh tham số của mô hình để tối ưu hóa độ chính xác. Visualize kết quả dự báo để hiểu rõ hơn về xu hướng tiêu thụ năng lượng. Tham khảo Hình 3-3 đến Hình 3-9 trong tài liệu để xem các biểu đồ kết quả dự đoán.

5.3. Phân Tích Kết Quả Dự Báo và Đưa Ra Các Quyết Định Chiến Lược

Phân tích kết quả dự báo để xác định các xu hướng tiêu thụ năng lượng. Đưa ra các quyết định chiến lược về cung cấp năng lượng dựa trên kết quả dự báo. Sử dụng kết quả dự báo để lập kế hoạch đầu tư vào các nguồn năng lượng mới. Sử dụng kết quả dự báo để khuyến khích sử dụng năng lượng tiết kiệm và hiệu quả.

VI. Kết Luận và Hướng Phát Triển Cho Dự Báo Chuỗi Thời Gian

Dự báo chuỗi thời gian là một lĩnh vực quan trọng và đầy tiềm năng. Các mô hình ARIMA và LSTM là những công cụ mạnh mẽ để dự báo các sự kiện tương lai. Các ứng dụng thực tiễn của dự báo chuỗi thời gian rất đa dạng và quan trọng. Trong tương lai, cần tiếp tục nghiên cứu và phát triển các mô hình dự báo mới và hiệu quả hơn.

6.1. Tổng Kết Những Điểm Quan Trọng Về Dự Báo Chuỗi Thời Gian Với Python

Dự báo chuỗi thời gian là một công cụ quan trọng cho NCKH sinh viên và các chuyên gia khoa học dữ liệu. Python cung cấp các thư viện mạnh mẽ để xây dựng mô hình dự báo. Cần nắm vững các khái niệm cơ bản và kỹ thuật xử lý dữ liệu để xây dựng mô hình hiệu quả. Cần liên tục đánh giá mô hình và tuning tham số để tối ưu hóa hiệu suất.

6.2. Hướng Phát Triển Nghiên Cứu Trong Lĩnh Vực Dự Báo Chuỗi Thời Gian

Nghiên cứu và phát triển các mô hình dự báo chuỗi thời gian mới và hiệu quả hơn. Áp dụng các kỹ thuật học sâu tiên tiến như Transformer cho dự báo chuỗi thời gian. Tích hợp các nguồn dữ liệu khác nhau để cải thiện độ chính xác của dự báo. Nghiên cứu các ứng dụng mới của dự báo chuỗi thời gian trong các lĩnh vực khác nhau.

Nội dung chính

Dự Báo Chuỗi Thời Gian với Python: Ứng Dụng Mô Hình Học Sâu Trong Quản Lý Tiêu Thụ Năng Lượng

Tóm tắt nghiên cứu (Research Summary)

• Câu hỏi nghiên cứu chính (Research Question): Làm thế nào để xây dựng và triển khai một quy trình dự báo chuỗi thời gian phi tuyến, đa biến chính xác cao dựa trên các kiến trúc mạng nơ-ron học sâu (Deep Learning) bằng ngôn ngữ Python, nhằm giải quyết bài toán dự báo phụ tải tiêu thụ năng lượng đô thị?
• Phương pháp nghiên cứu (Methodology Snapshot): Đề tài tiến hành phân tích, tiền xử lý và mô hình hóa tập dữ liệu chuỗi thời gian đa biến gồm 52.416 bản ghi đo đạc từ thành phố Tetuan. Nghiên cứu hiện thực hóa và so sánh hai kiến trúc học sâu kinh điển là Mạng nơ-ron hồi quy (Recurrent Neural Network - RNN) và Mạng bộ nhớ ngắn-dài hạn (Long Short-Term Memory - LSTM) trên nền tảng Python (sử dụng thư viện TensorFlow/Keras, Scikit-learn, Pandas).
• Kết quả chính (Key Findings): Mô hình LSTM thể hiện sự vượt trội rõ rệt so với RNN truyền thống trong việc học các phụ thuộc dài hạn và xử lý dữ liệu chuỗi thời gian có tính mùa vụ phức tạp. Với việc giải quyết hiệu quả hiện tượng triệt tiêu gradient (vanishing gradient), mô hình LSTM đạt sai số phần trăm tuyệt đối trung bình (MAPE) ở mức tối ưu ~10,8%, phản ánh độ bám sát cao giữa giá trị dự báo và mức tiêu thụ thực tế.
• Hàm ý thực tiễn (Implications): Kết quả nghiên cứu cung cấp một giải pháp công nghệ mã nguồn mở khả thi, có khả năng tích hợp vào các hệ thống quản lý năng lượng thông minh (EMS), hỗ trợ các đơn vị vận hành lưới điện tối ưu hóa phân phối tải và đảm bảo an ninh năng lượng.

---

Bối cảnh và tầm quan trọng (Context & Significance)

Hiện trạng tri thức và bối cảnh tiêu thụ năng lượng

Năng lượng là huyết mạch của mọi nền kinh tế hiện đại. Theo các báo cáo thống kê năng lượng toàn cầu giai đoạn 2011–2021, tổng mức tiêu thụ năng lượng sơ cấp toàn cầu tăng trưởng bình quân 1,3%/năm, trong đó khu vực Châu Á - Thái Bình Dương chiếm tỷ trọng cao nhất (45,8% vào năm 2021). Tại Việt Nam, tốc độ tăng trưởng tiêu thụ năng lượng sơ cấp đạt mức bình quân 7,2%/năm – thuộc nhóm cao hàng đầu thế giới.

Đứng trước sức ép gia tăng dân số, đô thị hóa và yêu cầu công nghiệp hóa, bài toán cân đối cung – cầu và đảm bảo an ninh năng lượng quốc gia trở thành ưu tiên chiến lược. Nghị quyết số 55-NQ/TW của Bộ Chính trị đã nhấn mạnh định hướng phát triển năng lượng gắn liền với bảo vệ môi trường, giảm phát thải và phát triển bền vững.

                  ┌────────────────────────────────────────┐
                  │ Dữ liệu tiêu thụ năng lượng đô thị     │
                  │ (52.416 dòng: Khí tượng & 3 Vùng điện) │
                  └──────────────────┬─────────────────────┘
                                     │
                         [ Tiền xử lý & Khám phá ]
                                     │
                  ┌──────────────────┴─────────────────────┐
                  ▼                                        ▼
      ┌───────────────────────┐                ┌───────────────────────┐
      │   Kiến trúc mạng RNN  │                │  Kiến trúc mạng LSTM  │
      │ (Gặp Vanishing Grad)  │                │ (3 Cổng: Forget/In/Out)│
      └───────────┬───────────┘                └───────────┬───────────┘
                  │                                        │
                  └──────────────────┬─────────────────────┘
                                     │
                   [ Đánh giá kiểm thử: RMSE & MAPE ]
                                     │
                  ┌──────────────────▼─────────────────────┐
                  │ LSTM đạt hiệu năng vượt trội (~10.8%)  │
                  │ Khả năng ghi nhớ phụ thuộc dài hạn     │
                  └────────────────────────────────────────┘

Khoảng trống nghiên cứu (Research Gap)

Các phương pháp dự báo chuỗi thời gian truyền thống như ARIMA, SARIMA, ARIMAX hay GARCH phụ thuộc chặt chẽ vào các giả định toán học nghiêm ngặt: tính dừng của chuỗi dữ liệu (stationarity), quan hệ tuyến tính và phương sai sai số không đổi. Tuy nhiên, trong thực tế:

• Dữ liệu phụ tải điện bị chi phối bởi các quy luật phi tuyến phức tạp.
• Dữ liệu chứa đựng nhiều thành phần biến động bất thường (irregular noise) và sự tác động đa chiều từ các yếu tố thời tiết (nhiệt độ, bức xạ, tốc độ gió).
• Các mô hình hồi quy tuyến tính cổ điển bộc lộ rõ sự bất lực trong việc nắm bắt các phụ thuộc dài hạn và các mẫu hình phi tuyến tính này.

Tính cấp thiết và tác động tiềm năng

Sự phát triển của Trí tuệ nhân tạo (AI) và Học sâu (Deep Learning) mở ra khả năng tự động trích xuất các đặc trưng phi tuyến từ tập dữ liệu lớn. Việc phát triển mô hình học sâu chuyên biệt trên môi trường Python giúp nâng cao độ chính xác dự báo, hỗ trợ việc lập kế hoạch vận hành hệ thống điện thông minh, giảm thiểu rủi ro thiếu hụt công suất và cắt giảm lãng phí nhiên liệu vận hành.

---

Phương pháp luận và cách tiếp cận (Methodology & Approach)

Thiết kế nghiên cứu (Research Design)

Nghiên cứu ứng dụng quy trình khoa học dữ liệu khép kín (End-to-End Pipeline) bao gồm các pha:

1. Thu thập và làm sạch dữ liệu chuỗi thời gian.
2. Phân rã chuỗi thời gian thành 4 thành phần cơ bản: Xu hướng (Trend), Mùa vụ (Seasonality), Chu kỳ (Cyclical) và Yếu tố bất thường/Nhiễu trắng (Irregular remainder).
3. Thiết lập không gian thuộc tính và tiền xử lý (chuẩn hóa dữ liệu, trích xuất cửa sổ trượt).
4. Xây dựng, huấn luyện và tinh chỉnh các siêu tham số (hyperparameters) cho các mô hình nơ-ron hồi quy.
5. Kiểm thử mô hình trên tập dữ liệu độc lập và đối soát hiệu năng qua các thước đo thống kê.

             ┌────────────────────────────────────────────────────────┐
             │                     LSTM Cell                        │
             │                                                        │
             │   c_{t-1} ───────( X )──────────────────(+)────► c_t   │
             │                    ▲                     ▲             │
             │                    │                     │             │
             │               [f_t: Forget]         [i_t * ~c_t]       │
             │                    │                     │             │
             │   h_{t-1} ──┬──────┴────────┬────────────┴───────┐     │
             │             │               │                    │     │
             │             │               ▼                 [o_t]    │
             │             │          [i_t: Input]              │     │
             │             │                                    ▼     │
             │   x_t ──────┴──────────────────────────────────( X )───► h_t
             │                                                  │     │
             │                                                tanh    │
             └────────────────────────────────────────────────────────┘

Dữ liệu nghiên cứu (Data Description)

Đề tài sử dụng bộ dữ liệu thực tế Tetuan City Power Consumption (Maroc) với các đặc tính kỹ thuật:

• Quy mô: 52.416 dòng dữ liệu chu kỳ 10 phút, kích thước khoảng 3,6 MB.
• Không gian thuộc tính (Features): Bao gồm nhãn thời gian (DateTime), các thông số khí tượng tác động (Wind Speed, General Diffuse Flows, Diffuse Flows) và phụ tải tiêu thụ tại ba vùng điện riêng biệt (Zone 1, Zone 2, Zone 3 Power Consumption).
• Phân chia dữ liệu: Tách tập dữ liệu theo tỷ lệ chuẩn $80:20$ (80% Training Set để tối ưu hóa trọng số, 20% Testing Set để đánh giá độ thích nghi trên dữ liệu chưa từng quan sát).

Kiến trúc mô hình Deep Learning

• Mô hình RNN (Recurrent Neural Network): Sử dụng các kết nối vòng lặp cho phép thông tin truyền qua các bước thời gian. Tuy nhiên, khi lan truyền ngược qua thời gian (BPTT), tích của các ma trận trọng số đạo hàm làm gradient bị suy giảm theo hàm mũ, dẫn tới hiện tượng mất mát trí nhớ dài hạn (short-term memory problem).
• Mô hình LSTM (Long Short-Term Memory): Bổ sung cấu trúc Cell State ($c_t$) đóng vai trò như "băng chuyền thông tin" chạy xuyên suốt chuỗi thời gian, kết hợp hệ thống 3 cổng điều khiển: $$\text{Cổng quên (Forget Gate): } f_t = \sigma(U_f x_t + W_f h_{t-1} + b_f)$$ $$\text{Cổng đầu vào (Input Gate): } i_t = \sigma(U_i x_t + W_i h_{t-1} + b_i)$$ $$\text{Cập nhật trạng thái ô: } c_t = f_t \odot c_{t-1} + i_t \odot \tanh(U_c x_t + W_c h_{t-1} + b_c)$$ $$\text{Cổng đầu ra (Output Gate): } o_t = \sigma(U_o x_t + W_o h_{t-1} + b_o)$$ $$\text{Trạng thái ẩn đầu ra: } h_t = o_t \odot \tanh(c_t)$$

Ma trận và tiêu chuẩn đánh giá

Hiệu năng dự báo được định lượng thông qua hai chỉ số thống kê chuẩn mực:

1. Căn bậc hai sai số bình phương trung bình (RMSE - Root Mean Squared Error): $$\text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (\hat{y}_i - y_i)^2}$$
2. Sai số phần trăm tuyệt đối trung bình (MAPE - Mean Absolute Percentage Error): $$\text{MAPE} = \frac{1}{n} \sum_{i=1}^{n} \left| \frac{\hat{y}_i - y_i}{y_i} \right| \times 100%$$

---

Phát hiện chính và Thảo luận (Key Findings & Discussion)

Tiêu chí so sánh	Mô hình RNN truyền thống	Mô hình LSTM đề xuất
Cơ chế lưu trữ trạng thái	Ẩn đơn tầng (Single Hidden State)	Trạng thái tế bào kép ($c_t$ & $h_t$)
Xử lý chuỗi phụ thuộc dài	Kém (Bị triệt tiêu Gradient)	Rất tốt (Nhờ các cổng điều khiển)
Độ ổn định huấn luyện (Loss)	Dễ dao động, chậm hội tụ	Mượt mà, hội tụ nhanh
Sai số MAPE trên tập Test	$> 16,5%$	$\approx 10,8%$
Khả năng bám đỉnh/đáy tải	Chậm pha, sai số biên độ lớn	Bám sát nhịp độ tiêu thụ thực tế

1. Khả năng ghi nhớ phụ thuộc dài hạn vượt trội của LSTM

Khi huấn luyện trên chuỗi thời gian dài hạn của dữ liệu tiêu thụ điện, mạng RNN truyền thống nhanh chóng gặp giới hạn do hiện tượng vanishing gradient khi tính toán đạo hàm chuỗi qua nhiều bước thời gian.

Ngược lại, kiến trúc tế bào của LSTM cho phép duy trì thông tin qua hàng trăm bước thời gian nhờ cổng quên ($f_t$) và đường truyền trạng thái tuyến tính. Điều này giúp mô hình nhận diện chính xác tính tuần hoàn lặp lại theo ngày và theo tuần của hành vi tiêu thụ điện đô thị.

2. Độ chính xác dự báo cao và sai số MAPE tối ưu

Trên tập kiểm thử (Test set), mô hình LSTM đạt mức sai số MAPE ấn tượng xấp xỉ 10,8%. Phân tích định tính trên các biểu đồ dự đoán cho thấy:

• Đường giá trị dự báo ($\hat{y}$) gần như trùng khít với đường giá trị thực tế ($y$) ở hầu hết các khung giờ cao điểm (peak hours) và thấp điểm (off-peak hours).
• Biên độ sai lệch giữa dự báo và thực tế được duy trì ở mức ổn định, không xuất hiện hiện tượng trôi dạt sai số tích lũy (error drift).

3. Khả năng học biểu diễn từ dữ liệu đa biến ngoại sinh

Các thử nghiệm cho thấy việc đưa thêm các biến môi trường như tốc độ gió và thông lượng khuếch tán vào không gian đầu vào đã cải thiện đáng kể khả năng xấp xỉ của mô hình so với các phương pháp đơn biến. Các cổng tiếp nhận của LSTM đã tự động gán trọng số thích nghi cho từng nhân tố môi trường tương ứng với từng trạng thái phụ tải.

4. Tính ổn định và khả năng tổng quát hóa

Đồ thị hàm mất mát (loss function curve) trong quá trình huấn luyện mô hình LSTM giảm đều đặn và hội tụ ổn định trên cả tập Train lẫn tập Validation. Việc áp dụng các kỹ thuật tiền xử lý thích hợp kết hợp chuẩn hóa dữ liệu đầu vào đã ngăn chặn hiệu quả hiện tượng quá khớp (overfitting), đảm bảo tính tổng quát hóa cao khi áp dụng vào các kịch bản phụ tải mới.

---

Đóng góp khoa học và giá trị thực tiễn (Scientific & Practical Contributions)

Đóng góp về mặt lý thuyết và phương pháp luận

• Hệ thống hóa lý thuyết học sâu cho chuỗi thời gian: Tổng hợp và phân tích toàn diện quá trình tiến hóa của các kiến trúc học máy từ ARIMA, SARIMA đến các mô hình mạng nơ-ron phức tạp như RNN, LSTM, GRU.
• Quy trình chuẩn mực trên môi trường Python: Xây dựng một framework thực nghiệm hoàn chỉnh, có khả năng tái lập (reproducible), kết hợp tối ưu giữa các thư viện tính toán khoa học (numpy, pandas) và học sâu (tensorflow/keras).

Đóng góp thực tiễn và ứng dụng công nghiệp

• Hỗ trợ vận hành lưới điện thông minh (Smart Grid): Cung cấp công cụ dự báo phụ tải ngắn và trung hạn đáng tin cậy cho các kỹ sư điều độ, giúp tối ưu hóa kế hoạch huy động nguồn phát (nhiệt điện, thủy điện, năng lượng tái tạo).
• Tiết kiệm chi phí và nâng cao an toàn hệ thống: Việc dự báo chính xác giúp giảm thiểu chi phí dự phòng quay (spinning reserve) và hạn chế nguy cơ quá tải đường dây truyền tải.

Hàm ý chính sách và chiến lược năng lượng

• Nghiên cứu là minh chứng kỹ thuật rõ ràng cho thấy tính khả thi của việc ứng dụng công nghệ số và trí tuệ nhân tạo nhằm thực thi Nghị quyết số 55-NQ/TW, hướng tới việc hiện đại hóa ngành năng lượng Việt Nam, đảm bảo an ninh năng lượng và phát triển kinh tế các-bon thấp.

---

Đối tượng quan tâm và Giá trị mang lại (Target Audience & Benefits)

• Nhà nghiên cứu học thuật và Giảng viên (Academic Researchers): Tài liệu tham khảo hữu ích về việc áp dụng kiến trúc LSTM giải quyết bài toán chuỗi thời gian phi tuyến đa biến; cung cấp cơ sở đối sánh cho các nghiên cứu phát triển mô hình lai (Hybrid Models).
• Kỹ sư Khoa học Dữ liệu và AI (Data Scientists / ML Engineers): Mã nguồn, cấu trúc tiền xử lý và chiến lược thiết kế mạng nơ-ron thực chiến bằng Python, có thể tùy biến nhanh chóng cho các bài toán dự báo trong các lĩnh vực khác (tài chính, logistic, khí tượng).
• Chuyên gia quản lý và Kỹ sư điều độ năng lượng (Energy Planners & Grid Operators): Giải pháp chuyển đổi số có khả năng tích hợp trực tiếp vào hệ thống SCADA/EMS nhằm tự động hóa quy trình phân tích và giám sát tiêu thụ điện.

---

Câu hỏi thường gặp (FAQ)

1. Phát hiện quan trọng nhất của đề tài nghiên cứu này là gì?

Trả lời: Phát hiện quan trọng nhất là việc chứng minh tính vượt trội vượt bậc của mô hình LSTM so với RNN truyền thống trong bài toán dự báo chuỗi thời gian tiêu thụ năng lượng đa biến. Mô hình LSTM đạt sai số MAPE ấn tượng chỉ ~10,8% nhờ khả năng giải quyết triệt để vấn đề mất mát gradient và ghi nhớ các phụ thuộc dài hạn.

2. Phương pháp luận (Methodology) của đề tài có điểm gì đặc biệt?

Trả lời: Nghiên cứu áp dụng quy trình phân tích dữ liệu đa biến đồng thời, kết hợp các yếu tố khí tượng (gió, bức xạ khuếch tán) cùng chuỗi tiêu thụ điện đa vùng. Đồng thời, nghiên cứu triển khai quy trình đánh giá nghiêm ngặt trên tập dữ liệu kiểm tra độc lập (20%) bằng các chỉ số chuẩn hóa RMSE và MAPE trên nền tảng Python/TensorFlow.

3. Kết quả mô hình có khả năng tổng quát hóa (Generalize) cho các đô thị khác không?

Trả lời: Hoàn toàn có thể. Quy trình tiền xử lý, trích xuất đặc trưng và kiến trúc mô hình LSTM được thiết kế dưới dạng module chuẩn hóa. Do đó, mô hình có thể dễ dàng tái huấn luyện (re-train) hoặc áp dụng kỹ thuật Transfer Learning trên tập dữ liệu phụ tải của các đô thị hoặc khu công nghiệp khác tại Việt Nam.

4. Những bước phát triển tiếp theo (Next Steps) của nghiên cứu là gì?

Trả lời: Hướng nghiên cứu tiếp theo sẽ tập trung vào việc thử nghiệm các kiến trúc tiên tiến hơn như Attention Mechanism, Temporal Fusion Transformer (TFT), cũng như xây dựng các mô hình lai (CNN-LSTM, Wavelet-LSTM) và tối ưu hóa thời gian thực trên các thiết bị tính toán biên (Edge AI).

5. Ứng dụng thực tế tức thì (Practical Applications) của nghiên cứu là gì?

Trả lời: Mô hình có thể triển khai ngay thành một Microservice trong hệ thống quản lý tòa nhà thông minh (BEMS) hoặc hệ thống quản lý năng lượng doanh nghiệp (EMS) nhằm tự động lập lịch tiêu thụ điện, cảnh báo phụ tải đỉnh và tối ưu chi phí tiền điện theo biểu giá giờ cao điểm/thấp điểm.

---

Kết luận (Conclusion)

Đề tài nghiên cứu khoa học "Xây dựng mô hình dự báo chuỗi thời gian bằng Python" của nhóm tác giả Trường Đại học Mỏ - Địa chất đã giải quyết thành công bài toán dự báo phụ tải tiêu thụ năng lượng đô thị bằng các kỹ thuật học sâu hiện đại. Bằng việc chứng minh hiệu năng vượt trội của mô hình LSTM với độ chính xác cao (MAPE ~10,8%), nghiên cứu đã đóng góp cả về mặt lý luận phương pháp lẫn giá trị ứng dụng thực tiễn cho ngành năng lượng số.

Trong tương lai, việc tích hợp mô hình với các luồng dữ liệu cảm biến IoT thời gian thực và khai thác các kiến trúc Transformer hứa hẹn sẽ nâng cao hơn nữa độ chính xác và tính thích nghi của hệ thống.

[!TIP] Hành động đề xuất: Các đơn vị vận hành lưới điện và doanh nghiệp công nghiệp có thể áp dụng ngay framework mã nguồn mở này vào hạ tầng quản lý dữ liệu hiện hữu để nâng cao năng lực dự báo và tối ưu hóa bài toán sử dụng năng lượng tiết kiệm, hiệu quả.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 MÔ HÌNH HỌC SÂU TRONG DỰ BÁO PHÂN TÍCH CHUỖI THỜI GIAN 1.1 Tìm hiểu về Time Series Time series là một loại dữ liệu thống kê thu thập theo thời gian. Nó bao gồm các giá trị được ghi lại trong các khoảng thời gian cố định hoặc không đều. Time series thường được sử dụng để nghiên cứu và phân tích các xu hướng, mô hình hóa các quá trình thời gian, và dự đoán các giá trị trong tương lai. Trong Time-series Data, có hai loại chính: • Chuỗi thời gian thông thường (regular time series), loại thông thường được gọi là số liệu.

• Chuỗi thời gian bất thường (events) là những sự kiện. Một dữ liệu chuỗi thời gian thường được phân rã thành 4 thành phần con sau: • Xu hướng (Trend): thành phần này chỉ ra xu hướng tổng quan của dữ liệu theo thời gian: lên hoặc xuống, tăng hoặc giảm. • Mùa vụ (seasonality): thành phần chỉ ra các xu hướng theo mùa, theo tháng, theo quý. • Yếu tố bất thường (Irregular remainder): hay còn gọi là nhiễu trắng (white noise) thành phần nhiễu còn lại sau khi trích xuất hết các thành phần ở trên, nó chỉ ra sự bất thường của các điểm dữ liệu.

12 Hình 1-1 Các thành phần của Time Series 1.2 Tìm hiểu về Deep Learning Các dấu mốc quan trọng của DeepLearning: Hình 1-2 Những dấu mốc quan trọng của Deep Learning - Perceptron (60s) Một trong những nền móng đầu tiên của neural network và deep learning là perceptron learning algorithm (hoặc gọn là perceptron). Perceptron là một thuật toán supervised learning giúp giải quyết bài toán phân lớp nhị phân, được khởi nguồn bởi 13 Frank Rosenblatt năm 1957 trong một nghiên cứu được tài trợ bởi Văn phòng nghiên cứu hải quân Hoa Kỳ (U.S Office of Naval Research – từ một cơ quan liên quan đến quân sự). Thuật toán perceptron được chứng minh là hội tụ nếu hai lớp dữ liệu là linearly separable. Với thành công này, năm 1958, trong một hội thảo, Rosenblatt đã có một phát biểu gây tranh cãi.

Từ phát biểu này, tờ New York Times đã có một bài báo cho rằng perceptron được Hải quân Hoa Kỳ mong đợi “có thể đi, nói chuyện, nhìn, viết, tự sinh sản, và tự nhận thức được sự tồn tại của mình”. Mặc dù thuật toán này mang lại nhiều kỳ vọng, nó nhanh chóng được chứng minh không thể giải quyết những bài toán đơn giản. Năm 1969, Marvin Minsky và Seymour Papert trong cuốn sách nổi tiếng Perceptrons đã chứng minh rằng không thể ‘học’ được hàm số XOR khi sử dụng perceptron. Phát hiện này làm choáng váng giới khoa học thời gian đó (bây giờ chúng ta thấy việc này khá hiển nhiên).

Perceptron được chứng minh rằng chỉ hoạt động nếu dữ liệu là linearly separable. Phát hiện này khiến cho các nghiên cứu về perceptron bị gián đoạn gần 20 năm. Thời kỳ này còn được gọi là Mùa đông AI thứ nhất (The First AI winter). - MLP và Backpropagation ra đời (80s) Geoffrey Hinton tốt nghiệp PhD ngành neural networks năm 1978.

Năm 1986, ông cùng với hai tác giả khác xuất bản một bài báo khoa học trên Nature với tựa đề “Learning representations by back-propagating errors”. Trong bài báo này, nhóm của ông chứng minh rằng neural nets với nhiều hidden layer (được gọi là multi-layer perceptron hoặc MLP) có thể được huấn luyện một cách hiệu quả dựa trên một quy trình đơn giản được gọi là backpropagation (backpropagation là tên gọi mỹ miều của quy tắc chuỗi – chain rule – trong tính đạo hàm. Việc tính được đạo hàm của hàm số phức tạp mô tả quan hệ giữa đầu vào và đầu ra của một neural net là rất quan trọng vì hầu hết các thuật toán tối ưu đều được thực hiện thông qua việc tính đạo hàm, gradient descent là một ví dụ). Việc này giúp neural nets thoát được những hạn chế của perceptron về việc chỉ biểu diễn được các quan hệ tuyến tính.

Để biểu diễn các quan hệ phi tuyến, phía sau mỗi layer là một hàm kích hoạt phi tuyến, ví dụ hàm sigmoid hoặc 14 tanh. Với hidden layers, neural nets được chứng minh rằng có khả năng xấp xỉ hầu hết bất kỳ hàm số nào qua một định lý được gọi là universal approximation theorem. Neurel nets quay trở lại cuộc chơi. Thuật toán này mang lại một vài thành công ban đầu, nổi trội là convolutional neural nets (convnets hay CNN) (còn được gọi là LeNet) cho bài toán nhận dạng chữ số viết tay được khởi nguồn bởi Yann LeCun tại AT&T Bell Labs (Yann LeCun là sinh viên sau cao học của Hinton tại đại học Toronto năm 1987-1988).

Dưới đây là bản demo được lấy từ trang web của LeNet, network là một CNN với 5 layer, còn được gọi là LeNet-5 (1998). Mô hình này được sử dụng rộng rãi trong các hệ thống đọc số viết tay trên các check (séc ngân hàng) và mã vùng bưu điện của nước Mỹ. LeNet là thuật toán tốt nhất thời gian đó cho bài toán nhận dạng ảnh chữ số viết tay. Nó tốt hơn MLP thông thường (với fully connected layer) vì nó có khả năng trích xuất được đặc trưng trong không gian hai chiều của ảnh thông qua các filters (bộ lọc) hai chiều.

Hơn nữa, các filter này nhỏ nên việc lưu trữ và tính toán cũng tốt hơn so với MLP thông thường. - Mùa đông AI thứ hai (90s - đầu 2000s) Các mô hình tương tự được kỳ vọng sẽ giải quyết nhiều bài toán image classification khác. Tuy nhiên, không như các chữ số, các loại ảnh khác lại rất hạn chế vì máy ảnh số chưa phổ biến tại thời điểm đó. Ảnh được gán nhãn lại càng hiếm.

Trong khi để có thể huấn luyện được mô hình convnets, ta cần rất nhiều dữ liệu huấn luyện. Ngay cả khi dữ liệu có đủ, một vấn đề nan giải khác là khả năng tính toán của các máy tính thời đó còn rất hạn chế. Một hạn chế khác của các kiến trúc MLP nói chung là hàm mất mát không phải là một hàm lồi. Việc này khiến cho việc tìm nghiệm tối ưu toàn cục cho bài toán tối ưu hàm mất mát trở nên rất khó khăn.

Một vấn đề khác liên quan đến giới hạn tính toán của máy tính cũng khiến cho việc huấn luyện MLP không hiệu quả khi số lượng hidden layers lớn lên. Vấn đề này có tên là vanishing gradient. 15 Nhắc lại rằng hàm kích hoạt được sử dụng thời gian đó là sigmoid hoặc tanh – là các hàm bị chặn trong khoảng (0, 1) hoặc (-1, 1) (Nhắc lại đạo hàm của hàm sigmoid là tích của hai số nhỏ hơn 1). Khi sử dụng backpropagation để tính đạo hàm cho các ma trận hệ số ở các lớp đầu tiên, ta cần phải nhân rất nhiều các giá trị nhỏ hơn 1 với nhau.

Việc này khiến cho nhiều đạo hàm thành phần bằng 0 do xấp xỉ tính toán. Khi đạo hàm của một thành phần bằng 0, nó sẽ không được cập nhật thông qua gradient descent! Những hạn chế này khiến cho neural nets một lần nữa rơi vào thời kỳ băng giá. Vào thời điểm những năm 1990 và đầu những năm 2000, neural nets dần được thay thế bởi support vector machines –SVM. SVMs có ưu điểm là bài toán tối ưu để tìm các tham số của nó là một bài toán lồi – có nhiều các thuật toán tối ưu hiệu quả giúp tìm nghiệm của nó.

Các kỹ thuật về kernel cũng phát triển giúp SVMs giải quyết được cả các vấn đề về việc dữ liệu không phân biệt tuyến tính. Nhiều nhà khoa học làm machine learning chuyển sang nghiên cứu SVM trong thời gian đó, trừ một vài nhà khoa học cứng đầu… - Cái tên được làm mới – Deep Learning (2006) Năm 2006, Hinton một lần nữa cho rằng ông biết bộ não hoạt động như thế nào, và giới thiệu ý tưởng của tiền huấn luyện không giám sát (unsupervised pretraining) thông qua deep belief nets (DBN). DBN có thể được xem như sự xếp chồng các unsupervised networks đơn giản như restricted Boltzman machine hay autoencoders. Lấy ví dụ với autoencoder.

Mỗi autoencoder là một neural net với một hidden layer. Số hidden unit ít hơn số input unit, và số output unit bằng với số input unit. Network này đơn giản được huấn luyện để kết quả ở output layer giống với kết quả ở input layer (và vì vậy được gọi là autoencoder). Quá trình dữ liệu đi từ input layer tới hidden layer có thể coi là mã hoá, quá trình dữ liệu đi từ hidden layer ra output layer có thể được coi là giải mã.

Khi output giống với input, ta có thể thấy rằng hidden layer với ít unit hơn có để mã hoá input khá thành công, và có thể được coi mang những tính chất của input. Nếu ta bỏ output layer, cố định (freeze) kết nối giữa input và hidden layer, coi đầu ra của hidden layer là một input mới, sau đó huấn luyện một 16 autoencoder khác, ta được thêm một hidden layer nữa. Quá trình này tiếp tục kéo dài ta sẽ được một network đủ sâu mà output của network lớn này (chính là hidden layer của autoencoder cuối cùng) mang thông tin của input ban đầu. Sau đó ta có thể thêm các layer khác tuỳ thuộc vào bài toán (chẳng hạn thêm softmax layer ở cuối cho bài toán classification).

Cả network được huấn luyện thêm một vài epoch nữa. Quá trình này được gọi là tinh chỉnh (fine tuning). Tại sao quá trình huấn luyện như trên mang lại nhiều lợi ích? Một trong những hạn chế đã đề cập của MLP là vấn đề vanishing gradient. Những ma trận trọng số ứng với các layer đầu của network rất khó được huấn luyện vì đạo hàm của hàm mất mát theo các ma trận này nhỏ.

Với ý tưởng của DBN, các ma trận trọng số ở những hidden layer đầu tiên được tiền huấn luyện (pretrained). Các trọng số được tiền huấn luyện này có thể coi là giá trị khởi tạo tốt cho các hidden layer phía đầu. Việc này giúp phần nào tránh được sự phiền hà của vanishing gradient. Kể từ đây, neural networks với nhiều hidden layer được đổi tên thành deep learning.

Vấn đề vanishing gradient được giải quyết phần nào (vẫn chưa thực sự triệt để), nhưng vẫn còn những vấn đề khác của deep learning: dữ liệu huấn luyện quá ít, và khả năng tính toán của CPU còn rất hạn chế trong việc huấn luyện các deep networks. Năm 2010, giáo sư Fei-Fei Li, một giáo sư ngành computer vision đầu ngành tại Stanford, cùng với nhóm của bà tạo ra một cơ sở dữ liệu có tên ImageNet với hàng triệu bức ảnh thuộc 1000 lớp dữ liệu khác nhau đã được gán nhãn. Dự án này được thực hiện nhờ vào sự bùng nổ của internet những năm 2000 và lượng ảnh khổng lồ được upload lên internet thời gian đó. Các bức ảnh này được gán nhãn bởi rất nhiều người (được trả công).