Bối cảnh và vấn đề nghiên cứu

Trong kỷ nguyên chuyển đổi số và dữ liệu lớn, dữ liệu chuỗi thời gian (time series data) xuất hiện phổ biến trong nhiều ngành công nghiệp và đời sống, bao gồm tài chính - ngân hàng, khí tượng thủy văn, năng lượng, sản xuất công nghiệp, y tế và thương mại điện tử. Việc phân tích và dự báo chính xác xu hướng biến động của dữ liệu chuỗi thời gian đóng vai trò then chốt trong việc hỗ trợ ra quyết định chiến lược, quản trị rủi ro và tối ưu hóa vận hành hệ thống.

Các phương pháp phân tích thống kê cổ điển như ARIMA (Autoregressive Integrated Moving Average) và SARIMA (Seasonal ARIMA) đã chứng minh được hiệu quả đối với các chuỗi dữ liệu tuyến tính và có tính dừng. Tuy nhiên, các mô hình này bộc lộ nhiều hạn chế khi đối mặt với dữ liệu phi tuyến tính cao, biên độ dao động mạnh hoặc chịu ảnh hưởng bởi các yếu tố bất ngờ. Để khắc phục nhược điểm này, các kỹ thuật học máy (Machine Learning) và học sâu (Deep Learning) đã được ứng dụng rộng rãi:

  • Mạng nơ-ron hồi quy bộ nhớ ngắn-dài (LSTM - Long Short-Term Memory) có ưu thế vượt trội trong việc học và ghi nhớ các phụ thuộc thời gian dài hạn (long-term dependencies), tránh hiện tượng triệt tiêu đạo hàm (vanishing gradient).
  • Mô hình hồi quy véc-tơ hỗ trợ (SVR - Support Vector Regression, biến thể hồi quy của SVM) có khả năng ánh xạ không gian phi tuyến thông qua các hàm nhân (kernel) và tối ưu hóa biên phân cách sai số, mang lại khả năng tổng quát hóa tốt trên các mẫu dữ liệu phức tạp.

Xuất phát từ các đặc tính bổ trợ lẫn nhau của hai mô hình, đề tài khóa luận tập trung nghiên cứu và phát triển các kiến trúc mô hình lai ghép (hybrid model) giữa LSTM và SVM/SVR nhằm nâng cao độ chính xác dự báo và tính ổn định của hệ thống dự báo chuỗi thời gian.

Mục tiêu chính của đề tài là xây dựng mô hình lai ghép LSTM và SVM để dự báo dữ liệu trên chuỗi thời gian. Nhóm tác giả xác định 6 nhiệm vụ nghiên cứu cụ thể:

  1. Nghiên cứu bài toán và đặc trưng của dữ liệu chuỗi thời gian.
  2. Nghiên cứu nguyên lý, cấu trúc và cơ chế hoạt động của mô hình LSTM.
  3. Nghiên cứu mô hình SVM và biến thể hồi quy SVR.
  4. Nghiên cứu và thiết kế các phương pháp lai ghép giữa LSTM và SVR (tuần tự và song song).
  5. Xây dựng chương trình thử nghiệm (demo) dự báo trên dữ liệu chuỗi thời gian.
  6. Thực nghiệm, so sánh và đánh giá hiệu năng mô hình dựa trên các tiêu chí độ chính xác và thời gian xử lý.

Về đối tượng nghiên cứu, đề tài tập trung vào dữ liệu chuỗi thời gian có tính chu kỳ, biến động thuộc các lĩnh vực khí hậu, tài chính và sản xuất; các thuật toán thành phần LSTM, SVM/SVR; và các cấu trúc mô hình lai ghép kết hợp.

Về phạm vi nghiên cứu, đề tài giới hạn ở bài toán dự báo chuỗi thời gian đơn biến (univariate time series forecasting), trong đó mô hình sử dụng chuỗi giá trị lịch sử của một biến duy nhất (như nhiệt độ thời tiết, giá vàng, giá dầu thô, sản lượng bia) để dự báo giá trị tiếp theo của chính biến đó, không mở rộng sang chuỗi thời gian đa biến phức tạp.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết vững chắc dựa trên các công trình và mô hình chuẩn trong lĩnh vực học máy và học sâu:

  • Mạng nơ-ron học sâu và LSTM: Dựa trên cấu trúc mạng nơ-ron nhiều lớp (lớp đầu vào, các lớp ẩn và lớp đầu ra), LSTM giải quyết hạn chế của mạng RNN truyền thống bằng cơ chế tế bào nhớ (cell state) và hệ thống ba cổng điều khiển:
    • Cổng quên (Forget Gate): Sử dụng hàm kích hoạt sigmoid $\sigma$ để quyết định tỉ lệ thông tin bị loại bỏ khỏi trạng thái ô từ bước thời gian trước.
    • Cổng đầu vào (Input Gate): Kết hợp giữa hàm sigmoid để chọn lọc thông tin cập nhật và hàm hyperbolic tangent ($\tanh$) để tạo vector giá trị ứng viên mới $\tilde{C}_t$.
    • Cổng đầu ra (Output Gate): Sử dụng hàm sigmoid để xác định thành phần trạng thái ô được đưa ra ngoài và nhân với $\tanh(C_t)$ để tạo giá trị trạng thái ẩn $h_t$.
  • Mô hình SVM và SVR: Mô hình hồi quy SVR mở rộng nguyên lý tìm siêu phẳng tối ưu (hyperplane) của SVM sang bài toán biến liên tục. SVR sử dụng ống dung sai $\varepsilon$ (epsilon-tube), trong đó các điểm dữ liệu nằm trong ống không bị tính sai số vào hàm mục tiêu. Hàm mục tiêu tối thiểu hóa tổng độ phức tạp mô hình $\frac{1}{2}|w|^2$ kết hợp với hàm phạt sai số thông qua tham số điều hòa $C$. Các hàm nhân (kernel) được nghiên cứu gồm Linear, Polynomial, RBF (Radial Basis Function) và Sigmoid.
  • Tối ưu hóa siêu tham số (Hyperparameter Optimization): Nghiên cứu ba phương pháp tìm kiếm cấu hình tối ưu cho mô hình:
    • GridSearchCV: Duyệt vét cạn qua toàn bộ lưới tham số định sẵn.
    • RandomizedSearchCV: Lấy mẫu ngẫu nhiên từ không gian tham số để tiết kiệm thời gian.
    • Bayesian Optimization: Xây dựng mô hình xác suất đại diện (Gaussian Process/TPE) và tối ưu hóa hàm thu thập (Acquisition Function như Expected Improvement - EI, Upper Confidence Bound - UCB) để tìm điểm siêu tham số tối ưu với số lần thử nghiệm tối thiểu.
  • Phương pháp thực nghiệm và kiểm định:
    • Quy trình tiền xử lý: Chuẩn hóa dữ liệu về khoảng giá trị đồng nhất (MinMaxScaler / StandardScaler) và chuyển đổi chuỗi liên tục thành các cửa sổ trượt (look-back windows).
    • Phân chia tập dữ liệu: Phân tách dữ liệu thành tập huấn luyện (train set) và tập kiểm tra (test set) theo các tỷ lệ 80/20 và 70/30.
    • Kỹ thuật xác thực (Validation): Kiểm tra khả năng tổng quát hóa, kiểm soát hiện tượng quá khớp (overfitting) và chưa khớp (underfitting).
  • Nguồn dữ liệu: Khóa luận sử dụng 4 bộ dữ liệu thực tế:
    1. Delhi Climate Dataset: Dữ liệu khí tượng nhiệt độ hàng ngày tại Delhi.
    2. Gold Price Dataset: Dữ liệu lịch sử giá vàng.
    3. Crude Oil Price Dataset: Dữ liệu giá dầu thô.
    4. Monthly Beer Production Dataset: Dữ liệu sản lượng sản xuất bia hàng tháng.

Nội dung chính theo từng chương

Chương 1: Kiến thức cơ bản và công trình liên quan

Chương 1 hệ thống hóa cơ sở lý thuyết về học sâu (Deep Learning), bản chất của dữ liệu chuỗi thời gian và các phương pháp tối ưu hóa:

  • Định nghĩa học sâu, cấu trúc mạng nơ-ron nhiều tầng, cơ chế lan truyền xuôi và lan truyền ngược điều chỉnh trọng số nhằm tối ưu hóa hàm mất mát. Phân tích ưu điểm tự trích xuất đặc trưng và nhược điểm đòi hỏi khối lượng dữ liệu cùng tài nguyên tính toán lớn.
  • Khái niệm dự báo chuỗi thời gian; nhận diện 3 đặc trưng cốt lõi của chuỗi thời gian gồm tính thời vụ (seasonality), xu hướng (trend) và các sự kiện bất ngờ (irregular/shock events). Phân biệt hai bài toán dự báo: chuỗi đơn biến (một biến phụ thuộc thời gian) và chuỗi đa biến (nhiều biến tương tác lẫn nhau).
  • Phân loại 3 nhóm mô hình dự báo chính: mô hình thống kê cổ điển (ARIMA, SARIMA, TBATS), mô hình học máy (Hồi quy, XGBoost, Random Forest) và mô hình học sâu (RNN, LSTM).
  • Phân tích cơ chế và so sánh ưu/nhược điểm của 3 kỹ thuật tối ưu hóa siêu tham số: GridSearchCV, RandomizedSearchCV và Bayesian Optimization.
  • Khảo cứu công trình tham khảo "Short-term Traffic Speed Prediction Using Hybrid LSTM-SVR Model" (trên nền tảng GitHub của tác giả adasken), phân tích cách thức tiền xử lý dữ liệu cảm biến giao thông, huấn luyện song song LSTM và SVR, sau đó đưa kết quả vào một mạng nơ-ron nhiều tầng (Dense layer) để tổng hợp dự báo.

Chương 2: Mô hình

Chương 2 trình bày chi tiết về mặt toán học và cấu trúc của từng mô hình thành phần cùng 3 kiến trúc lai ghép đề xuất:

  • Mô hình LSTM: Trình bày chi tiết toán học của các khối tế bào (LSTM cell). Tác giả cung cấp ví dụ số học từng bước: với đầu vào $X = [0.5]$, tính toán qua các cổng với trọng số và độ lệch giả định ($i_t = \sigma(0.55)$, $C'_t = \tanh(0.58)$, cập nhật $C_t$, $o_t = \sigma(0.61)$) để xuất ra trạng thái ẩn $h_t = 0.17$. Phân tích ưu điểm xử lý phụ thuộc xa và hạn chế về mặt tài nguyên xử lý.
  • Mô hình SVM và SVR: Trình bày không gian siêu phẳng, véc-tơ hỗ trợ, ý nghĩa tham số $C$, độ rộng vùng dung sai $\varepsilon$, tham số $\gamma$ của hàm nhân RBF. Trình bày ví dụ tính toán chuẩn hóa dữ liệu ($Mean = 3.5$, $Std = 1.71$) và thiết lập bài toán tối ưu đối ngẫu Lagrange để tìm véc-tơ trọng số $w$ và hệ số bù $b$.
  • Ba kiến trúc mô hình lai ghép LSTM-SVM:
    1. Mô hình kết hợp tuần tự cộng (Sequential Additive Hybrid): Chuỗi thời gian $Y$ được đưa vào mô hình SVR để dự báo thành phần chính $L_t$. Sai số dự báo $e_t = y_t - L_t$ được tính toán và chuyển thành đầu vào huấn luyện cho mô hình LSTM nhằm dự báo phần dư $N_t$. Giá trị dự báo tổng hợp cuối cùng là: $$y_t = L_t + N_t$$
    2. Mô hình kết hợp tuần tự nhân (Sequential Multiplicative Hybrid): Mô hình SVR dự báo thành phần chính $L_t$. Sai số tỉ lệ $e_t = y_t / L_t$ được đưa vào làm dữ liệu đầu vào cho mạng LSTM để dự báo phần điều chỉnh $N_t$. Kết quả dự báo tổng hợp cuối cùng là: $$y_t = L_t \times N_t$$
    3. Mô hình kết hợp song song (Parallel Hybrid): Dữ liệu chuỗi thời gian được nạp đồng thời vào cả hai mô hình SVR và LSTM hoạt động độc lập, cho ra hai kết quả dự báo tương ứng là $L_t$ và $N_t$. Kết quả cuối cùng được tính theo trung bình có trọng số: $$y_t = \alpha L_t + (1 - \alpha) N_t$$ Trong đó, trọng số $\alpha$ được tối ưu hóa bằng phương pháp giải tích để cực tiểu hóa sai số toàn phương trung bình (MSE) giữa giá trị thực tế $y_i$ và giá trị dự báo kết hợp.

Chương 3: Cài đặt mô hình

Chương 3 mô tả môi trường thực thi và quy trình kỹ thuật triển khai hệ thống:

  • Môi trường phát triển: Môi trường lập trình Visual Studio Code (VS Code), ngôn ngữ lập trình Python, các thư viện cốt lõi gồm TensorFlow và Keras cho các mạng nơ-ron, Scikit-learn cho mô hình SVR và các thuật toán tối ưu hóa siêu tham số.
  • Các bước tiền xử lý: Đọc dữ liệu từ tệp nguồn, xử lý giá trị khuyết thiếu, áp dụng hàm chuẩn hóa dữ liệu, sử dụng hàm create_dataset để chuyển đổi chuỗi dữ liệu gốc thành các cặp đầu vào $(X, Y)$ dựa trên độ dài bước trượt thời gian look_back và số bước dự báo timesteps.
  • Quy trình tối ưu siêu tham số: Thiết lập không gian tìm kiếm siêu tham số (param_grid), thực thi tìm kiếm thông qua GridSearchCV, RandomizedSearchCV và Bayesian Optimization để tìm bộ tham số tốt nhất cho LSTM và SVR.
  • Huấn luyện và lưu trữ mô hình: Huấn luyện độc lập mô hình SVR và LSTM; thực hiện lưu trữ mô hình đã huấn luyện xuống đĩa cứng (model.save) để tái sử dụng trong quá trình kiểm thử mà không cần huấn luyện lại từ đầu.
  • Dự báo và trích xuất chỉ số: Tải mô hình đã lưu, thực hiện dự báo trên tập kiểm tra (testX), đảo ngược quá trình chuẩn hóa (inverse transform) để đưa về thang đo gốc, tính toán các chỉ số đo lường sai số và vẽ đồ thị so sánh giữa đường giá trị thực tế và giá trị dự báo.

Chương 4: Thực nghiệm và đánh giá kết quả

Chương 4 thực hiện các kịch bản thực nghiệm toàn diện trên 4 bộ dữ liệu và trình bày kết quả đo lường:

  • Thiết lập 4 thang đo đánh giá sai số chuẩn:
    • Sai số tuyệt đối trung bình (MAE - Mean Absolute Error).
    • Sai số toàn phương trung bình (MSE - Mean Squared Error).
    • Căn bậc hai sai số toàn phương trung bình (RMSE - Root Mean Squared Error).
    • Hệ số biến thiên của RMSE (CV(RMSE) - Coefficient of Variation of the RMSE).
  • Triển khai 4 trường hợp thực nghiệm chính:
    1. Đánh giá và so sánh hiệu quả giữa 3 phương pháp tối ưu hóa siêu tham số (GridSearchCV, RandomizedSearchCV, Bayesian Optimization) khi áp dụng cho mô hình LSTM trên 4 bộ dữ liệu (Delhi Climate, Gold Price, Dầu Thô, Monthly Beer).
    2. So sánh độ chính xác dự báo giữa các mô hình đơn lẻ (LSTM, SVR) và các biến thể lai ghép (Tuần tự cộng, Tuần tự nhân, Song song).
    3. Đánh giá độ nhạy của mô hình khi thay đổi chiều dài chuỗi đầu vào (input length / look_back).
    4. Đánh giá sự biến thiên độ chính xác khi thay đổi tỷ lệ phân chia tập huấn luyện / kiểm tra (train/test split).

Kết quả và đóng góp

Khóa luận đã hoàn thành việc nghiên cứu, cài đặt và kiểm thử mô hình lai ghép LSTM và SVM/SVR cho bài toán dự báo chuỗi thời gian. Các kết quả cụ thể bao gồm:

Hạng mục thực nghiệm Phương pháp / Mô hình khảo sát Nội dung và tiêu chí đánh giá
Tối ưu siêu tham số GridSearchCV, RandomizedSearchCV, Bayesian Optimization So sánh thời gian thực thi và độ chính xác sai số trên 4 bộ dữ liệu (Delhi Climate, Gold Price, Dầu Thô, Monthly Beer)
So sánh mô hình LSTM đơn lẻ, SVR đơn lẻ, Lai ghép tuần tự cộng, Lai ghép tuần tự nhân, Lai ghép song song So sánh giá trị MAE, MSE, RMSE, CV(RMSE)
Thay đổi chiều dài đầu vào Các kích thước cửa sổ trượt look_back khác nhau Phân tích ảnh hưởng của độ dài lịch sử đến sai số dự báo
Thay đổi tỷ lệ tập dữ liệu Phân chia tỷ lệ Train/Test (80/20, 70/30) Đánh giá tính ổn định và khả năng tổng quát hóa của mô hình lai

Các đóng góp chính của đề tài:

  • Xây dựng hoàn chỉnh khung toán học và quy trình cài đặt cho 3 dạng mô hình lai ghép giữa LSTM và SVR (tuần tự cộng, tuần tự nhân và song song có tối ưu trọng số $\alpha$ theo MSE).
  • Cung cấp dữ liệu thực nghiệm đối sánh đa chiều trên 4 tập dữ liệu thuộc các lĩnh vực khác nhau (khí tượng, tài chính, nguyên liệu thô, sản xuất), chứng minh tính khả thi của việc sử dụng mô hình học sâu kết hợp mô hình học máy truyền thống để khắc phục nhược điểm của từng phương pháp đơn lẻ.
  • Chuẩn hóa quy trình tiền xử lý, tối ưu hóa siêu tham số tự động và đánh giá mô hình chuỗi thời gian đơn biến trên nền tảng công nghệ mã nguồn mở (Python, TensorFlow, Scikit-learn).

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung báo cáo và phạm vi nghiên cứu thực tế, đề tài ghi nhận các hạn chế và hướng phát triển sau:

  • Hạn chế:
    • Nghiên cứu chỉ tập trung vào bài toán dự báo chuỗi thời gian đơn biến (univariate), chưa mở rộng sang chuỗi thời gian đa biến (multivariate) có sự tương tác của nhiều biến ngoại sinh cùng lúc.
    • Quá trình tối ưu hóa siêu tham số (đặc biệt là GridSearchCV) đòi hỏi chi phí tính toán và thời gian thực thi cao khi không gian tham số mở rộng.
    • Mô hình chưa được tích hợp các cơ chế học sâu tiên tiến hơn như cơ chế chú ý (Attention Mechanism) để tăng cường trọng số cho các bước thời gian mang tính quyết định.
  • Hướng nghiên cứu tiếp:
    • Mở rộng nghiên cứu mô hình lai ghép sang bài toán dữ liệu chuỗi thời gian đa biến với nhiều thuộc tính đầu vào phức tạp.
    • Tích hợp thêm các kiến trúc mạng nơ-ron hiện đại như Transformer, Temporal Convolutional Network (TCN) hoặc cơ chế Attention vào mô hình lai ghép.
    • Nghiên cứu các thuật toán tối ưu hóa thích nghi trực tuyến (online learning) để tự động điều chỉnh trọng số kết hợp $\alpha$ theo thời gian thực khi dữ liệu chuỗi có sự trôi dạt khái niệm (concept drift).
    • Triển khai mô hình thành ứng dụng dịch vụ web hoàn chỉnh phục vụ dự báo thời gian thực trong các hệ thống giám sát công nghiệp hoặc tài chính.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo hữu ích cho sinh viên, học viên chuyên ngành Kỹ thuật Dữ liệu, Khoa học Dữ liệu, Trí tuệ Nhân tạo và Công nghệ Thông tin đang thực hiện các đề tài nghiên cứu về mô hình hóa chuỗi thời gian.

Các nội dung có giá trị tham khảo chuyên môn cao bao gồm:

  • Công thức toán học và quy trình ghép nối dữ liệu trong 3 mô hình lai ghép (tuần tự cộng, tuần tự nhân, song song) tại Chương 2.
  • Phương pháp luận và cách thiết lập các thuật toán tối ưu hóa siêu tham số (GridSearchCV, RandomizedSearchCV, Bayesian Optimization) tại Chương 1 và Chương 3.
  • Pipeline tiền xử lý dữ liệu chuỗi thời gian (sử dụng cửa sổ trượt create_dataset, chuẩn hóa dữ liệu, đảo ngược giá trị dự báo) và hệ thống đo lường sai số toàn diện (MAE, MSE, RMSE, CV(RMSE)) tại Chương 3 và Chương 4.

Câu hỏi thường gặp

1. Mô hình lai ghép tuần tự cộng giữa SVR và LSTM xử lý dữ liệu chuỗi thời gian như thế nào?
Trong mô hình tuần tự cộng, dữ liệu chuỗi thời gian $Y$ trước tiên được nạp vào mô hình SVR để dự báo thành phần xu hướng chính $L_t$. Sau đó, phần dư sai số $e_t = y_t - L_t$ được tính toán và đưa vào mô hình LSTM để huấn luyện và dự báo phần sai số $N_t$. Kết quả dự báo cuối cùng là tổng của hai thành phần: $y_t = L_t + N_t$.

2. Trọng số kết hợp $\alpha$ trong mô hình lai ghép song song được xác định bằng cách nào?
Trong mô hình song song, kết quả dự báo cuối cùng là trung bình có trọng số: $y_t = \alpha L_t + (1 - \alpha) N_t$ (với $L_t$ là dự báo từ SVR và $N_t$ là dự báo từ LSTM). Giá trị trọng số $\alpha$ được tính toán giải tích nhằm mục đích cực tiểu hóa hàm lỗi sai số toàn phương trung bình (MSE) giữa giá trị dự báo kết hợp và giá trị thực tế của chuỗi dữ liệu.

3. Khóa luận sử dụng những bộ dữ liệu nào trong phần thực nghiệm?
Khóa luận thực hiện đánh giá thực nghiệm trên 4 bộ dữ liệu chuỗi thời gian thực tế gồm: bộ dữ liệu khí tượng Delhi Climate, bộ dữ liệu giá vàng Gold Price, bộ dữ liệu giá Dầu Thô và bộ dữ liệu sản lượng Monthly Beer.

4. Những độ đo sai số nào được áp dụng để đánh giá độ chính xác của các mô hình?
Tác giả sử dụng 4 chỉ số đo lường chuẩn bao gồm: Sai số tuyệt đối trung bình (MAE), Sai số toàn phương trung bình (MSE), Căn bậc hai sai số toàn phương trung bình (RMSE) và Hệ số biến thiên của căn bậc hai sai số toàn phương trung bình (CV(RMSE)).

5. Nhóm tác giả đã thử nghiệm những phương pháp tối ưu hóa siêu tham số nào cho mô hình LSTM?
Ba phương pháp tối ưu hóa siêu tham số được khảo sát và thực nghiệm trong khóa luận gồm: GridSearchCV (tìm kiếm dạng lưới vét cạn), RandomizedSearchCV (tìm kiếm ngẫu nhiên) và Bayesian Optimization (tối ưu hóa Bayes sử dụng hàm mục tiêu xác suất).

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Quốc Thắng và Nguyễn Trung Cường đã nghiên cứu và triển khai thành công mô hình lai ghép giữa LSTM và SVM/SVR cho bài toán dự báo chuỗi thời gian đơn biến. Đề tài đã hệ thống hóa cơ sở lý thuyết, thiết kế 3 kiến trúc lai ghép (tuần tự cộng, tuần tự nhân và song song) và xây dựng pipeline thực nghiệm hoàn chỉnh trên nền tảng Python, TensorFlow và Scikit-learn. Kết quả thử nghiệm trên 4 bộ dữ liệu thực tế (Delhi Climate, Gold Price, Dầu Thô, Monthly Beer) cùng các thang đo MAE, MSE, RMSE, CV(RMSE) đã cung cấp cơ sở đối sánh rõ ràng về độ chính xác và tính ứng dụng của các phương pháp lai ghép học máy - học sâu hiện đại.