Bối cảnh và vấn đề nghiên cứu

Lý do chọn đề tài và bối cảnh thực tiễn

Trong bối cảnh bùng nổ của công nghệ và dữ liệu lớn, bài toán dự báo dữ liệu chuỗi thời gian (time series forecasting) đóng vai trò then chốt trong nhiều lĩnh vực quan trọng như tài chính, y tế, khí tượng thủy văn và quản lý năng lượng. Các kết quả dự báo chính xác cung cấp cơ sở để các tổ chức đưa ra quyết định kịp thời, tối ưu hóa quy trình vận hành và nâng cao hiệu quả hoạt động.

Sự phát triển của các kỹ thuật học sâu (Deep Learning) đã mang lại các mô hình mạng nơ-ron có khả năng mô hình hóa dữ liệu tuần tự vượt trội, tiêu biểu là mạng nơ-ron hồi quy (RNN), mạng bộ nhớ dài-ngắn hạn (LSTM) và mạng đơn vị cổng hồi quy (GRU). Tuy nhiên, mỗi mô hình đơn lẻ đều tồn tại những ưu điểm và hạn chế riêng:

  • Mô hình RNN có cấu trúc đơn giản nhưng thường xuyên gặp hiện tượng suy giảm gradient (vanishing gradient) khi chuỗi dữ liệu có độ dài lớn.
  • Mô hình LSTM và GRU giải quyết được vấn đề phụ thuộc dài hạn nhờ các cơ chế cổng (gate mechanism), nhưng lại có cấu trúc phức tạp, chứa nhiều tham số và đòi hỏi tài nguyên tính toán lớn.
  • Mô hình CNN 1 chiều có ưu thế tự động trích xuất các đặc trưng không gian cục bộ từ dữ liệu chuỗi nhưng không duy trì trạng thái nhớ dài hạn như các mạng hồi quy.

Do đó, kỹ thuật lai ghép (hybridization/ensemble) giữa hai mô hình học sâu là hướng nghiên cứu nhằm kết hợp thế mạnh, bù trừ nhược điểm của từng kiến trúc đơn lẻ, từ đó nâng cao độ chính xác, tính ổn định và khả năng tổng quát hóa khi dự báo chuỗi thời gian có biến động phức tạp và phi tuyến tính.

Mục tiêu và nhiệm vụ nghiên cứu

Mục tiêu nghiên cứu: Sử dụng các phương pháp lai ghép để xây dựng các mô hình kết hợp nhằm cải thiện độ chính xác của mô hình trong bài toán dự báo dữ liệu chuỗi thời gian.

Nhiệm vụ nghiên cứu (theo 5 nhiệm vụ được văn bản xác định):

  1. Xây dựng các mô hình học sâu đơn lẻ (CNN, LSTM, RNN, GRU).
  2. Sử dụng các phương pháp lai ghép để xây dựng các mô hình kết hợp, bao gồm:
    • Mô hình tuần tự (Sequential Model).
    • Mô hình tuần tự cộng (Additive Sequential Model).
    • Mô hình tuần tự nhân (Multiplicative Sequential Model).
    • Mô hình song song (Parallel Model).
  3. Xây dựng các phương pháp tối ưu hóa siêu tham số (GridSearchCV, RandomSearchCV, BayesSearchCV).
  4. Thực nghiệm trên các tập dữ liệu khác nhau để đưa ra đánh giá khách quan về hiệu quả của các mô hình.
  5. Đánh giá kết quả thực nghiệm đạt được và đề xuất các mô hình có khả năng dự đoán tốt nhất.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các mô hình học sâu đơn lẻ (CNN, RNN, LSTM, GRU) và các cơ chế lai ghép 2 mô hình học sâu phục vụ bài toán dự báo chuỗi thời gian đơn biến.
  • Phạm vi dữ liệu: Các nguồn dữ liệu chuỗi thời gian dạng số, có tính liên tục và thực hiện dự báo duy nhất một biến mục tiêu. Thực nghiệm được thực hiện trên 4 tập dữ liệu: Dữ liệu thời tiết, Dữ liệu giá vàng, Dữ liệu dầu thô và Dữ liệu giá bia.
  • Không gian và thời gian thực hiện: Đề tài thực hiện tại Khoa Công nghệ Thông tin, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, chuyên ngành Kỹ thuật Dữ liệu, thời gian thực hiện từ ngày 29/01/2024 đến ngày 15/05/2024.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình nền tảng

Khóa luận xây dựng trên nền tảng lý thuyết học máy (học có giám sát, không giám sát, bán giám sát, tăng cường) và học sâu, tập trung vào 4 kiến trúc nơ-ron nền tảng:

Mô hình Đặc trưng cấu trúc Ưu điểm theo tác giả Hạn chế theo tác giả
CNN (Convolutional Neural Network) Gồm lớp tích chập (Convolutional Layer), lớp làm phẳng (Flatten), hàm kích hoạt (ReLU, Sigmoid, Tanh, LeakyReLU), lớp Dropout và lớp kết nối đầy đủ (Fully Connected Layer). Tự động trích xuất đặc trưng cục bộ; nhận dạng mẫu mạnh mẽ. Đòi hỏi tài nguyên tính toán lớn; cần nhiều dữ liệu để tránh quá khớp.
RNN (Recurrent Neural Network) Duy trì trạng thái ẩn $h_t$ qua từng bước thời gian: $h_t = \sigma(W_{in} \cdot x_t + W_{rec} \cdot h_{t-1} + b_h)$; đầu ra $y_t = W_{out} \cdot h_t + b_y$. Phù hợp xử lý dữ liệu tuần tự; có khả năng học phụ thuộc chuỗi. Dễ gặp hiện tượng tiêu biến gradient; khó lưu giữ thông tin chuỗi quá dài.
LSTM (Long Short-Term Memory) Gồm 3 cổng: Cổng quên ($f_t$), cổng vào ($i_t, \tilde{C}t$), cổng ra ($o_t$) và 2 trạng thái: Trạng thái ô $C_t = f_t * C{t-1} + i_t * \tilde{C}_t$ và trạng thái ẩn $h_t = o_t * \tanh(C_t)$. Khắc phục triệt để vấn đề phụ thuộc dài hạn nhờ hệ thống cổng. Kiến trúc phức tạp, số lượng tham số lớn, tốn tài nguyên huấn luyện.
GRU (Gated Recurrent Unit) Tinh gọn cấu trúc LSTM: chỉ sử dụng 1 trạng thái ẩn $H_t$; gồm Cổng cập nhật ($Z_t$) và Cổng đặt lại ($R_t$). Trạng thái ẩn ứng viên: $H't = \tanh(X_t W{xh} + (R_t \odot H_{t-1})W_{hh} + b_h)$; $H_t = Z_t \odot H_{t-1} + (1 - Z_t) \odot H'_t$. Cấu trúc đơn giản hơn LSTM, giảm chi phí tính toán nhưng vẫn học được quan hệ dài hạn. Khả năng mô hình hóa chuỗi phức tạp đôi khi kém hơn LSTM; vẫn có thể gặp tiêu biến gradient trên chuỗi rất dài.

Các phương pháp lai ghép mô hình

Tác giả thiết kế và khảo sát 4 phương thức lai ghép 2 mô hình học sâu:

  1. Mô hình tuần tự (Sequential): Mô hình thứ nhất tiếp nhận chuỗi đầu vào để trích xuất đặc trưng hoặc lọc thông tin; đầu ra của mô hình thứ nhất được chuyển làm đầu vào cho mô hình thứ hai để tính toán dự đoán cuối cùng. Tổng cộng có 12 cấu hình kết hợp cặp: CNN-LSTM, LSTM-CNN, CNN-RNN, RNN-CNN, CNN-GRU, GRU-CNN, LSTM-RNN, RNN-LSTM, LSTM-GRU, GRU-LSTM, RNN-GRU, GRU-RNN.
  2. Mô hình tuần tự cộng (Additive Sequential): Mô hình 1 xử lý đầu vào $X$ và dự đoán giá trị $Y$. Sai số dự đoán $e = X - Y$ được chuyển làm đầu vào cho Mô hình 2 để dự đoán độ lệch $N$. Kết quả cuối cùng là tổng của hai dự đoán: $\hat{Y} = Y + N$.
  3. Mô hình tuần tự nhân (Multiplicative Sequential): Mô hình 1 dự đoán giá trị $Y$. Độ lệch tỷ lệ được tính bằng phép chia $e = X / Y$. Mô hình 2 học trên tỷ lệ này để xuất ra hệ số điều chỉnh $N$. Kết quả cuối cùng là tích của hai giá trị: $\hat{Y} = Y \times N$.
  4. Mô hình song song (Parallel): Cả hai mô hình đơn lẻ cùng nhận dữ liệu đầu vào $X$ và thực hiện dự báo đồng thời, cho ra hai kết quả tương ứng là $A$ và $B$. Kết quả dự báo tổng hợp được tính theo tổ hợp tuyến tính có trọng số: $$\hat{Y} = \omega \cdot A + (1 - \omega) \cdot B$$ Trong đó, trọng số tối ưu $\omega$ được xác định theo công thức: $$\omega = \frac{\sum ((B - A) * (X - A))}{\sum (B - A)^2}$$ Với các điều kiện biên: $\omega = 0$ nếu $\omega < 0$, giữ nguyên $\omega$ nếu $0 \le \omega \le 1$, và $\omega = 1$ nếu $\omega > 1$.

Phương pháp tối ưu hóa siêu tham số

Nghiên cứu sử dụng và so sánh 3 kỹ thuật tối ưu hóa siêu tham số để xác định các bộ tham số tốt nhất cho từng mô hình:

  • GridSearchCV: Tìm kiếm vét cạn trên lưới tham số xác định trước.
  • RandomSearchCV: Lấy mẫu ngẫu nhiên từ không gian phân phối tham số.
  • BayesSearchCV: Tối ưu hóa Bayes dựa trên xác suất để định hướng vùng tham số tối ưu.

Thiết kế và triển khai

Khóa luận triển khai quy trình xử lý dữ liệu và xây dựng mô hình dự báo chuỗi thời gian bằng ngôn ngữ Python với thư viện Scikit-learn và các framework học sâu. Quy trình kỹ thuật bao gồm các khối chức năng chính:

1. Chuẩn bị và tiền xử lý dữ liệu

  • Làm sạch và định dạng (CleanData): Loại bỏ giá trị khuyết thiếu (dropna()), chuyển đổi các giá trị chứa ký tự số đặc biệt (như chuyển hậu tố "K" thành $10^3$), chuẩn hóa cột mốc thời gian sang định dạng DateTime, sắp xếp dữ liệu tăng dần theo ngày và thiết lập cột ngày làm chỉ mục (Index).
  • Chuẩn hóa dữ liệu (normalize_data): Triển khai 2 phương pháp chuẩn hóa dữ liệu số gồm:
    • Chuẩn hóa Min-Max (MinMaxScaler): Đưa dữ liệu về khoảng $[0, 1]$.
    • Chuẩn hóa Zero-Mean (StandardScaler): Đưa dữ liệu về phân phối chuẩn có trung bình bằng 0 và độ lệch chuẩn bằng 1.
    • Lưu trữ các bộ tham số chuẩn hóa vào tệp nhị phân (X_scaler.pkl, y_scaler.pkl) bằng thư viện pickle (dump) để phục vụ tái sử dụng và chuyển đổi ngược dữ liệu dự báo.
def normalize_data(self, X_value, y_value, scaler='Min-Max'):
    if scaler == 'Min-Max':
        X_scaler = MinMaxScaler()
        y_scaler = MinMaxScaler()
    elif scaler == 'Zero-Mean':
        X_scaler = StandardScaler()
        y_scaler = StandardScaler()
    else:
        return X_value.to_numpy(), y_value.to_numpy()
    
    X_scale_dataset = X_scaler.fit_transform(X_value)
    y_scale_dataset = y_scaler.fit_transform(y_value)
    return X_scale_dataset, y_scale_dataset

2. Cấu trúc mẫu dữ liệu chuỗi thời gian đa bước

  • Tạo cặp đầu vào - đầu ra (get_X_y): Sử dụng kỹ thuật trượt cửa sổ thời gian (sliding window). Hàm nhận chuỗi dữ liệu gốc cùng hai tham số: số bước thời gian đầu vào (n_steps_in) và số bước thời gian dự báo đầu ra (n_steps_out). Các mẫu con thỏa mãn độ dài được trích xuất thành hai mảng ma trận $X$ và $y$.
  • Phân chia tập dữ liệu huấn luyện, kiểm định và kiểm tra (split_train_test): Chia tập dữ liệu liên tục theo tỷ lệ được cấu hình (ví dụ: train_ratio = 0.2, valid_ratio = 0.2, phần còn lại dành cho tập test) nhằm bảo đảm tính liên tục của chuỗi thời gian.
  • Thiết lập chỉ mục thời gian (predict_index): Gán chỉ mục ngày tương ứng cho từng tập Train, Validation và Test để phục vụ quá trình trực quan hóa đường dự báo so với dữ liệu thực tế.

3. Cài đặt các khối mô hình lai ghép và hàm tối ưu

  • Cài đặt 4 lớp mô hình đơn lẻ: CNN, LSTM, RNN, GRU.
  • Cài đặt các lớp kết hợp lai ghép:
    • Xây dựng 12 mô hình lai ghép tuần tự bằng cách ghép nối tầng mạng trích xuất và tầng mạng dự báo.
    • Xây dựng hàm tính toán sai số phần dư cho mô hình tuần tự cộng ($Y + N$) và tuần tự nhân ($Y \times N$).
    • Xây dựng hàm tính toán trọng số $\omega$ tối ưu tự động theo công thức giải tích cho mô hình song song.
  • Cài đặt các hàm tích hợp RandomSearchCV, GridSearchCV và BayesSearchCV để tự động hóa quá trình dò tìm siêu tham số.

Nội dung chính theo từng chương

Phần 1: Mở đầu

Trình bày tính cấp thiết của đề tài trong bối cảnh dữ liệu lớn; phân tích lý do lựa chọn hướng nghiên cứu lai ghép mô hình học sâu; công bố mục tiêu nâng cao độ chính xác dự báo chuỗi thời gian; liệt kê 5 nhiệm vụ nghiên cứu cụ thể; xác định phạm vi nghiên cứu tập trung vào chuỗi thời gian đơn biến dạng số.

Chương 1: Kiến thức cơ bản và các công trình liên quan

  • Khái niệm cơ bản: Trình bày lịch sử hình thành học máy và học sâu; phân loại các nhánh học máy (có giám sát, không giám sát, bán giám sát, tăng cường); các hiện tượng Overfitting, Underfitting; kỹ thuật Dropout và Transfer Learning; định nghĩa chuỗi thời gian và bài toán dự báo chuỗi thời gian.
  • Định nghĩa bài toán: Mô tả bài toán lai ghép các mạng nơ-ron học sâu nhằm giải quyết tính phi tuyến và biến động bất thường của dữ liệu chuỗi.
  • Khảo cứu ưu/nhược điểm: Phân tích chi tiết ưu thế và hạn chế của 4 mô hình CNN, LSTM, RNN, GRU.
  • Tổng quan các công trình liên quan: Khảo sát và tổng hợp 10 nghiên cứu tiêu biểu trong và ngoài nước liên quan đến dự báo chuỗi thời gian, kết hợp mô hình k-NN/ANN, mô hình lai ghép đa thức và học sâu, so sánh CNN-LSTM và LSTM-CNN, các phương pháp tối ưu hóa siêu tham số (RandomSearch, GridSearch, Adam, SGD) và các hàm mất mát/hàm kích hoạt trong học sâu.

Chương 2: Các mô hình sử dụng

  • Cấu trúc và cơ chế hoạt động của mô hình đơn: Trình bày chi tiết cấu trúc toán học của mạng CNN (lớp tích chập, làm phẳng, kích hoạt, dropout, kết nối đầy đủ), mạng RNN (cơ chế tính $h_t$, lan truyền ngược qua thời gian), mạng LSTM (4 bước tính toán qua 3 cổng và cell state kèm ví dụ minh họa từng bước tính), mạng GRU (cơ chế cổng Reset, Update và trạng thái ẩn ứng viên).
  • Cấu trúc và cơ chế hoạt động của các phương pháp lai ghép: Mô tả chi tiết nguyên lý hoạt động, sơ đồ khối và công thức toán học của 4 phương pháp kết hợp: Mô hình tuần tự, Mô hình tuần tự cộng, Mô hình tuần tự nhân và Mô hình song song (kèm công thức xác định trọng số $\omega$).

Chương 3: Cài đặt mô hình

  • Tiền xử lý và chuẩn bị dữ liệu: Cài đặt mã nguồn Python thực hiện chuẩn hóa Min-Max, Zero-Mean; hàm tạo mẫu trượt $X-y$ theo $n_steps_in$ và $n_steps_out$; phân chia tập dữ liệu train/validation/test; gán chỉ mục thời gian; làm sạch dữ liệu và trực quan hóa dữ liệu bằng biểu đồ đường.
  • Xây dựng mô hình: Cài đặt mã nguồn cho 4 mô hình đơn lẻ (CNN, LSTM, RNN, GRU); cài đặt 12 biến thể mô hình tuần tự; cài đặt các hàm huấn luyện cho mô hình tuần tự nhân, mô hình tuần tự cộng và mô hình song song; xây dựng các hàm tối ưu hóa tham số.

Chương 4: Thực nghiệm và đánh giá

  • Thiết lập thực nghiệm: Mô tả môi trường phần cứng, phần mềm, các thư viện sử dụng và 4 bộ dữ liệu thực nghiệm (thời tiết, giá vàng, dầu thô, giá bia).
  • Tiêu chí đánh giá: Đánh giá hiệu năng dựa trên độ chính xác (các chỉ số sai số/lỗi của mô hình) và thời gian thực thi (training/inference time).
  • Các kịch bản thực nghiệm:
    1. So sánh quá trình tối ưu hóa siêu tham số giữa RandomSearchCV, GridSearchCV và BayesSearchCV trên các mô hình.
    2. Đánh giá kết quả giữa các mô hình đơn lẻ.
    3. Đánh giá kết quả giữa 12 mô hình tuần tự.
    4. Đánh giá kết quả các mô hình tuần tự nhân.
    5. Đánh giá kết quả các mô hình tuần tự cộng.
    6. Đánh giá kết quả các mô hình song song.
    7. So sánh đối chiếu toàn diện giữa mô hình đơn và các mô hình lai ghép tương ứng.
  • Đánh giá chung và đề xuất: Phân tích tổng hợp hiệu năng và đề xuất các mô hình tối ưu nhất cho từng trường hợp dữ liệu.

Phần 3: Kết luận

Tổng kết toàn bộ các kết quả đạt được của khóa luận; chỉ rõ các hạn chế còn tồn tại trong quá trình nghiên cứu và đề xuất các định hướng phát triển tiếp theo cho đề tài.

Kết quả và đóng góp

Kết quả chính

  1. Xây dựng và tối ưu hóa hệ thống mô hình: Xây dựng thành công 4 mô hình học sâu đơn lẻ và hệ thống các mô hình lai ghép thuộc 4 phương pháp (tuần tự với 12 tổ hợp, tuần tự cộng, tuần tự nhân, song song). Thiết lập quy trình tối ưu hóa siêu tham số tự động cho từng mô hình thông qua GridSearchCV, RandomSearchCV và BayesSearchCV.
  2. Thực nghiệm đa dạng trên 4 tập dữ liệu thực tế: Kiểm thử toàn diện các mô hình trên 4 tập dữ liệu chuỗi thời gian có đặc tính biến động khác nhau (Thời tiết, Giá vàng, Dầu thô, Giá bia).
  3. Đánh giá đa chiều: Cung cấp bảng so sánh chi tiết giữa các mô hình đơn và mô hình lai ghép dựa trên độ chính xác dự báo (sai số) và chi phí thời gian huấn luyện. Kết quả khẳng định việc lai ghép mô hình giúp nâng cao độ chính xác dự báo so với việc chỉ sử dụng một mô hình đơn lẻ, mặc dù chi phí thời gian tính toán của mô hình lai ghép tăng lên tương ứng.

Giải pháp và kiến nghị của tác giả

  • Lựa chọn phương pháp tối ưu hóa: Sử dụng GridSearchCV khi người thực hiện đã khoanh vùng được tập tham số hẹp có độ tin cậy cao; ưu tiên sử dụng RandomSearchCV hoặc BayesSearchCV khi không gian tham số rộng và chưa xác định rõ vùng tối ưu nhằm tiết kiệm thời gian và tài nguyên tính toán.
  • Lựa chọn kiến trúc lai ghép: Đề xuất kết hợp các lớp tích chập (CNN) ở giai đoạn đầu để trích xuất đặc trưng không gian cục bộ, sau đó chuyển sang các tầng hồi quy (LSTM hoặc GRU) để xử lý phụ thuộc thời gian, giúp tăng cường độ chính xác tổng thể.

Đóng góp học thuật và thực tiễn

  • Hệ thống hóa đầy đủ cơ sở lý thuyết, công thức toán học và cơ chế hoạt động của 4 kiến trúc lai ghép 2 mô hình học sâu trong bài toán chuỗi thời gian.
  • Xây dựng quy trình thực nghiệm hoàn chỉnh từ tiền xử lý, chuẩn hóa, tạo cửa sổ trượt, tối ưu hóa siêu tham số đến đánh giá sai số trên nhiều bộ dữ liệu thực tế.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài

  • Phạm vi bài toán: Đề tài chỉ mới tập trung vào bài toán dự báo chuỗi thời gian đơn biến (univariate forecasting) với dữ liệu dạng số liên tục; chưa xử lý các chuỗi thời gian đa biến phức tạp (multivariate) có nhiều yếu tố tương tác đồng thời.
  • Tài nguyên và thời gian tính toán: Việc huấn luyện và tối ưu hóa các mô hình lai ghép đòi hỏi tài nguyên tính toán lớn và thời gian thực thi lâu hơn đáng kể so với các mô hình đơn lẻ.

Hướng nghiên cứu tiếp

  • Mở rộng bài toán sang dự báo chuỗi thời gian đa biến có xét đến các biến ngoại sinh và các đặc trưng phi số liệu.
  • Nghiên cứu kết hợp thêm các kiến trúc học sâu tiên tiến khác như Transformer, cơ chế Attention hoặc các mô hình mạng nơ-ron đồ thị.
  • Tối ưu hóa hiệu năng tính toán của các mô hình lai ghép để giảm thời gian huấn luyện mà vẫn đảm bảo độ chính xác dự báo.

Giá trị tham khảo

  • Đối tượng thụ hưởng: Sinh viên, học viên cao học và các nhà nghiên cứu thuộc các chuyên ngành Kỹ thuật Dữ liệu, Khoa học Dữ liệu, Công nghệ Thông tin, Trí tuệ Nhân tạo và Toán tin ứng dụng đang thực hiện các đề tài liên quan đến dự báo chuỗi thời gian.
  • Nội dung giá trị:
    • Cung cấp khung mã nguồn chuẩn mực cho pipeline tiền xử lý dữ liệu chuỗi thời gian: làm sạch dữ liệu, chuẩn hóa Min-Max/Zero-Mean, trượt cửa sổ thời gian và phân chia tập dữ liệu.
    • Cung cấp tài liệu tham khảo chi tiết về công thức toán học, thuật toán xác định trọng số $\omega$ trong mô hình song song và cơ chế hoạt động của 4 phương pháp lai ghép 2 mô hình học sâu.
    • Cung cấp phương pháp luận thực nghiệm so sánh giữa các thuật toán tối ưu hóa siêu tham số (RandomSearch, GridSearch, BayesSearch).

Câu hỏi thường gặp

1. Khóa luận nghiên cứu và thử nghiệm những mô hình học sâu đơn lẻ nào?

Khóa luận tập trung nghiên cứu 4 mô hình học sâu đơn lẻ tiêu biểu gồm: Mạng nơ-ron tích chập (CNN 1D), Mạng nơ-ron hồi quy (RNN), Mạng bộ nhớ dài-ngắn hạn (LSTM) và Mạng đơn vị cổng hồi quy (GRU).

2. Tác giả đã đề xuất và triển khai bao nhiêu phương pháp lai ghép mô hình?

Tác giả triển khai 4 phương pháp lai ghép gồm:

  1. Mô hình tuần tự (gồm 12 biến thể kết hợp cặp giữa CNN, RNN, LSTM, GRU).
  2. Mô hình tuần tự cộng (dự đoán giá trị gốc và cộng phần dư sai số).
  3. Mô hình tuần tự nhân (dự đoán giá trị gốc và nhân với tỷ lệ sai số).
  4. Mô hình song song (chạy đồng thời 2 mô hình và tổng hợp kết quả theo trọng số $\omega$).

3. Trọng số $\omega$ trong mô hình song song được xác định như thế nào?

Trọng số $\omega$ được xác định dựa trên kết quả dự đoán của hai mô hình ($A$ và $B$) cùng giá trị thực tế $X$ theo công thức: $\omega = \frac{\sum ((B - A) * (X - A))}{\sum (B - A)^2}$. Giá trị $\omega$ được gán bằng 0 nếu kết quả tính ra nhỏ hơn 0, giữ nguyên nếu nằm trong đoạn $[0, 1]$, và gán bằng 1 nếu lớn hơn 1. Dự báo cuối cùng là $\hat{Y} = \omega A + (1 - \omega) B$.

4. Khóa luận thực hiện thực nghiệm trên những tập dữ liệu nào và thuộc loại dữ liệu gì?

Thực nghiệm được tiến hành trên 4 tập dữ liệu chuỗi thời gian thực tế: Dữ liệu thời tiết, Dữ liệu giá vàng, Dữ liệu dầu thô và Dữ liệu giá bia. Tất cả đều là dữ liệu chuỗi thời gian dạng số, có tính liên tục và phục vụ bài toán dự báo đơn biến.

5. Những phương pháp tối ưu hóa siêu tham số nào được khảo sát trong đề tài?

Đề tài so sánh 3 phương pháp tối ưu hóa siêu tham số là GridSearchCV, RandomSearchCV và BayesSearchCV để tìm kiếm bộ tham số tối ưu cho các mô hình đơn và mô hình lai ghép.

Kết luận

Khóa luận tốt nghiệp ngành Kỹ thuật Dữ liệu của nhóm tác giả đã xây dựng thành công khung dự báo chuỗi thời gian toàn diện dựa trên 4 phương pháp lai ghép 2 mô hình học sâu từ các khối kiến trúc CNN, RNN, LSTM và GRU. Thông qua quy trình tiền xử lý chặt chẽ và tối ưu hóa siêu tham số tự động, nghiên cứu đã chứng minh thực nghiệm trên 4 bộ dữ liệu thực tế rằng các mô hình lai ghép mang lại độ chính xác dự báo cao hơn so với mô hình đơn lẻ. Đây là tài liệu tham khảo có giá trị cao về mặt lý thuyết mô hình hóa và kỹ thuật cài đặt thực nghiệm cho bài toán dự báo chuỗi thời gian trong lĩnh vực kỹ thuật dữ liệu.