Luận văn dự báo chuỗi thời gian bằng mô hình lai ghép FFNN và KNN - ĐH Sư phạm Kỹ thuật TP.HCM

Nghiên cứu dự báo chuỗi thời gian bằng mô hình lai ghép FFNN và KNN tại HCMUTE. Tài liệu tối ưu hóa thuật toán và thực nghiệm trên dữ liệu thực tế.

• Tác giả: Lý Quốc Dũng
• Người hướng dẫn: TS. Nguyễn Thành Sơn
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật dữ liệu
• Đề tài: Dự báo chuỗi thời gian bằng mô hình lai ghép Feedforward Neural Network và K-Nearest Neighbors
• Loại tài liệu: Luận văn tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan dự báo chuỗi thời gian lai ghép FFNN và KNN tại HCMUTE

Dự báo chuỗi thời gian là bài toán phân tích các quan sát theo trình tự thời gian. Dữ liệu này biến thiên liên tục trong tài chính, thời tiết và kinh tế. Mô hình truyền thống thường khó xử lý dữ liệu phức tạp. Đề tài tốt nghiệp tại Đại học Sư phạm Kỹ thuật TP.HCM (HCMUTE) giải quyết bài toán này. Nghiên cứu do sinh viên ngành Kỹ thuật Dữ liệu thực hiện dưới sự hướng dẫn của TS. Nguyễn Thành Sơn. Đề tài tập trung xây dựng mô hình lai ghép giữa Feedforward Neural Network (FFNN) và K-Nearest Neighbors (KNN). Sự kết hợp này dung hòa ưu điểm của mô hình học sâu và học máy phi tham số. Mạng FFNN xử lý tốt xu hướng phi tuyến tính toàn cục. Thuật toán KNN nắm bắt hiệu quả các mẫu lân cận cục bộ. Phương pháp lai ghép mang lại độ chính xác vượt trội trên nhiều tập dữ liệu thực tế. Quá trình xử lý bao gồm tiền xử lý, chuẩn hóa dữ liệu, huấn luyện mô hình và đánh giá sai số. Hệ thống cung cấp một giải pháp đáng tin cậy cho bài toán dự báo chuỗi thời gian.

1.1. Bối cảnh nghiên cứu đề tài tại Khoa Công nghệ Thông tin HCMUTE

Trường Đại học Sư phạm Kỹ thuật TP.HCM luôn chú trọng nghiên cứu ứng dụng công nghệ cao. Khoa Công nghệ Thông tin và Bộ môn Kỹ thuật Dữ liệu đã định hướng nghiên cứu khai phá dữ liệu thực tiễn. Đề tài luận văn tốt nghiệp khóa 2019-2023 tập trung vào bài toán dự báo chuỗi thời gian. Nhóm sinh viên đã nghiên cứu sâu các lý thuyết hiện đại. TS. Nguyễn Thành Sơn trực tiếp chỉ đạo chuyên môn trong suốt quá trình triển khai. Môi trường học thuật tại HCMUTE tạo điều kiện thuận lợi về tài nguyên tính toán. Nghiên cứu đáp ứng nhu cầu cấp thiết về xử lý dữ liệu lớn. Kết quả đạt được minh chứng cho chất lượng đào tạo chuyên sâu ngành Kỹ thuật Dữ liệu.

1.2. Mục tiêu và ý nghĩa thực tiễn của mô hình dự báo lai ghép

Mục tiêu trọng tâm của nghiên cứu là xây dựng mô hình dự báo lai ghép tối ưu. Việc kết hợp FFNN và KNN giúp hạn chế nhược điểm khi chạy riêng lẻ từng thuật toán. Dự báo chuỗi thời gian đóng vai trò quyết định trong việc ra quyết định kinh doanh. Kết quả dự báo chuẩn xác giúp doanh nghiệp giảm thiểu rủi ro tài chính. Trong quản lý năng lượng và sản xuất, dự báo hỗ trợ cân bằng cung cầu hiệu quả. Đề tài mở ra giải pháp công nghệ có khả năng tùy biến cao cho các loại chuỗi dữ liệu khác nhau. Nghiên cứu tạo tiền đề vững chắc cho việc phát triển các hệ thống phân tích dữ liệu tự động tại Việt Nam.

II. Hạn chế dự báo chuỗi thời gian bằng mô hình đơn lẻ tại HCMUTE

Dữ liệu chuỗi thời gian trong thực tế luôn chứa đựng yếu tố ngẫu nhiên và phi tuyến phức tạp. Các mô hình thống kê truyền thống như ARIMA chỉ hoạt động tốt với chuỗi dừng tuyến tính. Khi gặp chuỗi phi tuyến có biến động mạnh, sai số dự đoán tăng cao. Mạng nơ-ron truyền thẳng (FFNN) có khả năng xấp xỉ hàm phi tuyến vượt trội. Dẫu vậy, FFNN đòi hỏi cấu hình mạng phức tạp và dễ rơi vào cực tiểu cục bộ. Quá trình huấn luyện FFNN cũng tốn nhiều tài nguyên khi dữ liệu chứa nhiều nhiễu. Ngược lại, thuật toán K-Nearest Neighbors (KNN) là phương pháp học máy lười biếng. KNN dựa vào khoảng cách láng giềng để suy diễn giá trị mới mà không cần huấn luyện tham số. Tuy nhiên, KNN lại rất nhạy cảm với dữ liệu nhiễu và chiều không gian lớn. Khi đứng riêng lẻ, cả FFNN và KNN đều để lại khoảng trống sai số nhất định. Nghiên cứu tại HCMUTE đã chỉ rõ những điểm nghẽn này qua thực nghiệm so sánh. Nhu cầu kết hợp hai mô hình thành một thể thống nhất là bước đi mang tính tất yếu.

2.1. Thách thức từ tính phi tuyến và nhiễu trong dữ liệu chuỗi

Chuỗi thời gian thực tế thường biến thiên bất thường do tác động ngoại cảnh. Hiện tượng phi tuyến tính làm cho các quy luật biến đổi trở nên khó lường. Nhiễu ngẫu nhiên trong quá trình thu thập dữ liệu cũng gây sai lệch lớn. Sự xuất hiện của các giá trị ngoại lai dễ làm mô hình học sai hướng. Các cấu trúc mùa vụ phức tạp đòi hỏi giải thuật phải ghi nhớ cả mẫu dài hạn và ngắn hạn. Mô hình tuyến tính đơn giản hoàn toàn bất lực trước những đặc tính này. Do đó, việc làm sạch và tiền xử lý dữ liệu đòi hỏi kỹ thuật chuẩn hóa chặt chẽ. Đây là thách thức lớn đối với các nhà nghiên cứu dữ liệu.

2.2. Nhược điểm cốt lõi khi sử dụng độc lập mô hình FFNN hoặc KNN

Sử dụng độc lập FFNN mang lại nguy cơ quá khớp nếu tập dữ liệu nhỏ. Thời gian hội tụ của mạng cũng phụ thuộc nhiều vào tốc độ học và khởi tạo trọng số ban đầu. Khi dữ liệu có biến động cục bộ bất ngờ, FFNN khó phản ứng nhanh nhạy. Ngược lại, mô hình KNN độc lập lại phụ thuộc hoàn toàn vào tham số k láng giềng. KNN gặp trở ngại lớn khi tính toán khoảng cách trong không gian nhiều chiều. Bộ nhớ lưu trữ dữ liệu huấn luyện của KNN tăng tỷ lệ thuận với kích thước mẫu. Sự thiếu hụt cơ chế học đặc trưng tổng quát khiến KNN đơn lẻ dễ dự báo chệch xu hướng. Những hạn chế này thúc đẩy nhu cầu liên kết cả hai thuật toán.

III. Phương pháp lai ghép FFNN và KNN trong dự báo chuỗi thời gian

Mô hình lai ghép tuần tự giữa FFNN và KNN là giải pháp chủ đạo trong luận văn tại HCMUTE. Quy trình xử lý bắt đầu bằng bước chuẩn hóa dữ liệu qua phương pháp Min-Max hoặc Z-score. Chuẩn hóa đưa dữ liệu về thang đo đồng nhất và loại bỏ sai số thang đo. Tiếp theo, mô hình thứ nhất được áp dụng để dự báo thành phần xu hướng chính. Thành phần sai số chênh lệch còn lại giữa giá trị thực tế và giá trị dự báo sẽ được thu thập. Mô hình thứ hai tiếp nhận chuỗi phần dư này để tiến hành học và bù sai số cục bộ. Kết quả cuối cùng là tổng hợp của giá trị dự báo chính và giá trị bù sai số. Kiến trúc tuần tự này cho phép hệ thống vừa nắm bắt xu thế lớn, vừa chỉnh sửa sai lệch chi tiết. Toàn bộ mã nguồn triển khai trên ngôn ngữ Python với hệ sinh thái Anaconda chuyên dụng. Các gói thư viện khoa học dữ liệu hỗ trợ tối ưu hóa tham số mạng và khoảng cách láng giềng. Giải pháp mang lại tính toán ổn định và độ tin cậy vượt trội.

3.1. Kiến trúc lai ghép tuần tự giữa mạng FFNN và thuật toán KNN

Kiến trúc lai ghép tuần tự hoạt động theo cơ chế bù trừ sai số hai giai đoạn. Trong mô hình tuần tự KNN-FFNN hoặc FFNN-KNN, một giải thuật giữ vai trò xử lý sơ cấp. Thuật toán đầu tiên dự báo mẫu hình căn bản của chuỗi thời gian. Sai số phần dư sinh ra được xem như một chuỗi con chứa quy luật ẩn. Giải thuật thứ hai đảm nhận vai trò mô hình hóa chuỗi phần dư này. Cơ chế kết hợp kết quả giúp loại trừ triệt để sai số tích lũy. Mô hình lai tận dụng triệt để tính phi tuyến của mạng nơ-ron và khả năng tham chiếu láng giềng gần. Nhờ vậy, kết quả dự báo có độ khớp cao với dữ liệu thực nghiệm.

3.2. Tiền xử lý dữ liệu và thang đo đánh giá MAE MSE RMSE

Khâu tiền xử lý quyết định phần lớn độ chính xác của mô hình học máy. Phương pháp chuẩn hóa Z-score đưa kỳ vọng dữ liệu về mức không với độ lệch chuẩn đơn vị. Thao tác chuẩn hóa Min-Max co giãn các giá trị biến thiên về khoảng không đến một. Sau khi huấn luyện, hiệu năng dự báo được kiểm định nghiêm ngặt qua nhiều chỉ số thống kê. Thang đo sai số tuyệt đối trung bình (MAE) phản ánh biên độ sai lệch trung bình thực tế. Chỉ số sai số bình phương trung bình (MSE) phạt nặng các lỗi dự báo có độ lớn bất thường. Căn bậc hai sai số bình phương trung bình (RMSE) giúp giữ nguyên thang đo ban đầu của chuỗi. Bộ ba thang đo này cung cấp đánh giá toàn diện về chất lượng mô hình.

IV. Kết quả và ứng dụng mô hình lai ghép FFNN và KNN tại HCMUTE

Kết quả nghiên cứu tại HCMUTE khẳng định tính ưu việt của mô hình lai ghép tuần tự FFNN và KNN. So với các giải thuật đơn lẻ, mô hình lai giúp chỉ số RMSE và MAE giảm rõ rệt. Quá trình kiểm nghiệm trên các bộ dữ liệu chuỗi thời gian thực chứng minh khả năng thích ứng cao. Hệ thống phản ứng nhạy bén trước biến động bất thường và duy trì độ ổn định lâu dài. Sự kết hợp này mở ra hướng ứng dụng rộng mở trong nhiều lĩnh vực kinh tế - xã hội. Doanh nghiệp có thể áp dụng mô hình để dự báo nhu cầu thị trường, giá cổ phiếu hoặc biến động cung ứng. Trong ngành năng lượng, mô hình hỗ trợ dự báo chính xác phụ tải điện lưới quốc gia. Lĩnh vực khí tượng thủy văn cũng hưởng lợi từ việc dự báo lưu lượng mưa và nhiệt độ. Luận văn đã xây dựng thành công bộ khung thử nghiệm chuẩn hóa trên Python. Đây là tài liệu tham khảo giá trị cho sinh viên và giới nghiên cứu khoa học dữ liệu.

4.1. Đánh giá hiệu năng thực nghiệm và mức độ giảm thiểu sai số

Thực nghiệm cho thấy mô hình lai ghép đạt kết quả vượt trội trên mọi tập dữ liệu mẫu. Việc bù sai số tuần tự giúp triệt tiêu độ lệch cố hữu của từng thuật toán thành phần. Giá trị MSE giảm xuống mức tối thiểu, chứng minh khả năng kháng nhiễu và hạn chế ngoại lai hiệu quả. So với mô hình FFNN thuần túy, mô hình kết hợp rút ngắn thời gian hội tụ và không bị tắc tại cực tiểu địa phương. So với thuật toán KNN đơn lẻ, giải pháp hạn chế tình trạng quá phụ thuộc vào mật độ láng giềng. Các đồ thị dự báo bám sát đường cong thực tế của chuỗi dữ liệu gốc. Mức độ tin cậy của mô hình đáp ứng hoàn hảo các tiêu chuẩn kiểm định học thuật khắt khe.

4.2. Khả năng mở rộng và triển khai thực tế trong công nghiệp

Mô hình lai FFNN và KNN sở hữu khả năng mở rộng linh hoạt trên các hệ thống phân tán. Toàn bộ kiến trúc được module hóa bằng Python, tạo thuận lợi cho việc tích hợp vào hệ thống phần mềm doanh nghiệp. Các nhà phân tích dữ liệu có thể dễ dàng thay đổi số lượng tầng ẩn hoặc giá trị k để thích ứng với chuỗi dữ liệu mới. Giải pháp giúp giảm chi phí đầu tư hạ tầng tính toán so với các mô hình học sâu khổng lồ. Ứng dụng thực tiễn trải dài từ quản trị chuỗi cung ứng đến giám sát tài nguyên thông minh. Hướng nghiên cứu tiếp theo có thể mở rộng tích hợp thêm các thuật toán tối ưu hóa bầy đàn. Tiềm năng thương mại hóa và ứng dụng thực tiễn của công trình là rất lớn.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: PHẦN NỘI DUNG TỔNG QUAN CHUỖI THỜI GIAN VÀ DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN 1. CHUỖI THỜI GIAN 1. Khái niệm Chuỗi thời gian (time series) là một chuỗi các điểm dữ liệu xảy ra theo thứ tự thời gian, một chuỗi thời gian sẽ theo dõi chuyển động của các điểm dữ liệu đã chọn như: sóng điện trong não, đo nhiệt độ, lượng mưa, dự báo giá cổ phiếu…[4] Hình 1.1 Hình ảnh minh họa chuỗi thời gian ngẫu nhiên Dữ liệu chuỗi thời gian (time series data) là dữ liệu được đánh dấu thời gian, một chuỗi các điểm dữ liệu được lập chỉ mục theo thứ tự thời gian. Các điểm dữ liệu này thường bao gồm các phép đo liên tiếp được thực hiện từ cùng một nguồn trong một khoảng thời gian cố định và được sử dụng để theo dõi sự thay đổi theo thời gian [4].

Cửa sổ trượt là một kỹ thuật tính toán giúp tạo các chuỗi con liên tiếp trong chuỗi thời gian, nhằm mục đích giảm việc dùng vòng lặp lồng nhau và thay thế bằng một vòng lập đơn các bước thời gian trước để giảm độ phức tạp thời gian. Kỹ thuật này sử dụng một cửa sổ có kích thước cố định di chuyển theo dữ liệu chuỗi thời gian. Cửa sổ này có thể chứa một số lượng giá trị dữ liệu được xác định trước hoặc có thể thay đổi để phù 19 hợp với từng mục đích sử dụng. Cửa sổ trượt là cơ sở để biến bất kỳ tập dữ liệu nào thành một bài toán học có giám sát [6].2 Phương pháp cửa sổ trượt cho dữ liệu đường huyết theo chuỗi thời gian 1.

Đặc điểm của chuỗi thời gian Để có thể phân tích và đưa ra các dự báo tốt từ việc nghiên cứu các hành vi trong quá khứ của một chuỗi thời gian cũng như xem xét và đánh giá các biến động bằng biểu đồ để xác định dữ liệu hiện tại thuộc những thành phần nào của chuỗi thời gian từ đó tìm ra được phương pháp thích hợp cho bài toán.3 Hình minh họa thành phần Trend Xu hướng có 2 loại là tuyến tính và phi tuyến tính. Xu hướng tuyến tính là xu hướng tăng hoặc giảm của dữ liệu được mô tả bằng đường thẳng, ngược lại xu hướng phi tuyến tính được thể hiện ở dạng đường cong [6].4 Hình minh họa thành phần Seasonal Tính thời vụ thể hiện những biến động định kỳ các chu kỳ có thể diễn ra một mùa cụ thể như xuân, hạ, thu, đông hoặc cũng có thể là mùa thương mại, mùa nghỉ lễ [6]. - Cycle: Cycle (chu kỳ): là một sự tồn tại tuần hoàn mà dữ liệu tăng hoặc giảm theo một chu kỳ cố định. Thời gian của một chu kỳ có thể 1 tháng, 1 quý, 1 năm, 2 năm, 10 năm… [6].5 Hình ảnh minh họa thành phần Cycle 21 - Noise Noise là sự thay đổi đột ngột trong việc quan sát mô hình không thể giải thích được.

Những thành phần này không phù hợp với phần còn lại của chuỗi và có thể gây ảnh hưởng đến việc phân tích, do đó ảnh hưởng đến khả năng dự báo của mô hình chuỗi thời gian [6].6 Hình ảnh minh họa thành phần Noise Chuỗi thời gian dừng (Stationary) là một chuỗi không phụ thuộc vào thời điểm mà chuỗi được quan sát đồng thời không có các yếu tố xu hướng hoặc thời vụ - tính xu hướng và tính thời vụ sẽ ảnh hưởng đến giá trị của chuỗi thời gian tại thời gian khác nhau. Ví dụ: Các hệ số tự tương quan giữa yt, yt-1, yt-2, …, yt-p sẽ là như nhau; nhưng khác với các hệ số tự tương quan giữa yt và yt-1, yt-2, …, yt-p. Nếu ta chia dữ liệu thành các giai đoạn khác nhau, thì giản đồ tự tương quan của các giai đoạn đó là như nhau [12]. Trong nghiên cứu về chuỗi thời gian người ta thường giả định thời gian có tính dừng phần lớn do các công cụ sử dụng cho phân tích và dự báo chuỗi thời gian giả định 22 thời gian có tính dừng.

Chuỗi thời gian không cố định thì phân phối sẽ thay đổi liên tục theo thời gian và nếu chỉ quan sát một lần cho mỗi khoảng thời gian thì rất khó để đưa ra các suy luận về chuỗi thời gian đó [12]. ĐỘ ĐO TRONG BÀI TOÁN DỰ BÁO CHUỖI THỜI GIAN 1. Đọ đo Euclidean Khoảng cách giữa hai điểm trong không gian Euclidean là độ dài đoạn thẳng nối hai điểm với nhau. Khoảng cách giữa các điểm này sẽ được đưa vào tọa độ Descartes và sử dụng định lý Pythagore để tính khoảng cách giữa các điểm [11].7 Hình ảnh minh họa độ đo Euclide trong tọa đồ Descartes Công thức: 𝑑 = √(𝑥2 − 𝑥1 )2 + (𝑦2 − 𝑦1 )2 (1.1) Trong đó: x1, y1: tọa độ điểm thứ nhất x2, y2: tọa độ điểm thứ hai d: khoảng cách giữa (x1, y1) và (x2, y2) Trong time series, khoảng cách giữa hai chuỗi thời gian là khoảng cách giữa các điểm trong không gian n chiều, với n là số lượng thời điểm trong chuỗi thời gian.

Euclide thường được dùng làm độ đo khoảng cách trong các bài toán phân tích chuỗi thời gian. Tuy nhiên trong không gian đa chiều, việc sử dụng Euclide là độ đo chuẩn thì 23 không phù hợp vì khó có thể quan sát một các trực quan và sự bùng nổ theo cấp số nhân do số lượng chiều quan sát dẫn đến việc khó tính khoảng cách Euclide [11].8 Hình ảnh minh họa độ đo Euclide trong chuỗi thời gian Khoảng cách Euclide được dùng để so sánh các chuỗi thời gian, nếu khoảng cách giữa hai chuỗi thời gian càng nhỏ càng giống nhau và ngược lại. Tuy nhiên Euclide không phù hợp với các chuỗi thời gian có thay đổi nhanh chóng trong một khoảng thời gian ngắn hoặc các chuỗi có độ dài khác nhau [11]. Độ đo Dynamic Time Warping Dynamic Time Warping (DTW) là thước đo độ tương đồng giữa hai chuỗi thời gian không đồng nhất với nhau về chiều dài vài hình dạng.

DTW tìm kiếm đường có độ dài ngắn nhất để nối các điểm trong chuỗi thời gian, những đường này được gọi là đường cong tối ưu. Đường cong tối ưu được tìm thấy bằng cách sử dụng Dynamic Programming để lưu trữ các giá trị khoảng cách tối ưu giữa hai chuỗi thời gian [11].9 Hình ảnh minh họa độ đo Dynamic Time Warping trong chuỗi thời gian 24 Công thức: D(i, j) = |xi – yj| + min{D(i-1, j); D(i-1, j-1); D(i, j-1)} (1.2) Trong đó: x, y: là hai chuỗi thời gian cần tính khoảng cách i, j: là vị trí điểm dữ liệu trên hai chuỗi thời gian Ưu điểm: DTW là một thước đo linh hoạt khác với thước đo Euclide có thể so sánh chuỗi thời gian có độ dài khác và hình dạng khác nhau bằng cách làm cong một chuỗi dọc theo trục thời gian để khớp với chuỗi còn lại. DTW là một phương pháp phi tham số phù hợp để phân tích dữ liệu chuỗi thời gian có xu hướng phi tuyến tính hoặc phân phối không bình thường [13]. Tầm quan trọng của dự báo và chuỗi thời gian Dự báo có các ứng dụng trong các ngành công nghiệp khác nhau.

Có rất nhiều ứng dụng thực tế bao gồm: dự báo thời tiết, dự báo kinh tế, dự báo chăm sóc sức khỏe, dự báo tài chính, dự báo kinh doanh, v. Về cơ bản, bất kỳ ai có dữ liệu lịch sử nhất quán đều có thể phân tích dữ liệu đó bằng các phương pháp phân tích chuỗi thời gian, sau đó lập mô hình, dự báo và dự đoán. Đối với một số ngành, toàn bộ mục đích của phân tích chuỗi thời gian là để hỗ trợ dự báo. Một số công nghệ, chẳng hạn như phân tích tăng cường, thậm chí có thể tự động chọn dự báo trong số các thuật toán thống kê khác nếu nó mang lại sự chắc chắn nhất.

- Chuỗi thời gian được nhiều tổ chức, công ty sử dụng để dự báo xu hướng lãi, lỗ trong kinh doanh của họ từ đó có thể đưa ra các quyết định kinh doanh quan trọng trong quá trình phát triển. - Được sử dụng để so sánh xu hướng hiện tại với xu hướng trong quá khứ đã xảy ra để có thể ước tính và chuẩn bị xu hướng trong tương lai. - Các biến thể của chu kỳ trong một khoảng thời gian bằng cách sử dụng chuỗi thời gian sẽ cho phép ta hiểu được chu kỳ kinh doanh một cách khá hiệu quả. 25 - Được sử dụng để hiểu một sự kiện có thể thay đổi tính năng của nó trong một khoảng thời gian và do đó có thể xác định độ tin cậy, tính linh hoạt và các tính năng quan trọng khác.

Các mẫu tính hiệu phức có thể áp dụng một số phép biến đổi như phân tích Fourier để khử nhiễu biểu đồ và chia mẫu phức tạp thành một loạt các mẫu đơn giản hơn và do đó có thể hiểu rõ hơn. BÀI TOÁN DỰ BÁO CHUỖI THỜI GIAN Dự báo chuỗi thời gian (time series forecasting) là một kỹ thuật sử dụng dữ liệu trong quá khứ và hiện tại để dự đoán các giá trị tương lai trong một khoảng thời gian hoặc một điểm cụ thể [8]. Tuy nhiên một dự đoán không phải lúc nào cũng là chính xác và khả năng các dự báo có thể rất khác nhau đặc biệt là khi xử lý các biến thường dao động trong dữ liệu chuỗi thời gian cũng như các yếu tố nằm ngoài tầm kiểm soát. Tiền xử lý dữ liệu Tiền xử lý dữ liệu là một kỹ thuật xử lý các dữ liệu thô vì dữ liệu trong thực tế thường bị thiếu giá trị không có đặc tính hay xu hướng cụ thể, không nhất quán và tiềm ẩn nhiều lỗi gây ảnh hưởng đến quá trình phân tích và dự báo.

Quá trình tiền xử lý: - Làm sạch dữ liệu: dữ liệu được làm sạch thông qua việc xử lý các missing có thể dùng Interpolate để điền vào các giá trị bị thiếu bằng cách lấy trung bình của các giá trị trước và sau đó. Loại bỏ các giá trị bị nhiễu bằng cách thay thế các giá trị nằm ngoài khoảng x độ lệch chuẩn với giá trị trung bình của dữ liệu với x là giá trị quy định phù hợp với tập dữ liệu. - Tích hợp dữ liệu: dữ liệu với được biểu diễn khác nhau cùng ở trong một thuộc tính sẽ gây ra sự xung đột ví dụ giá trị null xuất hiện trong cột dữ liệu giá trị tạo sự khác biệt nên cần xử lý bằng cách thay các giá trị null bằng 0. - Chuẩn hóa dữ liệu: Chuẩn hóa trung bình zero (Zero-Mean normalization): là phương pháp đưa dữ liệu trượt theo chiều dọc sao cho mức trung bình bằng 0 [11].3) Trong đó: mean(Q) là giá thọ trung bình của Q.

var(Q) là độ lệch chuẩn của Q.