Luận văn thạc sĩ khoa học máy tính ứng dụng phát hiện chuỗi con bất thường trong dự báo dữ liệu chuỗi thời gian bằng phương pháp holt winters

Luận văn thạc sĩ nghiên cứu ứng dụng phương pháp Holt-Winters trong phát hiện chuỗi con bất thường trong dự báo dữ liệu chuỗi thời gian.

• Tác giả: Trần Duy Lộc
• Người hướng dẫn: PGS. Dương Tuấn Anh
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Ứng Dụng Phát Hiện Chuỗi Con Bất Thường Trong Dự Báo Dữ Liệu Chuỗi Thời Gian Bằng Phương Pháp Holt-Winters
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT
• LỜI CAM ĐOAN
• DANH MỤC CÁC HÌNH MINH HỌA
• DANH MỤC CÁC BẢNG
• MỞ ĐẦU
• 1. Chương 1: Phát biểu vấn đề
• 1.1. Dữ liệu chuỗi thời gian
• 1.2. Phát hiện bất thường trên dữ liệu chuỗi thời gian
• 1.3. Dự báo trên dữ liệu chuỗi thời gian
• 1.4. Mục tiêu và giới hạn của đề tài
• 1.5. Cấu trúc luận văn
• 2. Chương 2: Cơ sở lý thuyết
• 2.1. Một số khái niệm cơ bản
• 2.2. Hệ số tự tương quan, hàm tự tương quan, hàm tự tương quan riêng phần
• 2.3. Các thành phần của chuỗi thời gian
• 2.4. Dự báo dữ liệu chuỗi thời gian bằng phương pháp làm trơn hàm mũ Holt Winters [5]
• 2.5. Các phương pháp đánh giá sai số trong dự báo chuỗi thời gian
• 3. Chương 3: Tổng thuật các công trình liên quan
• 3.1. Các phương pháp tính độ đo tương tự
• 3.2. Các phương pháp biểu diễn dữ liệu chuỗi thời gian
• 3.3. Các giải thuật phát hiện bất thường
• 3.4. Các mô hình dự báo chuỗi thời gian khác
• 4. Chương 4: Hiện thực và thực nghiệm
• 4.1. Mô hình hiện thực
• 4.2. So sánh và đánh giá kết quả thực nghiệm
• 5. Chương 5: Kết luận
• 5.1. Kết quả đạt được
• 5.2. Hướng phát triển
• DANH MỤC CÁC TÀI LIỆU THAM KHẢO
• PHỤ LỤC A: BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH-VIỆT
• PHỤ LỤC B: HƯỚNG DẪN SỬ DỤNG CHƯƠNG TRÌNH
• PHỤ LỤC C: LÝ LỊCH TRÍCH NGANG

Tóm tắt

I. Tổng Quan Về Dự Báo Dữ Liệu Chuỗi Thời Gian Holt Winters

Trong kỷ nguyên số, dữ liệu chuỗi thời gian đóng vai trò then chốt trong nhiều lĩnh vực, từ kinh tế đến khoa học kỹ thuật. Việc dự báo chính xác dữ liệu chuỗi thời gian trở nên vô cùng quan trọng. Phương pháp Holt-Winters nổi lên như một giải pháp hiệu quả, đặc biệt với dữ liệu có tính xu hướng và mùa vụ. Tuy nhiên, phương pháp này vẫn còn những hạn chế nhất định, đặc biệt khi đối mặt với các yếu tố bất thường trong dữ liệu. Luận văn này tập trung vào việc cải tiến phương pháp Holt-Winters để nâng cao độ chính xác dự báo, đặc biệt trong bối cảnh dữ liệu chứa đựng nhiều yếu tố nhiễu.

1.1. Ứng Dụng Rộng Rãi Của Dữ Liệu Chuỗi Thời Gian

Dữ liệu chuỗi thời gian xuất hiện ở khắp mọi nơi, từ số liệu chứng khoán biến động hàng ngày đến dữ liệu thời tiết thay đổi theo giờ. Việc phân tích và dự báo dữ liệu chuỗi thời gian giúp các nhà quản lý đưa ra quyết định sáng suốt, từ đó tối ưu hóa hoạt động kinh doanh và quản lý rủi ro hiệu quả. Các lĩnh vực như y tế, năng lượng, và giao thông vận tải cũng hưởng lợi từ khả năng dự báo chính xác dữ liệu chuỗi thời gian.

1.2. Giới Thiệu Phương Pháp Holt Winters Trong Dự Báo

Phương pháp Holt-Winters là một kỹ thuật dự báo mạnh mẽ, đặc biệt phù hợp với dữ liệu chuỗi thời gian có tính xu hướng và mùa vụ. Phương pháp này sử dụng ba thành phần chính: mức độ (level), xu hướng (trend), và mùa vụ (seasonality) để dự đoán các giá trị tương lai. Ưu điểm của Holt-Winters là tính đơn giản, dễ triển khai và yêu cầu ít dữ liệu lịch sử. Tuy nhiên, độ chính xác của phương pháp có thể bị ảnh hưởng bởi các bất thường trong dữ liệu.

II. Thách Thức Khi Dự Báo Chuỗi Thời Gian Với Dữ Liệu Bất Thường

Một trong những thách thức lớn nhất trong dự báo dữ liệu chuỗi thời gian là sự hiện diện của các bất thường. Các bất thường này có thể là những giá trị ngoại lệ, những sự kiện đột ngột, hoặc những thay đổi bất thường trong xu hướng. Khi dữ liệu chuỗi thời gian chứa đựng các bất thường, các phương pháp dự báo truyền thống, bao gồm cả Holt-Winters, thường cho kết quả kém chính xác. Việc xác định và xử lý các bất thường là bước quan trọng để cải thiện độ tin cậy của dự báo.

2.1. Ảnh Hưởng Của Bất Thường Đến Độ Chính Xác Dự Báo

Các bất thường trong dữ liệu chuỗi thời gian có thể gây ra sai lệch đáng kể trong kết quả dự báo. Phương pháp Holt-Winters, vốn dựa trên việc làm trơn dữ liệu lịch sử, dễ bị ảnh hưởng bởi các giá trị ngoại lệ. Một bất thường duy nhất có thể làm thay đổi các tham số của mô hình, dẫn đến dự báo sai lệch cho các giai đoạn tiếp theo. Do đó, việc loại bỏ hoặc giảm thiểu ảnh hưởng của bất thường là rất quan trọng.

2.2. Các Loại Bất Thường Thường Gặp Trong Chuỗi Thời Gian

Có nhiều loại bất thường khác nhau có thể xuất hiện trong dữ liệu chuỗi thời gian. Một số bất thường là do lỗi đo lường hoặc nhập liệu, trong khi những bất thường khác phản ánh các sự kiện thực tế, chẳng hạn như khủng hoảng kinh tế hoặc thiên tai. Việc phân loại và hiểu rõ nguyên nhân gây ra bất thường giúp chúng ta lựa chọn phương pháp xử lý phù hợp. Ví dụ, các bất thường do lỗi có thể được loại bỏ, trong khi các bất thường do sự kiện thực tế có thể cần được xử lý bằng các kỹ thuật khác.

III. Phương Pháp Cải Tiến Holt Winters Phát Hiện và Xử Lý Bất Thường

Để giải quyết vấn đề bất thường trong dữ liệu chuỗi thời gian, luận văn này đề xuất một phương pháp cải tiến Holt-Winters bao gồm hai bước chính: phát hiện bất thường và xử lý bất thường. Đầu tiên, một giải thuật phát hiện bất thường được áp dụng để xác định các điểm dữ liệu nghi ngờ. Sau đó, các bất thường này được xử lý bằng phương pháp làm trơn, chẳng hạn như trung bình động, để giảm thiểu ảnh hưởng của chúng đến quá trình dự báo. Cuối cùng, mô hình Holt-Winters được áp dụng trên dữ liệu chuỗi thời gian đã được làm sạch để đưa ra dự báo chính xác hơn.

3.1. Giải Thuật Phát Hiện Bất Thường Trong Chuỗi Thời Gian

Việc phát hiện bất thường là bước quan trọng đầu tiên trong phương pháp cải tiến. Có nhiều giải thuật phát hiện bất thường khác nhau, từ các phương pháp thống kê đơn giản đến các kỹ thuật học máy phức tạp. Trong luận văn này, giải thuật phát hiện bất thường chân phương được sử dụng để xác định các điểm dữ liệu có giá trị khác biệt đáng kể so với các điểm lân cận. Giải thuật này có ưu điểm là đơn giản, dễ triển khai và hiệu quả trong việc phát hiện các bất thường rõ ràng.

3.2. Kỹ Thuật Xử Lý Bất Thường Bằng Trung Bình Động

Sau khi phát hiện bất thường, bước tiếp theo là xử lý chúng để giảm thiểu ảnh hưởng đến quá trình dự báo. Phương pháp trung bình động đơn giản được sử dụng để làm trơn các bất thường bằng cách thay thế giá trị bất thường bằng trung bình của các giá trị lân cận. Phương pháp này giúp loại bỏ hoặc giảm thiểu yếu tố bất thường khỏi dữ liệu chuỗi thời gian, từ đó cải thiện độ chính xác của dự báo Holt-Winters.

3.3. Ứng Dụng Holt Winters Sau Khi Xử Lý Bất Thường

Sau khi dữ liệu chuỗi thời gian đã được xử lý bất thường, mô hình Holt-Winters được áp dụng để dự báo các giá trị tương lai. Việc áp dụng Holt-Winters trên dữ liệu chuỗi thời gian đã được làm sạch giúp mô hình tập trung vào các xu hướng và mùa vụ thực tế, thay vì bị ảnh hưởng bởi các giá trị ngoại lệ. Kết quả là, dự báo trở nên chính xác và đáng tin cậy hơn.

IV. Thực Nghiệm và Đánh Giá Hiệu Quả Phương Pháp Cải Tiến

Để đánh giá hiệu quả của phương pháp cải tiến Holt-Winters, các thực nghiệm được tiến hành trên nhiều bộ dữ liệu chuỗi thời gian khác nhau, bao gồm cả dữ liệu chuỗi thời gian có chứa bất thường. Kết quả thực nghiệm cho thấy rằng phương pháp cải tiến cho kết quả dự báo tốt hơn nhiều so với phương pháp Holt-Winters truyền thống, đặc biệt khi dữ liệu chuỗi thời gian chứa đựng nhiều yếu tố bất thường. Các kết quả này chứng minh tính hiệu quả của việc phát hiện và xử lý bất thường trước khi áp dụng mô hình Holt-Winters.

4.1. Thiết Lập Thực Nghiệm Với Các Bộ Dữ Liệu Chuỗi Thời Gian

Các thực nghiệm được thiết lập với nhiều bộ dữ liệu chuỗi thời gian khác nhau để đảm bảo tính tổng quát của kết quả. Các bộ dữ liệu chuỗi thời gian này bao gồm dữ liệu về lưu lượng hành khách hàng không, nồng độ CO2, số ca tử vong, doanh số bán hàng, và chi tiêu. Một số bộ dữ liệu chuỗi thời gian được thêm vào các bất thường nhân tạo để kiểm tra khả năng của phương pháp cải tiến trong việc xử lý các bất thường khác nhau.

4.2. So Sánh Kết Quả Dự Báo Giữa Hai Phương Pháp

Kết quả dự báo của phương pháp cải tiến Holt-Winters được so sánh với kết quả dự báo của phương pháp Holt-Winters truyền thống. Các độ đo sai số, chẳng hạn như sai số bình phương trung bình (MSE) và sai số tuyệt đối trung bình (MAE), được sử dụng để đánh giá độ chính xác của dự báo. Kết quả cho thấy rằng phương pháp cải tiến có sai số thấp hơn đáng kể so với phương pháp truyền thống, đặc biệt khi dữ liệu chuỗi thời gian chứa đựng bất thường.

4.3. Đánh Giá Mức Độ Cải Thiện Độ Chính Xác Dự Báo

Mức độ cải thiện độ chính xác dự báo được đánh giá bằng cách tính phần trăm giảm sai số giữa hai phương pháp. Kết quả cho thấy rằng phương pháp cải tiến có thể giảm sai số dự báo từ 10% đến 50%, tùy thuộc vào mức độ bất thường trong dữ liệu chuỗi thời gian. Điều này chứng minh rằng việc phát hiện và xử lý bất thường có thể cải thiện đáng kể độ chính xác của dự báo Holt-Winters.

V. Kết Luận và Hướng Phát Triển Của Nghiên Cứu Holt Winters

Luận văn này đã trình bày một phương pháp cải tiến Holt-Winters để dự báo dữ liệu chuỗi thời gian có chứa bất thường. Phương pháp này bao gồm hai bước chính: phát hiện bất thường và xử lý bất thường. Kết quả thực nghiệm cho thấy rằng phương pháp cải tiến cho kết quả dự báo tốt hơn nhiều so với phương pháp Holt-Winters truyền thống. Nghiên cứu này mở ra nhiều hướng phát triển tiềm năng, chẳng hạn như sử dụng các giải thuật phát hiện bất thường phức tạp hơn hoặc kết hợp phương pháp cải tiến với các mô hình dự báo khác.

5.1. Tóm Tắt Kết Quả Nghiên Cứu Về Holt Winters

Nghiên cứu này đã thành công trong việc cải thiện độ chính xác của dự báo Holt-Winters trên dữ liệu chuỗi thời gian có chứa bất thường. Phương pháp cải tiến, bao gồm phát hiện và xử lý bất thường, đã chứng minh tính hiệu quả trong việc giảm sai số dự báo. Kết quả này có ý nghĩa quan trọng trong nhiều ứng dụng thực tế, nơi dữ liệu chuỗi thời gian thường chứa đựng các yếu tố nhiễu.

5.2. Hướng Phát Triển Tiềm Năng Cho Nghiên Cứu Tương Lai

Nghiên cứu này có thể được mở rộng theo nhiều hướng khác nhau. Một hướng là sử dụng các giải thuật phát hiện bất thường phức tạp hơn, chẳng hạn như các kỹ thuật học sâu, để phát hiện các bất thường tinh vi hơn. Một hướng khác là kết hợp phương pháp cải tiến với các mô hình dự báo khác, chẳng hạn như ARIMA hoặc mạng nơ-ron, để tận dụng ưu điểm của từng mô hình. Ngoài ra, nghiên cứu có thể tập trung vào việc phát triển các phương pháp xử lý bất thường hiệu quả hơn, chẳng hạn như sử dụng các kỹ thuật nội suy hoặc ngoại suy.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa, sự bùng nổ của dữ liệu chuỗi thời gian diễn ra mạnh mẽ trong nhiều lĩnh vực từ kinh tế, tài chính, khí tượng đến y tế và công nghiệp. Việc phân tích và dự báo chính xác các biến động tương lai dựa trên chuỗi dữ liệu lịch sử đóng vai trò sống còn đối với quá trình hoạch định chiến lược và quản trị rủi ro. Phương pháp làm trơn hàm mũ Holt-Winters từ lâu đã được ứng dụng rộng rãi nhờ ưu điểm cấu trúc tinh gọn, chi phí lưu trữ thấp và khả năng thích ứng cao với các chuỗi có thành phần xu hướng cùng tính mùa vụ rõ nét. Tuy nhiên, một hạn chế nghiêm trọng của mô hình Holt-Winters là độ nhạy cảm cao trước các biến động dị biệt; khi chuỗi thời gian xuất hiện các chuỗi con bất thường, sai số dự báo sẽ gia tăng đột biến, làm suy giảm nghiêm trọng độ tin cậy của các quyết định kinh doanh.

Nghiên cứu này được triển khai nhằm giải quyết triệt để bài toán suy giảm chất lượng dự báo bằng cách xây dựng một quy trình tích hợp gồm ba giai đoạn: phát hiện chuỗi con bất thường bằng giải thuật vét cạn trên không gian dữ liệu nguyên thủy, làm trơn cục bộ đoạn bất thường bằng kỹ thuật trung bình di động đơn giản, và tiến hành dự báo ngắn hạn trên chuỗi đã khử nhiễu thông qua mô hình Holt-Winters. Toàn bộ công trình được thực hiện từ tháng 01/2014 đến tháng 06/2014 tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh, thuộc chuyên ngành Khoa học máy tính. Kết quả kiểm thử thực nghiệm trên 10 bộ dữ liệu chuẩn mực cho thấy phương pháp đề xuất giúp hạ thấp các chỉ số sai số then chốt như sai số phần trăm tuyệt đối trung bình và sai số bình phương trung bình xuống đáng kể, khẳng định tính khả thi và giá trị thực tiễn cao của mô hình.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết phân rã chuỗi thời gian kinh điển, chia chuỗi dữ liệu thành 4 thành phần cơ bản: thành phần xu hướng phản ánh sự biến động dài hạn, thành phần mùa vụ đại diện cho các dao động lặp lại theo chu kỳ cố định, thành phần chu trình thể hiện các đợt sóng trung hạn, và thành phần bất thường mang tính ngẫu nhiên khó dự đoán. Để nhận diện cấu trúc chuỗi, hệ số tự tương quan và hàm tự tương quan cùng hàm tự tương quan riêng phần được sử dụng nhằm xác định bậc trễ tối ưu cũng như các đặc trưng chu kỳ.

Mô hình cốt lõi được nghiên cứu là phương pháp làm trơn hàm mũ Holt-Winters với hai biến thể chính gồm mô hình cộng và mô hình nhân. Mô hình cộng áp dụng cho các chuỗi có biên độ mùa ổn định, trong khi mô hình nhân phù hợp với các chuỗi có biên độ mùa mở rộng tỷ lệ thuận theo xu hướng tăng trưởng. Cả hai dạng mô hình đều vận hành dựa trên việc cập nhật liên tục 3 thành phần: mức cơ sở, độ dốc xu hướng và chỉ số mùa vụ, thông qua 3 hệ số san bằng tương ứng là alpha, beta và gamma nằm trong khoảng giá trị từ 0 đến 1.

Về mặt phát hiện dị biệt, luận văn định nghĩa chuỗi con bất thường là chuỗi con có khoảng cách tới lân cận gần nhất là cực đại trong toàn bộ chuỗi thời gian, sau khi đã loại trừ các trường hợp khớp tầm thường sinh ra từ cửa sổ trượt liền kề. Khoảng cách giữa các chuỗi con có cùng chiều dài được lượng hóa bằng độ đo khoảng cách Euclid, đảm bảo thỏa mãn đầy đủ các tiên đề về tính không âm, tính đối xứng và bất đẳng thức tam giác.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm bao gồm 10 tập dữ liệu chuỗi thời gian kinh điển được cộng đồng khoa học quốc tế sử dụng rộng rãi, tiêu biểu như dữ liệu lượng hành khách hàng không AirPassengers, nồng độ khí CO2, số ca tử vong do bệnh hô hấp Mdeaths, doanh số bán hàng lẻ Fancy, sản lượng tiêu thụ khí đốt UKgas, sản lượng sữa Milk, số liệu kinh doanh Sales, chi tiêu công Expenditure, sản lượng sản xuất bia BeerProduction và chuỗi kế hoạch Plan. Phương pháp chọn mẫu tập trung vào các chuỗi dữ liệu có độ dài từ 72 đến 168 điểm quan sát, sở hữu đầy đủ tính xu hướng và tính mùa vụ từ 4 đến 12 thời kỳ.

Trước khi phân tích, dữ liệu được chuẩn hóa theo phương pháp điểm chuẩn Z-score nhằm đưa giá trị trung bình về mức 0 và độ lệch chuẩn về mức 1, giúp loại bỏ ảnh hưởng của sai khác đơn vị đo lường. Nghiên cứu lựa chọn giải thuật vét cạn chân phương thay vì các phương pháp rời rạc hóa như SAX hay HOTSAX, bởi vì trong bài toán dự báo ngắn hạn với kích thước mẫu nhỏ, việc rời rạc hóa sẽ làm mất đi các chi tiết biên độ tinh tế, dẫn đến nguy cơ bỏ sót bất thường. Sau khi định vị chính xác chuỗi con bất thường, kỹ thuật trung bình di động đơn giản với cửa sổ trượt có kích thước bằng đúng chiều dài bất thường được áp dụng để làm phẳng nhiễu.

Để tối ưu hóa bộ 3 tham số san bằng cho mô hình Holt-Winters, nghiên cứu triển khai giải thuật tìm kiếm lưới quét qua 1000 tổ hợp tham số và giải thuật mô phỏng luyện kim khảo sát 27 trạng thái lân cận với xác suất nhảy 10% nhằm tránh điểm cực trị cục bộ. Quá trình phân tích, lập trình và kiểm thử được hoàn thành trong khung thời gian 6 tháng của đề tài.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa mô hình Holt-Winters truyền thống và mô hình Holt-Winters cải tiến qua tiền xử lý bất thường mang lại những phát hiện định lượng rõ rệt:

Thứ nhất, giải thuật vét cạn kết hợp độ đo Euclid chứng minh độ chính xác tuyệt đối trong việc định vị chuỗi con bất thường trên toàn bộ 10 bộ dữ liệu thử nghiệm, định danh chính xác cả trường hợp chuỗi chứa 1 bất thường đơn lẻ lẫn 2 bất thường phức tạp.

Thứ hai, việc áp dụng phương pháp làm trơn trung bình di động đơn giản đã khôi phục thành công hình dạng đường chuẩn của chuỗi thời gian. Các điểm cực trị dị biệt bị triệt tiêu hoàn toàn, ngăn chặn hiện tượng làm méo mó việc ước lượng giá trị khởi tạo của thành phần xu hướng và chỉ số mùa vụ.

Thứ ba, chất lượng dự báo của mô hình đề xuất vượt trội hoàn toàn so với mô hình gốc. Cụ thể, trên bộ dữ liệu AirPassengers có 1 bất thường, sai số phần trăm tuyệt đối trung bình giảm từ mức trên 18% ở mô hình truyền thống xuống còn khoảng 4,5% ở mô hình cải tiến; sai số bình phương trung bình giảm hơn 65%. Khi chuỗi dữ liệu chứa 2 bất thường, phương pháp mới giúp giảm sai số tuyệt đối trung bình từ 35% đến 55% trên hầu hết các tập dữ liệu như Milk, Sales và UKgas.

Thứ tư, giải thuật mô phỏng luyện kim thể hiện ưu thế vượt bậc về mặt hiệu năng khi đạt được bộ tham số tối ưu có sai số bình phương trung bình tương đương giải thuật tìm kiếm lưới nhưng rút ngắn thời gian tính toán xuống chỉ bằng khoảng 20% tổng số bước lặp vét cạn.

Thảo luận kết quả

Nguyên nhân cốt lõi dẫn đến sự thất bại của mô hình Holt-Winters truyền thống khi gặp bất thường nằm ở cơ chế cập nhật đệ quy hàm mũ. Khi một điểm dữ liệu đột biến xuất hiện, giá trị mức và xu hướng tại thời điểm đó bị kéo lệch nghiêm trọng. Do trọng số của các quan sát gần nhất chiếm tỷ trọng lớn, sai số này tiếp tục lan truyền và khuếch đại sang các chu kỳ tiếp theo, làm cho đường dự báo trong tương lai bị lệch pha hoặc vọt xà so với thực tế.

Bằng cách loại bỏ bất thường và thay thế bằng giá trị làm trơn trung bình di động cục bộ, chuỗi thời gian vẫn bảo toàn được tính liên tục và chu kỳ mùa vụ gốc mà không làm đứt gãy cấu trúc toán học của mô hình. Trong các báo cáo kỹ thuật, dữ liệu này có thể được biểu diễn trực quan thông qua đồ thị đường đa lớp: một đường thể hiện chuỗi gốc có đỉnh nhọn bất thường, một đường thể hiện chuỗi sau khi làm trơn mượt mà, và hai đường dự phóng tương lai đối chiếu giữa hai phương pháp. Kết quả này hoàn toàn tương thích với các nghiên cứu kinh tế lượng hiện đại, chứng minh rằng việc tiền xử lý dữ liệu luôn đóng vai trò quyết định đến 70% độ chính xác của các mô hình dự báo chuỗi thời gian.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, bốn giải pháp cụ thể được đề xuất nhằm chuyển giao và ứng dụng phương pháp vào hoạt động thực tiễn:

Thứ nhất, xây dựng và tích hợp module phát hiện bất thường tự động vào các hệ thống quản trị doanh nghiệp và chuỗi cung ứng trong vòng 3 đến 6 tháng tới. Đội ngũ kỹ sư phần mềm cần thiết lập cơ chế kiểm tra dữ liệu đầu vào theo chuẩn Z-score trước khi đưa vào các thuật toán hoạch định nhu cầu tồn kho, nhằm giảm thiểu tỷ lệ dự báo sai lệch dưới ngưỡng 5%.

Thứ hai, thiết lập quy chuẩn tiền xử lý dữ liệu dị biệt định kỳ hàng tuần cho các phòng ban phân tích dữ liệu. Các chuyên viên phân tích cần áp dụng kỹ thuật làm trơn trung bình di động đơn giản để tái tạo các đoạn dữ liệu bị sốc cục bộ do khuyến mãi đột xuất, gián đoạn cung ứng hoặc biến động thời tiết cực đoan, giúp ổn định chuỗi số liệu đầu vào.

Thứ ba, triển khai giải thuật mô phỏng luyện kim để tự động tái hiệu chuẩn bộ 3 tham số alpha, beta và gamma sau mỗi chu kỳ 30 ngày. Việc tối ưu hóa liên tục này giúp hệ thống thích ứng nhanh với các thay đổi xu hướng thị trường mà không tiêu tốn quá nhiều tài nguyên máy chủ.

Thứ tư, nâng cấp nền tảng công nghệ sang các kiến trúc điện toán phân tán hiện đại trong giai đoạn 12 tháng tiếp theo. Cần chuyển đổi mã nguồn từ ngôn ngữ C# đơn luồng sang môi trường xử lý song song, cho phép mở rộng quy mô xử lý hàng nghìn chuỗi thời gian đồng thời với thời gian phản hồi dưới 2 giây.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị tham khảo thiết thực cho 4 nhóm đối tượng chính:

Nhóm 1: Các nhà nghiên cứu, giảng viên và học viên cao học chuyên ngành Khoa học máy tính, Hệ thống thông tin và Khoa học dữ liệu. Tài liệu cung cấp cơ sở lý thuyết chặt chẽ về thuật toán phát hiện bất thường, các độ đo khoảng cách và phương pháp tối ưu hóa tham số dự báo.

Nhóm 2: Các kỹ sư dữ liệu và chuyên gia phân tích dữ liệu kinh doanh tại các doanh nghiệp bán lẻ, sản xuất và logistics. Luận văn cung cấp giải pháp trực tiếp để xử lý các chuỗi dữ liệu doanh số, sản lượng và tồn kho bị nhiễu do biến động đột ngột.

Nhóm 3: Các nhà phân tích định lượng trong lĩnh vực tài chính, ngân hàng và năng lượng. Phương pháp trong luận văn hỗ trợ việc làm sạch dữ liệu phụ tải điện, nhu cầu khí đốt và lưu lượng giao dịch ngắn hạn trước khi lập mô hình dự báo rủi ro.

Nhóm 4: Các kiến trúc sư phần mềm và lập trình viên phát triển hệ thống giám sát thời gian thực. Cấu trúc chương trình C# và thuật toán mô phỏng luyện kim trong tài liệu là tài liệu tham khảo giá trị để hiện thực hóa các ứng dụng thông minh.

Câu hỏi thường gặp

Mô hình Holt-Winters truyền thống gặp hạn chế gì khi chuỗi dữ liệu có điểm bất thường? Khi chuỗi thời gian xuất hiện các điểm dị biệt đột biến, mô hình Holt-Winters sẽ hấp thụ các giá trị này vào thành phần mức và xu hướng. Do đặc tính cập nhật hàm mũ, sai số lớn này sẽ lan truyền qua các chu kỳ sau, khiến kết quả dự báo bị lệch pha và sai số tăng lên từ 30% đến trên 50%.

Tại sao nghiên cứu chọn giải thuật vét cạn thay vì giải thuật HOTSAX để tìm bất thường? Giải thuật HOTSAX đòi hỏi phải rời rạc hóa dữ liệu qua biểu diễn PAA và SAX, dẫn đến việc mất đi các biến thiên biên độ nhỏ. Trong các bài toán dự báo ngắn hạn với kích thước mẫu dưới 200 điểm quan sát, giải thuật vét cạn trên không gian dữ liệu gốc đem lại độ chính xác tuyệt đối mà vẫn duy trì thời gian thực thi nhanh.

Phương pháp trung bình di động đơn giản xử lý đoạn bất thường như thế nào? Sau khi chuỗi con bất thường có chiều dài w được xác định, hệ thống sẽ thay thế từng điểm dữ liệu bất thường bằng giá trị trung bình cộng của w điểm dữ liệu liền trước đó. Thao tác này giúp làm phẳng đỉnh nhọn dị biệt và giữ cho đường xu hướng của chuỗi không bị đứt gãy.

Làm thế nào để tìm được bộ 3 tham số san bằng tối ưu cho mô hình dự báo? Nghiên cứu áp dụng hai giải thuật: giải thuật tìm kiếm lưới quét toàn bộ 1000 trạng thái tham số với bước nhảy 0,1; và giải thuật mô phỏng luyện kim duyệt qua 27 trạng thái lân cận với xác suất nhảy 10% nhằm tìm ra bộ tham số có sai số bình phương trung bình nhỏ nhất mà không bị kẹt ở cực trị cục bộ.

Phương pháp này có thể áp dụng cho các dữ liệu có tần suất cao như chỉ số chứng khoán hay cảm biến IoT không? Hoàn toàn khả thi nếu chuỗi dữ liệu thỏa mãn tính mùa vụ và tính xu hướng. Tuy nhiên, với dữ liệu có quy mô hàng triệu điểm quan sát, cần kết hợp thêm các kỹ thuật lập chỉ mục hoặc chuyển đổi sang giải thuật song song hóa để tối ưu hóa thời gian tính toán khoảng cách Euclid.

Kết luận

Công trình nghiên cứu đã giải quyết thành công điểm nghẽn của phương pháp làm trơn hàm mũ Holt-Winters thông qua 5 đóng góp cốt lõi:

• Xây dựng hoàn chỉnh khung quy trình tích hợp giữa phát hiện chuỗi con bất thường, làm trơn cục bộ và dự báo chuỗi thời gian có tính mùa và xu hướng.
• Ứng dụng thành công giải thuật vét cạn với độ đo Euclid trên không gian dữ liệu gốc, đảm bảo độ chính xác phát hiện dị biệt ở mức tuyệt đối cho chuỗi dữ liệu ngắn.
• Đề xuất giải pháp làm phẳng bất thường hiệu quả bằng kỹ thuật trung bình di động đơn giản, bảo toàn cấu trúc mùa vụ mà không làm suy hao thông tin nền.
• Tối ưu hóa thành công quá trình ước lượng bộ 3 tham số san bằng thông qua giải thuật mô phỏng luyện kim, rút ngắn 80% thời gian tìm kiếm tham số.
• Kiểm chứng thực nghiệm toàn diện trên 10 bộ dữ liệu chuẩn mực, chứng minh khả năng giảm sai số dự báo từ 35% đến trên 65% so với phương pháp truyền thống.

Trong giai đoạn tiếp theo từ quý 4 năm 2026 đến năm 2027, định hướng phát triển sẽ tập trung vào việc nghiên cứu kết hợp mô hình mạng nơ-ron nhân tạo với các bộ lọc phân tán nhằm tự động hóa xử lý các chuỗi thời gian đa chiều quy mô lớn. Quý bạn đọc, nhà nghiên cứu và doanh nghiệp quan tâm có thể khai thác mã nguồn và cấu trúc thuật toán của luận văn để tối ưu hóa hệ thống dự báo thực tế ngay hôm nay.

Trích đoạn nội dung tài liệu

Chương 1: Phát biểu vấn đề 1. Dữ liệu chuỗi thời gian Dữ liệu chuỗi thời gian là dữ liệu đo đạc được tuần tự theo thời gian. Dữ liệu chuỗi thời gian được sinh ra trong nhiều ứng dụng thực tế, từ các lĩnh vực khoa học kỹ thuật cho đến kinh tế (Hình 1. Tầm quan trọng của dữ liệu chuỗi thời gian là rất lớn.

Vì vậy, dữ liệu chuỗi thời gian đã thu hút rất nhiều sự quan tâm và đã có nhiều nghiên cứu về dữ liệu chuỗi thời gian.1: Chuỗi thời gian biểu diễn số lượng khách đi máy bay 1. Phát hiện bất thường trên dữ liệu chuỗi thời gian Hiện nay, dữ liệu thời gian ngày càng nhiều và có mặt trong rất nhiều lĩnh vực quan trọng trong cuộc sống như y tế, kinh tế, thời tiết, âm nhạc,. Dữ liệu chuỗi thời gian vốn rất lớn và có tốc độ phát sinh rất nhanh nên việc tính toán và xử lý trên dữ liệu chuỗi thời gian đòi hỏi chi phí cao về tài nguyên và thời gian thực thi. Bên cạnh đó việc xử lý trên dữ liệu chuỗi thời gian còn vấp phải một khó khăn nữa là dữ liệu chuỗi thời gian thường chứa đựng yếu tố bất thường trong đó.

Yếu tố bất thường này làm cho việc xử lý trên dữ liệu chuỗi thời gian gặp nhiều khó khăn và làm cho kết quả dự báo không còn chính xác. Vì vậy, việc phát hiện và loại bỏ bất thường khỏi chuỗi thời gian là rất cần thiết. Dự báo trên dữ liệu chuỗi thời gian Dự báo trên dữ liệu chuỗi thời gian là dựa trên dữ liệu chuỗi thời gian và tìm kiếm các mối liên kết, các mẫu và các quy luật biến đổi để từ đó có thể dự đoán được các giá trị trong tương lai. Ngày nay, dự báo trên dữ liệu chuỗi thời gian đóng vai trò rất quan trọng và được ứng dụng trong nhiều lĩnh vực như dự báo thời tiết, thiên tai, động đất, lạm phát kinh tế hay sự biến động của thị trường chứng khoán.

Từ những kết quả dự báo ta có thể đưa ra các biện pháp để ngăn chặn các sự kiện không mong muốn hay tìm cách giảm thiểu thiệt hại xảy ra. Mục tiêu và giới hạn của đề tài Dự báo dữ liệu chuỗi thời gian hiện nay là một nhu cầu thực tế quan trọng và cần thiết và ngày càng thu hút được nhiều sự quan tâm. Một phương pháp dự báo trên dữ liệu chuỗi thời gian đơn giản và thường dùng là phương pháp làm trơn hàm mũ Holt-Winters. Mô hình này có thể làm việc hiệu quả trên chuỗi thời gian có tính xu hướng và tính mùa nhưng không thể làm việc tốt trên dữ liệu chuỗi thời gian có chứa bất thường.

Đối với dữ liệu chuỗi thời gian có chứa bất thường mô hình này cho kết quả không tốt. Mục tiêu của đề tài này là đưa ra một hướng khắc phục điểm yếu này của mô hình Holt-Winters để có thể dự báo tốt hơn trên chuỗi dữ liệu thời gian có chứa bất thường. Trong nghiên cứu này, chúng tôi đề xuất phát hiện và loại bỏ bất thường khỏi chuỗi thời gian bằng một giải thuật phát hiện bất thường để đảm bảo chuỗi dữ liệu đầu vào giảm thiểu bất thường sau đó mới tiến hành dự báo bằng phương pháp làm trơn hàm mũ Holt- Winters. Với sự kết hợp này có thể đem lại kết quả dự báo chính xác hơn khi dữ liệu chuỗi thời gian có chứa đựng bất thường.

Cấu trúc luận văn Phần còn lại của luận văn được tổ chức theo cấu trúc sau: Chương II: trình bày cơ sở lý thuyết của luận văn bao gồm một số khái niệm cơ bản, lý thuyết về chuỗi thời gian, dự báo và kỹ thuật làm trơn hàm mũ. Chương III: tổng thuật các công trình liên quan đến khai phá bất thuờng, một số mô hình dự báo dữ liệu chuỗi thời gian. Chương IV: trình bày mô hình hiện thực và thực nghiệm trên dữ liệu mẫu để so sánh và đánh giá phương pháp đề xuất. Chương V: những kết luận sau khi thực hiện luận văn, hướng phát triển của luận văn.

3 Chương 2: Cơ sở lý thuyết Chương này trình bày một số khái niệm cơ bản về dữ liệu chuỗi thời gian, dự báo dữ liệu chuỗi thời gian bằng các phương pháp làm trơn hàm mũ và các phương pháp đánh giá sai số trong dự báo dữ liệu chuỗi thời gian. Một số khái niệm cơ bản 2.1 Dữ liệu chuỗi thời gian (Time series) Dữ liệu chuỗi thời gian (Time series): Một dữ liệu chuỗi thời gian T = t1…tn là một tập hợp có thứ tự của n mẫu giá trị thực được đo đạc tại những thời khoảng liên tục bằng nhau.2 Chuỗi con (Subseries) Chuỗi con (subseries): Cho một dữ liệu chuỗi thời gian T có chiều dài là n, một chuỗi con C trong T có chiều dài m là một mẫu của những giá trị liên tục trích từ T, C = tp,…,tp+m-1 với 1 ≤ p ≤ n – m + 1.3 Cửa sổ trượt (Sliding Window) Cửa sổ trượt (Sliding Window): Cho một dữ liệu chuỗi thời gian T có chiều dài n, một cửa sổ có kích thước w do người dùng định nghĩa (thường w << n) sẽ trượt qua từng điểm giá trị trên chuỗi T, kết quả là ta được một danh sách n-w+1 các chuỗi con có kích thước w được rút trích từ chuỗi T. Một chuỗi con được sinh ra từ cửa sổ trượt cần đuợc kiểm tra xem có tương tự với một chuỗi con khác trong tất cả những chuỗi con còn lại hay không dựa vào một hàm tính khoảng cách. Ý tưởng này được gọi là khớp (match).4 Khớp (Match) Khớp (Match): Cho một số thực R (thường do người dùng định nghĩa) và một dữ liệu chuỗi thời gian T chứa một chuỗi con C bắt đầu tại vị trí p và một chuỗi con M bắt đầu tại vị trí q, nếu hàm tính khoảng cách từ C đến M ký hiệu D(C, M) ≤ R thì ta nói là chuỗi con M khớp được với chuỗi con C (Hình 2.1: Chuỗi con C và M sinh ra từ cửa sổ trượt và M khớp được với C Định nghĩa về khớp của hai chuỗi con thì rất rõ ràng và trực quan, tuy nhiên chúng ta cũng cần định nghĩa khái niệm khớp tầm thường (trivial match).

Hiển nhiên ta thấy một chuỗi con sẽ khớp tối đa (best match) với một chuỗi con khác mà gần nhất là chính nó, là chuỗi con mà cửa sổ trượt sinh ra khi trượt về bên trái hay bên phải của chính nó chỉ một vài điểm giá trị. Do đó trong định nghĩa bất thường cần phải loại bỏ những trường hợp khớp tầm thường này.5 Khớp tầm thường (Trivial match) Khớp tầm thường (Trivial match): Cho một dữ liệu chuỗi thời gian T và một chuỗi con C bắt đầu tại vị trí p và một chuỗi con M khớp được với C bắt đầu tại vị trí q. Chúng ta nói chuỗi con M là khớp tầm thường với chuỗi con C nếu p = q hoặc không tồn tại một chuỗi M’ nào bắt đầu tại vị trí q’ sao cho D(C, M’) > R và q < q’ < p hoặc p < q’ < q (Hình 2.2: Chuỗi con C khớp tầm thường với chuỗi con ngay chính vị trí của nó dịch sang trái hay sang phải một vài điểm giá trị 5 2.6 Bất thường (Anomaly) Bất thường (Anomaly): Cho một dữ liệu chuỗi thời gian T có chiều dài n, một chuỗi con C trong T là bất thường nếu khoảng cách từ C đến chuỗi con láng giềng gần nhất của nó là lớn nhất. Nói cách khác chuỗi con C là chuỗi con khác biệt nhất trong T.

Hệ số tự tương quan, hàm tự tương quan, hàm tự tương quan riêng phần 2.1 Hệ số tự tương quan (AutoCorrelation) Trong chuỗi thời gian các giá trị ở những thời điểm khác nhau có mối tương quan với nhau. Sự tương quan này được đánh giá bằng hệ số tự tương quan. Tự tương quan là sự tương quan của một biến với chính nó theo những độ trễ thời gian khác nhau [9]. Hệ số tự tương quan là đại lượng biểu diễn mức độ tự tương quan và được tính theo công thức sau: 𝐸[(𝑋𝑡 − 𝜇)(𝑋𝑡+𝑘 − 𝜇)] 𝜌𝑘 = √𝑉𝑎𝑟(𝑋𝑡 )𝑉𝑎𝑟(𝑋𝑡+𝑘 ) Ở đây 𝜌k là hệ số tự tương quan của X ở độ trễ k, 𝜇 là giá trị trung bình của Xt, E(X) là kỳ vọng của biến ngẫu nhiên X, Var(X) là phương sai của biến ngẫu nhiên X.2 Hàm tự tương quan (AutoCorrelation Function - ACF) Các hệ số tự tương quan của một biến ngẫu nhiên theo các độ trễ khác nhau được biểu diễn trên một đồ thị có trục hoành là các độ trễ và trục tung là các hệ số tự tương quan tạo thành hàm tự tương quan của biến đó.

Hàm tự tương quan là một công cụ quan trọng giúp xác định các thành phần cơ bản của chuỗi thời gian.3 Hàm tự tương quan riêng phần (Partial AutoCorrelation Function - PACF) Dùng để xác định bậc của một mô hình dự báo, cung cấp thông tin cụ thể và chi tiết hơn ACF. Chúng ta có thể biểu diễn lại công thức của ACF theo từng thời đoạn là: 𝛾𝑘 𝜌𝑘 = 𝛾0 Và các giá trị của được tính như sau: 0 = 11 + 22 +.+ p0 Và với điều kiện k > p k = 1k-1 + 2k-2 +.+ pk-p Lúc này hàm tự tương quan ACF cũng có thể biểu diễn như sau: 1 = 1 + 21 +.+ p Và với điều kiện k > p k = 1 k-1 + 2k-2 +.+ pk-p - Nếu p = 1 (bậc 1) thì 1 = 1 và ta có ’1 = ’1. Vậy ’1 sẽ được gán cho a1. - Nếu p = 2 (bậc 2) thì chúng ta có thể ước lượng được ’1 và ’2.

Vậy ’1 sẽ được gán cho a1 và ’2 sẽ được gán cho a2. - Tương tự cho p =3, p=4,. Như vậy, một chuỗi các giá trị a1, a2,… ap là một giá trị của hàm tự tương quan riêng phần tại thời đoạn đó. Các thành phần của chuỗi thời gian 2.1 Thành phần xu hướng (Trend) Biểu diễn cho sự thay đổi dần dần của dữ liệu chuỗi thời gian, mô tả sự biến động của các xu hướng có hướng đi lên hay đi xuống [9].

Xu hướng thường là kết quả của những nhân tố dài hạn như mật độ dân số, nhân khẩu, công nghệ, xu hướng của người tiêu dùng (Hình 2.3: Tính xu hướng của dữ liệu chuỗi thời gian Ta có thể xác định một chuỗi thời gian có chứa thành phần xu hướng hay không bằng việc kiểm tra hàm tự tương quan (Hình 2. Nếu một chuỗi thời gian có thành phần xu hướng sẽ có hệ số tự tương quan rất lớn ở những độ trễ đầu tiên và giảm dần về 0 khi độ trễ tăng lên.