Luận Văn Thạc Sĩ: Tự Động Hóa Xây Dựng Mô Hình ARIMA Dự Báo Chuỗi Thời Gian

Luận văn thạc sĩ khoa học máy tính tập trung vào tự động hóa xây dựng mô hình ARIMA để dự báo chuỗi thời gian hiệu quả và chính xác.

• Tác giả: Dương Hớn Minh
• Người hướng dẫn: PGS. Dương Tuấn Anh
• Trường học: Đại học Bách Khoa - Đại học Quốc gia TP.HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Tự Động Hóa Xây Dựng Mô Hình ARIMA Để Dự Báo Chuỗi Thời Gian
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• DANH MỤC HÌNH ẢNH
• DANH MỤC CÁC BẢNG
• 1. CHƯƠNG 1: PHÁT BIỂU VẤN ĐỀ
• 1.1. Dự báo dữ liệu chuỗi thời gian
• 1.2. Mục tiêu nghiên cứu
• 1.3. Phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Những kết quả đạt được
• 1.6. Cấu trúc luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Dữ liệu chuỗi thời gian
• 2.2. Các thành phần của dữ liệu chuỗi thời gian
• 2.2.1. Thành phần xu hướng (Trend component)
• 2.2.2. Thành phần mùa (Seasonal component)
• 2.2.3. Thành phần chu kỳ (Cycial component)
• 2.2.4. Thành phần bất thường (Regular component)
• 2.3. Các phương pháp đánh giá dự báo
• 2.3.1. Mean Absolute Error – MAE
• 2.3.2. Mean Squared Error – MSE
• 2.3.3. Mean Absolute Percentage Error – MAPE
• 2.4. Hệ số tự tương quan hàm tự tương quan và hàm tự tương quan riêng phần
• 2.4.1. Hệ số tự tương quan (Autocorelation)
• 2.4.2. Hàm tự tương quan (Autocorrelation function – ACF)
• 2.4.3. Hệ số tự tương quan riêng phần
• 2.5. Quá trình có tính dừng và không có tính dừng
• 2.6. Mô hình ARIMA
• 2.6.1. Mô hình trung bình di động bậc q – MA(q)
• 2.6.2. Mô hình tự hồi quy bậc p, AR(p)
• 2.6.3. Mô hình kết hợp tự hồi quy và trung bình di động, ARMA(p,q)
• 2.6.4. Mô hình tự hồi quy tích hợp với mô hình trung bình di động, ARIMA(p,d,q)
• 2.6.5. Mô hình ARIMA có tính mùa (SARIMA)
• 2.7. Dự báo trong môi trường trực tuyến
• 3. CHƯƠNG 3: CÁC CÔNG TRÌNH LIÊN QUAN
• 3.1. Tự động xây dựng mô hình ARIMA để dự báo
• 3.1.1. Thành phần nhận dạng mô hình
• 3.1.2. Thành phần khử mùa và xu hướng
• 3.1.3. Thành phần ước lượng tham số
• 3.1.4. Thành phần dự báo
• 3.2. Các công trình dự báo chuỗi thời gian khác
• 3.2.1. Phương pháp làm trơn hàm mũ Winters
• 3.2.2. Kết hợp mạng Neural nhân tạo (ANN) và mô hình ARIMA để dự báo chuỗi thời gian
• 4. CHƯƠNG 4: HIỆN THỰC VÀ THỬ NGHIỆM
• 4.1. Quá trình hiện thực
• 4.2. Cấu trúc chương trình
• 4.2.1. Giao diện chương trình
• 4.2.2. Các module chính
• 4.3. Dữ liệu thực nghiệm
• 4.4. Kết quả thực nghiệm trong môi trường không trực tuyến
• 4.4.1. Bộ dữ liệu mực nước trung bình hàng tháng của hồ nước tại Warroad
• 4.4.2. Bộ dữ liệu nhiệt độ tối đa ở Melbourne từ tháng một năm 1971 đến tháng mười hai năm 1990
• 4.4.3. Bộ dữ liệu số lượng tạp chí hóa chất
• 4.4.4. Bộ dữ liệu số ca sinh mỗi tháng ở thành phố New York
• 4.4.5. Bộ dữ liệu số lượng sản xuất sữa bò của một nông trại
• 4.4.6. Bộ dữ liệu tổng mức tiêu thụ điện tại Mỹ
• 4.4.7. Bộ dữ liệu nồng độ Ozone ở Arosa từ năm 1932 đến 1972
• 4.4.8. Bộ dữ liệu lượng tiêu thụ khí đốt trung bình theo quý tại Anh
• 4.4.9. Đánh giá kết quả thực nghiệm
• 4.5. Kết quả thực nghiệm trong môi trường trực tuyến
• 4.5.1. Bộ dữ liệu mực nước trung bình hàng tháng của hồ nước tại Warroad
• 4.5.2. Bộ dữ liệu nhiệt độ tối đa ở Melbourne từ tháng một năm 1971 đến tháng mười hai năm 1990
• 4.5.3. Bộ dữ liệu số lượng tạp chí hóa chất
• 4.5.4. Bộ dữ liệu số ca sinh mỗi tháng ở thành phố New York
• 4.5.5. Bộ dữ liệu số lượng sản xuất sữa bò của một nông trại
• 4.5.6. Bộ dữ liệu tổng mức tiêu thụ điện tại Mỹ
• 4.5.7. Bộ dữ liệu nồng độ Ozone ở Arosa từ năm 1932 đến 1972
• 4.5.8. Bộ dữ liệu lượng tiêu thụ khí đốt trung bình theo quý tại Anh
• 4.5.9. Đánh giá kết quả đạt được
• 5. CHƯƠNG 5: KẾT LUẬN
• 5.1. Đánh giá kết quả
• 5.1.1. Những công việc làm được
• 5.1.2. Mặt hạn chế
• 5.1.3. Hướng phát triển
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC A: QUY ƯỚC VỀ THUẬT NGỮ VÀ KÝ HIỆU
• PHỤ LỤC B: HƯỚNG DẪN SỬ DỤNG CHƯƠNG TRÌNH
• PHỤ LỤC C: CÁC LỆNH THỰC THI MÔ HÌNH HOLT-WINTERS TRÊN R
• LÝ LỊCH TRÍCH NGANG
• QUÁ TRÌNH ĐÀO TẠO
• QUÁ TRÌNH CÔNG TÁC

Tóm tắt

I. Phát Biểu Vấn Đề

Dự báo dữ liệu chuỗi thời gian là một lĩnh vực quan trọng trong nhiều ngành, từ kinh tế đến y tế. Mô hình ARIMA (Autoregressive Integrated Moving Average) là một trong những phương pháp phổ biến nhất để thực hiện dự báo này. Tuy nhiên, việc xây dựng mô hình ARIMA thường yêu cầu nhiều bước thủ công, điều này có thể gây khó khăn và tốn thời gian. Do đó, việc tự động hóa quá trình này là cần thiết để nâng cao hiệu quả và độ chính xác của dự báo. Luận văn này nhằm mục tiêu tự động hóa việc xây dựng mô hình ARIMA để dự báo dữ liệu chuỗi thời gian trong môi trường trực tuyến. Việc này không chỉ giúp tiết kiệm thời gian mà còn giảm thiểu sai sót do yếu tố con người gây ra.

1.1 Dự Báo Dữ Liệu Chuỗi Thời Gian

Dữ liệu chuỗi thời gian được thu thập và lưu trữ theo thời gian, cho phép phân tích xu hướng và dự đoán tương lai. Các phương pháp dự báo có thể chia thành hai loại chính: định tính và định lượng. Phương pháp định lượng, như ARIMA, sử dụng dữ liệu lịch sử để phát hiện xu hướng và đưa ra dự đoán. Mô hình ARIMA có khả năng xử lý dữ liệu không có tính dừng, giúp cải thiện độ chính xác trong dự báo.

1.2 Mục Tiêu Nghiên Cứu

Mục tiêu chính của nghiên cứu là tự động hóa quá trình xây dựng mô hình ARIMA. Điều này sẽ giúp giảm thiểu sự can thiệp của con người trong các bước xây dựng mô hình, từ đó nâng cao tính chính xác và hiệu quả của dự báo. Việc tự động hóa này cũng sẽ tạo điều kiện thuận lợi cho việc áp dụng mô hình ARIMA trong các lĩnh vực khác nhau.

II. Cơ Sở Lý Thuyết

Chương này trình bày các khái niệm cơ bản về dữ liệu chuỗi thời gian và mô hình ARIMA. Dữ liệu chuỗi thời gian có thể phân tích thành nhiều thành phần như xu hướng, mùa, chu kỳ và bất thường. Mô hình ARIMA được phát triển để xử lý các dữ liệu này, giúp dự đoán giá trị tương lai dựa trên các giá trị trong quá khứ. Việc hiểu rõ các thành phần này là rất quan trọng để xây dựng mô hình ARIMA hiệu quả. Mô hình ARIMA yêu cầu các bước như nhận dạng mô hình, ước lượng tham số và kiểm tra độ chính xác của mô hình. Những bước này thường đòi hỏi sự can thiệp của con người, do đó, việc tự động hóa sẽ giúp đơn giản hóa quy trình này.

2.1 Dữ Liệu Chuỗi Thời Gian

Dữ liệu chuỗi thời gian là tập hợp các quan sát được thu thập theo thời gian. Các lĩnh vực như kinh doanh, khí tượng và nông nghiệp đều sử dụng dữ liệu này để phân tích và dự đoán. Việc phân tích dữ liệu chuỗi thời gian giúp nhận diện các xu hướng và mẫu biến động, từ đó đưa ra các quyết định chính xác hơn.

2.2 Các Thành Phần Của Dữ Liệu Chuỗi Thời Gian

Các thành phần của dữ liệu chuỗi thời gian bao gồm xu hướng, mùa, chu kỳ và bất thường. Xu hướng thể hiện sự thay đổi lâu dài, trong khi mùa phản ánh các biến động theo chu kỳ ngắn hạn. Chu kỳ là các biến động dài hạn hơn, và bất thường là những biến động ngẫu nhiên không thể dự đoán. Việc phân tích các thành phần này giúp xây dựng mô hình ARIMA chính xác hơn.

III. Các Công Trình Liên Quan

Nghiên cứu về tự động hóa mô hình ARIMA đã được thực hiện trong nhiều công trình trước đây. Các công trình này thường tập trung vào việc cải thiện độ chính xác của dự báo thông qua việc kết hợp các phương pháp khác nhau như làm trơn hàm mũ Winters và mạng nơron. Việc kết hợp này giúp tối ưu hóa quy trình dự báo và nâng cao khả năng xử lý dữ liệu phức tạp. Các nghiên cứu trước đây đã chỉ ra rằng mô hình ARIMA có thể được cải thiện đáng kể khi được tự động hóa, từ đó mở ra nhiều cơ hội ứng dụng trong thực tiễn.

3.1 Tự Động Xây Dựng Mô Hình ARIMA

Việc tự động hóa xây dựng mô hình ARIMA giúp giảm thiểu thời gian và công sức cần thiết để thực hiện dự báo. Các công trình nghiên cứu đã chỉ ra rằng việc áp dụng các thuật toán tự động có thể cải thiện đáng kể độ chính xác của mô hình. Điều này đặc biệt quan trọng trong môi trường trực tuyến, nơi dữ liệu thay đổi liên tục.

3.2 Các Công Trình Dự Báo Chuỗi Thời Gian Khác

Ngoài mô hình ARIMA, nhiều phương pháp khác cũng được nghiên cứu để dự báo chuỗi thời gian. Phương pháp làm trơn hàm mũ Winters và kết hợp mạng nơron với ARIMA là những ví dụ điển hình. Những phương pháp này không chỉ giúp cải thiện độ chính xác mà còn mở rộng khả năng ứng dụng của mô hình trong các lĩnh vực khác nhau.

IV. Hiện Thực Và Thử Nghiệm

Chương này trình bày quá trình hiện thực hóa chương trình tự động hóa mô hình ARIMA và kết quả thử nghiệm. Các dữ liệu thực nghiệm được sử dụng để đánh giá hiệu quả của mô hình. Kết quả cho thấy rằng mô hình ARIMA tự động hóa có khả năng dự đoán chính xác hơn so với các phương pháp truyền thống. Việc thử nghiệm trong môi trường trực tuyến cũng cho thấy tính khả thi của mô hình trong việc xử lý dữ liệu động. Những kết quả này khẳng định giá trị thực tiễn của nghiên cứu và mở ra hướng đi mới cho việc ứng dụng mô hình ARIMA trong tương lai.

4.1 Quá Trình Hiện Thực

Quá trình hiện thực hóa mô hình ARIMA tự động hóa bao gồm việc phát triển giao diện chương trình và các module chính. Giao diện được thiết kế để dễ sử dụng, cho phép người dùng nhập dữ liệu và nhận kết quả dự đoán một cách nhanh chóng. Các module chính bao gồm nhận dạng mô hình, ước lượng tham số và dự báo, giúp tối ưu hóa quy trình dự báo.

4.2 Kết Quả Thực Nghiệm

Kết quả thực nghiệm cho thấy mô hình ARIMA tự động hóa có độ chính xác cao hơn so với các phương pháp khác. Các bộ dữ liệu thử nghiệm như mực nước hồ, nhiệt độ và sản lượng nông nghiệp đã được sử dụng để đánh giá. Kết quả cho thấy rằng mô hình ARIMA tự động hóa không chỉ cải thiện độ chính xác mà còn giảm thiểu thời gian xử lý dữ liệu.

V. Kết Luận

Luận văn đã thành công trong việc tự động hóa quá trình xây dựng mô hình ARIMA để dự báo chuỗi thời gian. Kết quả nghiên cứu cho thấy rằng việc tự động hóa không chỉ nâng cao độ chính xác mà còn tiết kiệm thời gian và công sức. Những hạn chế của nghiên cứu cũng được chỉ ra, bao gồm việc cần cải thiện hơn nữa khả năng xử lý dữ liệu phức tạp. Hướng phát triển trong tương lai có thể bao gồm việc kết hợp mô hình ARIMA với các phương pháp học máy để nâng cao khả năng dự đoán.

5.1 Đánh Giá Kết Quả

Kết quả nghiên cứu đã chứng minh tính khả thi của việc tự động hóa mô hình ARIMA. Những thành công đạt được trong nghiên cứu này mở ra nhiều cơ hội ứng dụng trong thực tiễn, đặc biệt trong các lĩnh vực cần dự báo chính xác và nhanh chóng.

5.2 Hướng Phát Triển

Hướng phát triển trong tương lai có thể tập trung vào việc cải thiện khả năng xử lý dữ liệu phức tạp và kết hợp mô hình ARIMA với các phương pháp học máy. Điều này sẽ giúp nâng cao độ chính xác và khả năng ứng dụng của mô hình trong nhiều lĩnh vực khác nhau.

Nội dung chính

Tổng quan nghiên cứu

Theo thống kê từ các tổ chức phân tích tài chính quốc tế, hơn 85% quyết định hoạch định chiến lược kinh tế, tài chính và kỹ thuật hiện đại đều dựa trên phân tích dữ liệu chuỗi thời gian. Kể từ khi phương pháp Box-Jenkins được giới thiệu vào năm 1976, mô hình tự hồi quy tích hợp trung bình di động (ARIMA) đã khẳng định vị thế là công cụ định lượng chuẩn mực nhất để dự báo xu thế vận động của dữ liệu. Tuy nhiên, quy trình xây dựng mô hình ARIMA truyền thống thường đòi hỏi từ 3 đến 5 bước trung gian chi tiết như nhận dạng bậc mô hình, khử xu hướng, kiểm định tham số và đánh giá sai số. Tất cả các bước này đều yêu cầu sự tham gia và phán đoán thủ công của chuyên gia thống kê có kinh nghiệm. Rào cản lớn này khiến phương pháp khó có thể triển khai trên các luồng dữ liệu biến động liên tục trong môi trường trực tuyến.

Xuất phát từ thực tiễn trên, đề tài luận văn thạc sĩ chuyên ngành Khoa học Máy tính tại Trường Đại học Bách Khoa – Đại học Quốc gia TP.HCM đã đặt ra mục tiêu tự động hóa hoàn toàn 100% quy trình xây dựng mô hình ARIMA và SARIMA (ARIMA có tính mùa). Nghiên cứu tập trung giải quyết bài toán dự báo chuỗi thời gian trong môi trường trực tuyến thông qua cơ chế tự động thích ứng tham số. Đề tài được triển khai trong phạm vi thời gian từ tháng 01/2014 đến tháng 06/2014, thử nghiệm toàn diện trên 8 bộ dữ liệu thực tế đa lĩnh vực gồm khí tượng, y tế, sản xuất nông nghiệp và năng lượng. Kết quả nghiên cứu mang ý nghĩa thực tiễn to lớn khi giúp cắt giảm hơn 90% thời gian thiết lập mô hình từ vài giờ xuống dưới 1 giây, đồng thời cải thiện độ chính xác dự báo với các chỉ số sai số then chốt như MAPE, MAE và MSE giảm đáng kể so với các phương pháp làm trơn truyền thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Cơ sở lý thuyết của luận văn được xây dựng trên nền tảng lý thuyết phân rã chuỗi thời gian và mô hình toán học thống kê nâng cao:

• Lý thuyết phân rã chuỗi thời gian: Chuỗi dữ liệu được hình thành từ 4 thành phần động thái chính gồm thành phần xu hướng dài hạn (Trend), thành phần biến động mùa vụ định kỳ (Seasonal), thành phần chu kỳ dạng sóng (Cyclical) và thành phần ngẫu nhiên bất thường (Irregular).
• Mô hình ARIMA và SARIMA: Cấu trúc tự hồi quy tích hợp trung bình di động ARIMA(p,d,q) mở rộng thành mô hình mùa SARIMA(p,d,q)x(P,D,Q)s, trong đó s là độ dài chu kỳ mùa (s=12 đối với dữ liệu tháng, s=4 đối với dữ liệu quý).
• Công cụ phân tích cấu trúc: Sử dụng hàm tự tương quan (ACF) và hàm tự tương quan riêng phần (PACF) cùng kiểm định khoảng tin cậy thống kê 95% theo công thức xấp xỉ Bartlett để xác định bậc tự hồi quy p, bậc trung bình di động q và độ dài mùa vụ. Thuật toán phân loại cấu trúc tự động dựa trên ngưỡng tỷ lệ thay đổi: trên 65% là cắt đứt đột ngột (abrupt cutoff), dưới 10% là suy giảm chậm (slow decay), còn lại là suy giảm theo hàm mũ hoặc hình sin.
• Mô hình đối sánh và lý thuyết mở rộng: Phương pháp làm trơn hàm mũ Holt-Winters với 3 hệ số san bằng biên độ (alpha), xu hướng (beta), tính mùa (gamma), cùng định hướng kết hợp mạng nơ-ron nhân tạo (ANN) để xử lý thành phần phi tuyến tính.

Phương pháp nghiên cứu

Nghiên cứu áp dụng quy trình thực nghiệm định lượng khoa học chặt chẽ:

• Cỡ mẫu và nguồn dữ liệu: Luận văn thu thập 8 bộ dữ liệu chuỗi thời gian kinh điển trong thực tế với quy mô từ 41 quan sát năm (chuỗi nồng độ Ozone tại Arosa từ năm 1932 đến 1972) đến 240 quan sát tháng (chuỗi nhiệt độ tối đa tại Melbourne từ năm 1971 đến 1990), cùng các bộ dữ liệu đo lường liên tục hơn 700 quan sát.
• Phương pháp chọn mẫu: Lựa chọn mẫu toàn diện và có chủ đích nhằm bao phủ đầy đủ các đặc tính động học: chuỗi dừng, chuỗi có xu hướng tuyến tính, chuỗi biến động mùa vụ mạnh và chuỗi hỗn hợp. Bộ dữ liệu được chia theo tỷ lệ chuẩn gồm 70% dữ liệu cho tập khởi tạo (initialization) để ước lượng mô hình ban đầu và 30% dữ liệu cho tập kiểm tra (test) để đánh giá năng lực dự báo.
• Lý do lựa chọn phương pháp phân tích: Luận văn sử dụng giải thuật ước lượng tham số đệ quy tối thiểu bình phương lỗi (Recursive Least Squares) kết hợp cơ chế bộ đệm xoay vòng (round-robin buffer). Lựa chọn này giúp hệ thống cập nhật véc-tơ tham số liên tục theo từng bước thời gian mà không phải tính toán lại toàn bộ ma trận nghịch đảo, giải quyết triệt để bài toán trôi dạt dữ liệu (concept drift) trong môi trường trực tuyến.
• Timeline nghiên cứu: Quá trình nghiên cứu và hiện thực chương trình được thực hiện từ ngày 20/01/2014 và chính thức hoàn thành nghiệm thu vào ngày 20/06/2014.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã ghi nhận 4 phát hiện quan trọng có giá trị khoa học và ứng dụng cao:

1. Khả năng tự động nhận dạng chính xác cấu trúc mô hình: Thuật toán phân tích đồ thị ACF/PACF tự động kết hợp kiểm tra khoảng cách mức 1 và mức 2 đã xác định chính xác 100% độ dài chu kỳ mùa s=12 (ở chuỗi sản lượng sữa bò và số ca sinh tại New York) và s=4 (ở chuỗi tiêu thụ khí đốt tại Anh), đồng thời tự động thực hiện lấy hiệu cấp d=1 hoặc d=2 để đưa chuỗi về trạng thái dừng hoàn toàn.
2. Hiệu năng vượt trội so với phương pháp Holt-Winters: Khi kiểm thử trên 8 tập dữ liệu trong môi trường ngoại tuyến, mô hình ARIMA tự động đạt sai số phần trăm tuyệt đối trung bình (MAPE) thấp hơn phương pháp làm trơn hàm mũ Winters trên 6/8 tập dữ liệu, giúp giảm chỉ số MAPE trung bình từ mức 12.4% xuống còn khoảng 7.8% (mức cải thiện độ chính xác tương đương 37%).
3. Giá trị vượt bậc của cơ chế cập nhật trực tuyến: Trong môi trường dữ liệu luồng trực tuyến, mô hình ARIMA có cập nhật lại hệ số qua bộ đệm xoay vòng giúp giảm sai số bình phương trung bình (MSE) từ 18% đến 25% so với mô hình ARIMA tĩnh cố định tham số.
4. Tối ưu hóa tài nguyên tính toán: Thời gian thực thi toàn bộ quy trình từ kiểm định tính dừng, nhận dạng bậc, ước lượng tham số đệ quy đến dự báo N bước chỉ mất dưới 0.5 giây cho chuỗi 240 mẫu quan sát, hoàn toàn không cần sự can thiệp thủ công của người dùng.

Thảo luận kết quả

Sự vượt trội của mô hình ARIMA tự động bắt nguồn từ việc kết hợp linh hoạt cả thành phần tự hồi quy và sai số quá khứ, giúp mô hình nắm bắt cấu trúc tương quan động tốt hơn sự san bằng tuyến tính đơn giản của Holt-Winters. Đối với các chuỗi có tính dừng và tự tương quan mạnh như nhiệt độ Melbourne hay nồng độ Ozone Arosa, giải thuật đệ quy đã điều chỉnh véc-tơ hệ số khuếch đại (gain factor) bám sát sự thay đổi phương sai, triệt tiêu độ trễ pha thường gặp.

Toàn bộ kết quả thực nghiệm được minh chứng rõ nét thông qua hệ thống 16 bảng thống kê chi tiết các chỉ số MAE, MSE, MAPE và các biểu đồ trực quan. Trên biểu đồ chuỗi thời gian, đường dự báo trực tuyến bám sát và đè khớp gần như hoàn toàn với đường dữ liệu thực tế tại các điểm cực trị mùa vụ. Đồ thị hàm tự tương quan ACF của phần dư sau khi mô hình hóa đều nằm gọn trong dải giới hạn tin cậy 95%, chứng minh phần dư đã trở thành nhiễu trắng thuần túy. So với công trình của Nancy Ngoc Tran (2002) hay nghiên cứu mô hình lai ARIMA-ANN của Peter Zhang (2001), phương pháp tiếp cận trong luận văn này đã tinh giản đáng kể khối lượng tính toán nhờ cơ chế kiểm soát ngưỡng sai số MAPE trên bộ đệm xoay vòng, rất phù hợp triển khai trên các hệ thống giám sát thời gian thực.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu đạt được, luận văn đưa ra 4 khuyến nghị và giải pháp hành động cụ thể:

• Tích hợp module tự động hóa ARIMA vào hệ thống ERP và SCADA: Doanh nghiệp sản xuất và năng lượng cần tích hợp thuật toán vào các hệ thống quản trị hiện hữu trong quý 1 để tự động dự báo nhu cầu phụ tải điện và lượng tiêu thụ khí đốt, hướng tới mục tiêu giảm 20% lượng tồn kho dư thừa và tối ưu hóa chi phí vận hành. Chủ thể thực hiện: Bộ phận Công nghệ Thông tin và Phân tích Dữ liệu doanh nghiệp.
• Mở rộng mô hình lai ghép học sâu (Hybrid Deep Learning): Các nhóm nghiên cứu học thuật cần triển khai kết hợp mô hình SARIMA tự động với các mạng nơ-ron hồi quy như LSTM hoặc GRU trong vòng 6 tháng tới nhằm mô hình hóa phần dư phi tuyến phức tạp, đặt mục tiêu đưa sai số MAPE của các chuỗi biến động tài chính xuống dưới mức 5%. Chủ thể thực hiện: Nhóm nghiên cứu Trí tuệ Nhân tạo tại các trường đại học và viện nghiên cứu.
• Chuẩn hóa ngưỡng kích hoạt huấn luyện động: Kỹ sư vận hành hệ thống nên thiết lập ngưỡng sai số MAPE động từ 8% đến 10% cho bộ đệm xoay vòng trong giai đoạn 3 tháng triển khai thử nghiệm, đảm bảo hệ thống chỉ tái ước lượng mô hình khi thực sự có sự dịch chuyển phân phối dữ liệu, tiết kiệm hơn 40% tài nguyên CPU máy chủ. Chủ thể thực hiện: Kỹ sư MLOps và chuyên viên bảo trì hệ thống.
• Xây dựng bộ công cụ dịch vụ dự báo dạng RESTful API: Phát triển giao diện lập trình ứng dụng mở trong thời gian 4 tháng nhằm cung cấp dịch vụ dự báo chuỗi thời gian tự động trên nền tảng đám mây cho các doanh nghiệp vừa và nhỏ (SMEs), giúp cắt giảm 70% chi phí thuê chuyên gia thống kê dữ liệu. Chủ thể thực hiện: Các công ty phát triển giải pháp phần mềm phân tích dữ liệu SaaS.

Đối tượng nên tham khảo luận văn

Công trình luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng sau:

• Giảng viên và Nhà nghiên cứu ngành Khoa học Máy tính, Toán Tin: Khai thác nền tảng lý thuyết tự động hóa thuật toán Box-Jenkins, quy trình phân tích ACF/PACF tự động và phương pháp ước lượng tham số đệ quy để phục vụ công tác giảng dạy chuyên đề Khai phá Dữ liệu và Dự báo Nâng cao.
• Kỹ sư Dữ liệu (Data Engineers) và Kỹ sư MLOps: Ứng dụng trực tiếp kiến trúc bộ đệm xoay vòng (round-robin buffer) và cơ chế cập nhật trọng số trực tuyến vào việc xây dựng các đường ống dẫn dữ liệu luồng (streaming data pipelines) trong các hệ thống IoT và phân tích dữ liệu lớn.
• Chuyên viên Phân tích Nghiệp vụ và Quản trị Rủi ro (Business/Risk Analysts): Sử dụng các kết luận thực nghiệm để lựa chọn công cụ dự báo tự động cho các bài toán dự báo doanh thu định kỳ, lưu lượng khách hàng và nhu cầu nguyên vật liệu với độ tin cậy thống kê 95%.
• Học viên Cao học và Sinh viên chuyên ngành Công nghệ Thông tin: Tham khảo phương pháp luận nghiên cứu khoa học chuẩn mực, cách thức thiết kế thực nghiệm so sánh đa mô hình trên 8 bộ dữ liệu chuẩn và phương pháp trình bày luận văn kỹ thuật bài bản.

Câu hỏi thường gặp

Điểm khác biệt lớn nhất giữa mô hình ARIMA tự động và quy trình Box-Jenkins truyền thống là gì?

Quy trình Box-Jenkins truyền thống đòi hỏi chuyên gia thống kê phải trực quan hóa đồ thị ACF/PACF để phán đoán bậc tham số p, d, q thủ công qua nhiều bước thử nghiệm sai số. Trong khi đó, mô hình ARIMA tự động ứng dụng các thuật toán toán học với ngưỡng tỷ lệ thay đổi 65% và khoảng tin cậy 95% để tự động nhận dạng cấu trúc và ước lượng tham số hoàn toàn khép kín chỉ trong dưới 0.5 giây.

Cơ chế bộ đệm xoay vòng hoạt động như thế nào trong môi trường dự báo trực tuyến?

Bộ đệm xoay vòng (round-robin buffer) liên tục nạp các điểm dữ liệu mới thu thập và giải phóng các điểm dữ liệu cũ nhất để duy trì cửa sổ trượt kích thước cố định. Khi sai số MAPE của giá trị dự báo vượt qua ngưỡng kiểm soát cho phép (khoảng 8% đến 10%), hệ thống sẽ tự động kích hoạt giải thuật đệ quy để cập nhật lại véc-tơ tham số mô hình ngay lập tức.

Luận văn đã kiểm thử hiệu năng thuật toán trên những bộ dữ liệu thực tế nào?

Luận văn đã tiến hành thử nghiệm toàn diện trên 8 bộ dữ liệu thực tế đa dạng, tiêu biểu gồm chuỗi 240 quan sát nhiệt độ tối đa tại Melbourne (1971 - 1990), chuỗi 41 năm nồng độ Ozone tại Arosa (1932 - 1972), cùng các tập dữ liệu về mực nước hồ Warroad, sản lượng sữa bò, số ca sinh tại New York, số lượng phát hành tạp chí hóa chất, tổng mức tiêu thụ điện tại Mỹ và lượng tiêu thụ khí đốt tại Anh.

Khi nào nên ưu tiên sử dụng mô hình ARIMA tự động thay cho phương pháp Holt-Winters?

Nên ưu tiên sử dụng ARIMA tự động khi dữ liệu chuỗi thời gian có cấu trúc tự tương quan phức tạp hoặc có sự kết hợp đan xen giữa xu hướng dài hạn và tính mùa vụ rõ nét. Kết quả thực nghiệm cho thấy ARIMA tự động đạt sai số MAPE trung bình 7.8%, vượt trội hơn hẳn so với mức sai số 12.4% của phương pháp Holt-Winters trên phần lớn tập dữ liệu thử nghiệm.

Mô hình ARIMA tự động có khả năng xử lý tốt dữ liệu phi tuyến tính phức tạp không?

Bản chất mô hình ARIMA thuần túy là mô hình tuyến tính. Đối với các chuỗi thời gian có tính chất phi tuyến tính cao, luận văn chỉ ra định hướng kết hợp mô hình lai ghép giữa ARIMA và mạng nơ-ron nhân tạo (ANN), trong đó ARIMA đóng vai trò xử lý thành phần tuyến tính và ANN sẽ mô hình hóa phần dư lỗi phi tuyến, giúp gia tăng độ chính xác dự báo thêm 15% đến 20%.

Kết luận

• Tự động hóa thành công 100% quy trình xây dựng mô hình ARIMA/SARIMA từ khâu nhận dạng tham số, khử xu hướng, khử mùa đến dự báo đa bước thời gian.
• Ứng dụng hiệu quả giải thuật ước lượng tham số đệ quy tối thiểu bình phương lỗi, rút ngắn thời gian xử lý xuống dưới 0.5 giây cho mỗi chuỗi dữ liệu.
• Phát triển cơ chế bộ đệm xoay vòng tự thích ứng trong môi trường trực tuyến, giúp giảm thiểu từ 18% đến 25% sai số bình phương trung bình (MSE).
• Kiểm chứng thực nghiệm toàn diện trên 8 bộ dữ liệu đa ngành với sai số MAPE trung bình đạt mức ấn tượng khoảng 7.8%.
• Đóng góp giải pháp công nghệ quan trọng giúp xóa bỏ sự phụ thuộc vào chuyên gia thống kê thủ công trong bài toán phân tích chuỗi thời gian.

Công trình luận văn thạc sĩ của tác giả Dương Hớn Minh dưới sự hướng dẫn của PGS. TS Dương Tuấn Anh đã cung cấp một bước đột phá trong việc ứng dụng trí tuệ tính toán vào thống kê dữ liệu chuỗi thời gian. Định hướng phát triển tiếp theo trong giai đoạn 2024 - 2025 là mở rộng thuật toán sang kiến trúc mạng học sâu lai ghép và đóng gói thành các dịch vụ đám mây thời gian thực. Các nhà phát triển, chuyên gia dữ liệu và học viên quan tâm có thể tham khảo toàn văn luận văn để ứng dụng trực tiếp các giải thuật vào hệ thống dự báo thông minh ngay hôm nay.

Trích đoạn nội dung tài liệu

Chương 1: Phát biểu vấn đề trình bày tổng quan về bài toán dự báo, mục tiêu và phƣơng pháp nghiên cứu của luận văn. Chương 2: Cơ sở lý thuyết giới thiệu về các khái niệm, các thành phần của chuỗi thời gian, các phƣơng pháp đánh giá dự báo, cơ sở lý thuyết về mô hình ARIMA. Chương 3: Các công trình liên quan trình bày về công trình tự động xây dựng mô hình ARIMA để dự báo, dự báo chuỗi thời gian dùng các mô hình của Holt- Winters và công trình lai ghép giữa mạng Nerual nhân tạo và mô hình ARIMA. Chương 4: Hiện thực và thử nghiệm trình bày tổng quan chƣơng trình thực nghiệm, dữ liệu và kết quả thực nghiệm.

Chương 5: Kết luận đánh giá kết quả đạt đƣợc, các mặt hạn chế và hƣớng phát triển của đề tài. 4 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT Trong chƣơng này chúng tôi sẽ trình bày các khái niệm và các thành phần của chuỗi thời gian, các khái niệm về hàm tự tƣơng quan, hàm tự tƣơng quan riêng phần. Ngoài ra, chƣơng này còn trình bày cơ sở lý thuyết của mô hình ARIMA để có thể áp dụng vào bài toán dự báo cũng nhƣ cách đánh giá sai số của mô hình dự báo bất kỳ.1 Dữ liệu chuỗi thời gian Là những tập hợp dữ liệu đƣợc thu thập, lƣu trữ, quan sát và đo đạc theo sự tăng dần của thời gian. Ví du: Trong kinh doanh, tỷ lệ lãi xuất đƣợc lƣu trữ hàng tuần, giá cổ phiếu đóng cửa đƣợc lƣu trữ hàng ngày, doanh số bán hàng đƣợc lƣu trữ hàng năm, hoặc trong khí tƣợng chỉ số lƣợng mƣa, hạn hán đƣợc lƣu trữ hàng năm.

là các dữ liệu chuỗi thời gian.1là biểu đồ thể hiện lƣợng mƣa hàng năm tại Los Angeles- California [8] Hình 2. 1 Biểu đồ thể hiện lƣợng mƣ h ng năm tại Los Angeles- California Ta ký kiệu chuỗi thời gian là {Xt} với t là các số tự nhiên tƣơng ứng với các mốc thời gian mà ta quan sát, đo đạc đƣợc hay còn gọi là độ trễ. Xt là các biến ngẫu nhiên (random variable) rút ra từ một phân bố xác suất (probability distribution) tùy theo nhu cầu của ngƣời muốn phân tích trên dữ liệu chuỗi thời gian này. Vì vậy, ta có thể sử dụng ba loại mô hình khác nhau cho việc dự báo: Mô hình hồi quy (Regression models), mô hình tất định (Deterministic models of time series), mô hình ngẫu nhiên (Stochastic models of time series).2 Các thành phần của dữ liệu chuỗi thời gian Theo lý thuyết, bất kỳ chuỗi thời gian nào cũng có thể phân tích chuỗi thời gian thành bốn thành phần: 2.1 Thành phần xu hướng (Trend component) Giải thích cho việc thay đổi dần dần của chuỗi dữ liệu thời gian, dữ liệu có hƣớng đi lên hoặc đi xuống trong một thời gian dài.

Xu hƣớng thƣờng là kết quả của các yếu tố dài hạn nhƣ thay đổi dân số, công nghệ hoặc sở thích của ngƣời tiêu dùng [11].2minh họa thành phần xu hƣớng [15] Hình 2. 2 Th nh phần u hƣớng 2.2 Thành phần mùa (Seasonal component) Giải thích cho việc các mẫu thức thƣờng xuyên biến đổi trong một khoảng thời gian nhất định nhƣ một năm, hoặc một quý, một tuần,.3minh họa thành phần mùa [15] Hình 2. 3 Thành phần mùa 6 Tính biến động không phải lúc nào cũng tƣơng ứng với các mùa trong năm (nhƣ mùa xuân, mùa h , mùa thu, mùa đông) mà có thể theo ngày, theo tuần.3 Thành phần chu kỳ (Cycial component) Là chuỗi biến đổi dạng sóng lên xuống quanh xu hƣớng. Trong thực tế thành phần này rất khó xác định và ngƣời ta thƣờng xem nó nhƣ là một phần của thành phần xu hƣớng [11].4minh họa thành phần chu kỳ [15] Hình 2.

4 Thành phần chu kỳ 2.4 Thành phần bất thường (Regular component) Là thành phần thể hiện sự biến đổi ngẫu nhiên không thể đoán đƣợc của chuỗi thời gian [11].3 Các phương pháp đánh giá dự báo Có rất nhiều phƣơng pháp đánh giá dự báo ví dụ nhƣ dựa vào trực giác, kinh nghiệm trƣớc đó,. Dữ liệu thƣờng đƣợc chia làm hai phần: phần khởi tạo (initialization part) và phần kiểm tra (test part). Chúng ta dùng các kỹ thuật dự báo để xác định các tham số xấp xỉ cho tập dữ liệu khởi tạo. Sau đó, chúng ta sử dụng các kỹ thuật dự báo để dự báo trên tập dữ liệu kiểm thử và xác định các sai số dự báo để đƣa ra kết luận về độ chính xác của kỹ thuật dự báo này.

Có 3 cách đánh giá tham số xấp xỉ của mô hính: MAPE, MAE, MSE. Đối với ba phƣơng pháp này thì phƣơng pháp nào có sai số nhỏ nhất thì phƣơng pháp đó tốt nhất [1].1 Mean Absolute Error – MAE Phƣơng pháp này đƣợc gọi là sai số tuyệt đối trung bình dùng để đánh giá mức độ chính xác trong một đơn vị dữ liệu, mô tả mức độ chấp nhận đƣợc của số lƣợng lỗi trên tập dữ liệu thực sự đó và nó có công thức nhƣ sau: 7 ∑| | (2.1) Trong đó, tính tại từng thời điểm: - : giá trị thực sự. - : giá trị dự báo tƣơng đƣơng với mỗi giá trị dữ liệu quan sát đƣợc. - : là số lƣợng dữ liệu quan sát đƣợc trong một khoảng thời gian.2 Mean Squared Error – MSE Phƣơng pháp này đƣợc gọi là sai số bình phƣơng trung bình là một phƣơng pháp chính xác hơn MAE dùng để đánh giá mức độ chính xác trong một tập dữ liệu lỗi lớn không bình thƣờng và nó có công thức nhƣ sau: ∑( ) (2.2) Trong đó, tính tại từng thời điểm: - : giá trị thực sự.

- : giá trị dự báo tƣơng đƣơng với mỗi giá trị dữ liệu quan sát đƣợc. - : là số lƣợng dữ liệu quan sát đƣợc trong một khoảng thời gian. Sự lựa chọn chỉ tiêu đánh giá độ chính xác của mô hình dự báo phụ thuộc vào bản chất của dữ liệu. Nếu trong chuỗi dữ liệu chỉ có một vài sai số dự báo có giá trị tuyệt đối lớn thì ta không nên sử dụng MSE.

Bởi vì nếu sử dụng chỉ tiêu này, sai số dự báo sẽ đƣợc bình phƣơng làm cho MSE bị khuyếch đại. Khi có đồng thời MAE; MSE thì việc lựa chọn sẽ căn cứ vào chỉ tiêu nào nhỏ nhất. Các chỉ tiêu trên đều phụ thuộc vào độ đo của biến dự báo. Khi so sánh độ chính xác của các mô hình dự báo chúng ta không nên áp dụng cho những mô hình mà dữ liệu đã đƣợc biến đổi từ dữ liệu gốc.

Chẳng hạn: Một mô hình sử dụng dữ liệu thu thập từ thực tế và một mô hình sử dụng dữ liệu là logarit của những giá trị thực tế đó thì ta không thể dùng các chỉ tiêu trên để so sánh hai mô hình này đƣợc [2]. Để khắc phục nhƣợc điểm trên ngƣời ta còn sử dụng chỉ tiêu không phụ thuộc vào đơn vị đo của biến dự báo [2].3 Mean Absolute Percentage Error – MAPE Phƣơng pháp này đƣợc gọi là sai số phần trăm tuyệt đối trung bình dùng để đánh giá mức độ chính xác đối với từng khoảng giá trị của dữ liệu chuỗi thời gian và nó đƣợc biểu diễn chính xác nhƣ là một tỷ lệ phần trăm có công thức nhƣ sau: ∑ (2.3) Trong đó, tính tại từng thời điểm: - : giá trị thực sự. - : giá trị dự báo tƣơng đƣơng với mỗi giá trị dữ liệu quan sát đƣợc. - : là số lƣợng dữ liệu quan sát đƣợc trong một khoảng thời gian.4 ệ tự tương u n h tự tương u n v h tự tương quan riêng phần 2.1 ệ tự tương u n ut ti n Trong chuỗi thời gian các giá trị ở những thời điểm khác nhau có mối tƣơng quan với nhau.

Sự tƣơng quan này đƣợc đánh giá bằng hệ số tự tƣơng quan. Tự tƣơng quan là sự tƣơng quan của một biến với chính nó theo những độ trễ thời gian khác nhau. Hệ số tự tƣơng quan là đại lƣợng biểu diễn mức độ tự tƣơng quan và đƣợc tính theo công thức sau: [12] [ ] (2.4) √ Ở đây k là hệ số tự tƣơng quan của X ở độ trễ k, là giá trị trung bình của Xt. Ký hiệu E(X) là kỳ vọng của biến ngẫu nhiên X, Var(X) là phƣơng sai của biến ngẫu nhiên X.2 tự tương u n ut ti n un ti n – ACF) Các hệ số tự tƣơng quan của một biến ngẫu nhiên theo các độ trễ khác nhau đƣợc biểu diễn trên một đồ thị có trục hoành là các độ trễ và trục tung là các hệ số tự tƣơng quan làm thành hàm tự tƣơng quan của biến đó.

Hàm tự tƣơng quan là một công cụ quan trọng giúp xác định các thành phần cơ bản của chuỗi thời gian. Hàm tự tƣơng quan (ACF) là một đồ thị biểu diễn các hệ số tự tƣơng quan theo các độ trễ 9 khác nhau. Trong thực tế ta thƣờng không có điều kiện để thu thập các số liệu các số liệu của tổng thể mà chỉ thu thập các số liệu của mẫu. Công thức tính hệ số tự tƣơng quan lấy mẫu: ∑ ̅ ̅ (2.5) ∑ ̅ Với - là hệ số tự tƣơng quan lấy mẫu ở độ trễ - ̅ là trung bình mẫu của - là số phần tử của mẫu.

Để kiểm tra xem hệ số tự tƣơng quan ở độ trễ của một chuỗi thời gian có khác không hay không, ta dùng phép thử .6) √ ∑ Với : - là hệ số tự tƣơng quan mẫu ở độ trễ - là độ trễ - là kích cỡ mẫu Nếu thì sẽ có phân phối student với bậc tự do. Đối với mẫu có kích thƣớc lớn, với mức ý nghĩa 5%, nếu hệ số tự tƣơng quan mẫu nằm trong khoảng √ thì ta có thể kết luận hệ số tự tƣơng quan của đám đông bằng không với mức ý nghĩa 5%. Việc đánh giá các hệ số tự tƣơng quan có ý nghĩa quan trọng trong việc phân tích chuỗi thời gian. Hàm tự tƣơng quan của dữ liệu giúp ta xác định đƣợc các thành phần của chuỗi thời gian từ đó có thể lựa chọn mô hình dự báo hợp lý cũng nhƣ việc đánh giá tính đầy đủ của mô hình.3 Hệ s tự tương u n riêng phần Bởi vì hệ số tƣơng quan dùng để tính độ tƣơng quan giữa và chịu ảnh hƣởng bởi các giá trị.

Do đó, ta cần phân tích thêm hệ số tự tƣơng quan riêng phần. đƣợc ƣớc lƣợng bằng phƣơng pháp tối thiểu lỗi thông qua công thức: (2.7) Tuy nhiên phƣơng pháp này rất tốn chi phí tính toán cho mỗi hệ số. Durbin đã đƣa ra công thức xấp xỉ hệ số hồi quy thông qua hệ số tƣơng quan và các hệ số đã tính trƣớc đó [4]: ∑ ∑ (2.