CHƯƠNG I: GIỚI THIỆU ĐỀ TÀI Chương này sẽ giới thiệu vấn đề, mục tiêu và động lực để thực hiện đề tài nghiên cứu này cũng như tóm lược những kết quả đạt được. Cuối cùng là cấu trúc toàn cục của luận văn 1. Giới thiệu vấn đề: Ngày nay, khi xã hội ngày càng phát triển thì thông qua các hoạt động công nghệ hằng ngày thì lượng thông tin cũng như dữ liệu ngày càng bùng nổ và tăng lên một cách nhanh chóng. Lượng dữ liệu khổng lồ này đến từ nhiều nguồn khác nhau như, y tế, tài chính, kinh tế, giáo dục, khoa học kỹ thuật… và cũng là một nguồn tài nguyên vô cùng quý giá nếu chúng ta có thể phát hiện và khai thác những thông tin trong lượng dữ liệu đó để qua đó có thể hỗ trợ việc đưa ra những quyết định một cách nhanh chóng và chính xác nhất có thể.
Và từ những nhu cầu thực tế này, rất nhiều các nhà khoa học đã và đang phát triển những phương pháp cũng như hệ thống khai phá dữ liệu.Và một trong những hướng nghiên cứu khai phá dữ liệu phổ biến hiện nay chính là kỹ thuật khai phá dữ liệu chuỗi thời gian. Ngày nay, chúng ta có thể dễ dàng nhìn thấy dữ liệu chuỗi thời gian ở khắp các phương tiện thông tin, từ internet, sách báo, truyền hình… và nguồn phát sinh dữ liệu chuỗi thời gian cũng rất đa dạng và phổ biến (từ tài chính, kinh tế, những số liệu chứng khoán, số liệu khí tượng thủy văn, môi trường…). Qua đó có thể thấy được rằng dữ liệu chuỗi thời gian phổ biến như thế nào trong thống kê tại thời điểm hiện tại. Và các nhà đầu tư cần phải có công cụ hỗ trợ để dự báo được những nhu cầu cũng như biến động của thị trường để có phương hướng, chính sách, chiến lược phù hợp cho thời gian tới.
Vậy chuỗi thời gian là gì? Đó là một tập hợp dữ liệu mà các giá trị của nó được quan sát và đo được một cách tuần tự theo những khoảng thời gian bằng nhau. Hiện tại có rất nhiều kỹ thuật khai phá dữ liệu chuỗi thời gian, và một trong những kỹ thuật phổ biến nhất chính là dự báo dữ liệu chuỗi thời gian.Các phương pháp dự Hoàng Trung Hiếu 1 Dự báo dữ liệu chuỗi thời gian bằng tập hợp giải thuật k lân cận gần nhất báo dữ liệu chuỗi thời gian rất có ý nghĩa trong nhiều lĩnh vực khác nhau. Ví dụ như trong lĩnh vực kinh tế, việc dự báo các chỉ số chứng khoán có thể hỗ trợ cho việc ra quyết định cho các nhà đầu tư; hay trong lĩnh vực khí tượng thủy văn có thể dự báo lượng mưa tăng hay giảm so với những năm trước để qua đó hỗ trợ thông tin cho ngành nông nghiệp có những dự trù phù hợp cho việc canh tác… 1. Mục tiêu và nhiệm vụ nghiên cứu Hiện nay có rất nhiều kỹ thuật, phương pháp cũng như giải thuật rất hữu hiệu cho việc dự báo dữ liệu chuỗi thời gian mà có thể kể đến như: Mô hình ARIMA (Auto Regressive Integrate Moving Average); Làm trơn hàm mũ, Mạng nơ-ron, k lân cận gần nhất.
+ Những phương pháp làm trơn hàm mũ [9] (Exponential Smoothing Methods) gồm những phương pháp Làm trơn hàm mũ bậc một (Single Exponential Smoothing) dùng cho những chuỗi thời gian không có tính xu hướng và không có tính mùa. Làm trơn hàm mũ bậc 2 (Double Exponential Smoothing) dùng cho chuỗi thời gian có tính xu hướng và không có tính mùa. Mô hình Winter’s dùng cho những chuỗi thời gian vừa có tính xu hướng và có tính mùa. + Mô hình ARIMA (Auto Regressive Integrated Moving Average) [9] được dùng cho chuỗi thời gian không có tính dừng (non-stationary) nhưng được làm cho có tính dừng (stationary) bằng cách tính toán sự khác nhau giữa các điểm dữ liệu.
+ Dự báo chuỗi thời gian với mạng Nơ-ron nhân tạo (ANN) [9] là mô hình sử dụng ANN để dự báo điểm dữ liệu Xt+1 với những node input của ANN là s điểm dữ liệu trước đó (Xt-s … Xt) của nó. + k-NN là phương pháp sử dụng khoảng cách Euclid để xác định những lân cận của câu truy vấn qua đó tìm ra giá trị dự báo tương ứng. Hoàng Trung Hiếu 2 Dự báo dữ liệu chuỗi thời gian bằng tập hợp giải thuật k lân cận gần nhất Trong số những phương pháp nói trên thì phương pháp dùng k-NN để dự báo chuỗi thời gian là một phương pháp khá đơn giản và dễ hiện thực nên rất phổ biến trong các hệ thống dự báo. Tuy nhiên, phương pháp này lại có một hạn chế [1] đáng lưu ý, đó là nó khá nhạy cảm với sự thay đổi của những tham số nhập vào; chẳng hạn như: số lân cận gần nhất, hàm lựa chọn trọng số, tầm vực dự báo, chiều dài của câu truy vấn.
Nhận ra được sự ảnh hưởng đáng kể của tham số k lân cận gần nhất của phương pháp k lân cận gần nhất truyền thống, Yankov và các cộng sự năm 2006[2] đã đề xuất một phương pháp Dự báo dữ liệu chuỗi thời gian dựa vào một tập hợp giải thuật k-lân cận gần nhất nhằm mục đích cải thiện được độ chính xác của phương pháp dự báo so với phương pháp k-lân cận gần nhất đơn lẻ. Trong bài báo nêu trên, Yankov và các cộng sự đã để mở một số vấn đề của phương pháp này, đó là: i. làm cách nào để phân lớp những mẫu truy vấn chuỗi thời gian thành 2 lớp sao cho ứng với mỗi lớp mẫu truy vấn đó được dự báo tốt hơn với một trong hai bộ dự báo con ki-NN trong tập hợp {k1-NN, k2-NN}. làm cách nào để xác định hai tham số k1 và k2 của hai bộ dự báo con Và trong phạm vi đề tài này, chúng tôi ứng dụng phương pháp dự báo dữ liệu chuỗi thời gian dựa vào một tập hợp giải thuật k lân cận gần nhất do Yankov và các cộng sự đề xuất, giải quyết 2 vấn đề còn tồn đọng trong phương pháp này, và so sánh sự hữu hiệu của phương pháp này với phương pháp dự báo dữ liệu chuỗi thời gian sử dụng giải thuật k-NN đơn lẻ.
* Nội dung nghiên cứu của đề tài bao gồm các công việc sau: + Phân đoạn dữ liệu chuỗi thời gian thành những chuỗi con dựa vào phương pháp những điểm cực trị quan trọng (important extreme points), đề xuất bởi Pratt và Fink [3] + Tìm hiểu giải thuật gom cụm K-means để gom cụm các phân đoạn chuỗi thời gian thành 2 cụm khác nhau qua đó tìm ra 2 chuỗi con trung tâm trong 2 nhóm các phân đoạn của chuỗi thời gian. Hoàng Trung Hiếu 3 Dự báo dữ liệu chuỗi thời gian bằng tập hợp giải thuật k lân cận gần nhất + Tìm hiểu phương pháp dự báo dữ liệu chuỗi thời gian dùng giải thuật k-NN (k Nearest Neighbor). + Hiện thực một chương trình dự báo dữ liệu chuỗi thời gian bằng cách sử dụng một tập hợp gồm 2 giải thuật k-NN. Sơ lược về kết quả thu được Như đã nói ở trên, mục đính chính của luận văn chính là hiện thực một hệ thống dự báo dữ liệu chuỗi thời gian bằng một tập hợp giải thuật k-NN và so sánh với phương pháp dự báo chỉ sử dụng k-NN đơn lẻ.
Và trong suốt quá trình nghiên cứu và thử nghiệm, chúng tôi thấy được một số ưu điểm của phương pháp dùng tập hợp giải thuật k-NN so với phương pháp chỉ dùng một giải thuật k-NN đơn chính là + Kết quả dự báo chính xác hơn. + Có thể dự báo tốt đối với dữ liệu chuỗi thời gian có tính biến động cao 1. Cấu trúc của luận văn Phần còn lại của luận văn bao gồm những phần sau: Chương II chúng tôi trình bày lý thuyết tổng quan về dữ liệu chuỗi thời gian cùng với đó là giới thiệu một số phương pháp dự báo thường gặp; sử dụng giải thuật k-NN trong việc dự báo chuỗi thời gian; và một số khái niệm, lý thuyết có sử dụng trong bài luận văn. Chương III chúng tôi giới thiệu một số công trình có liên quan: những công trình về giải thuật Chương IV sẽ đề xuất một phương pháp mới của chúng tôi và các bước hiện thực để giải quyết bài toán Chương V chúng tôi trình bày những kết quả đạt được sau khi hiện thực và thử nghiệm trên một số bộ dữ liệu mẫu.
Chương VI trình bày một số kết luận sau khi thực hiện đề tài. Hoàng Trung Hiếu 4 Dự báo dữ liệu chuỗi thời gian bằng tập hợp giải thuật k lân cận gần nhất CHƯƠNG II: CƠ SỞ LÝ THUYẾT Chương này sẽ giới thiệu một cách tổng quan về dữ liệu chuỗi thời gian cùng các thành phần của chuỗi thời gian và một số phương pháp dự báo chuỗi thời gian thường gặp. Ứng dụng giải thuật k-lân cận gần nhất trong bài toán dự báo chuỗi thời gian cùng một số định nghĩa cũng như lý thuyết có liên quan đến đề tài. Dữ liệu chuỗi thời gian Dữ liệu chuỗi thời gian (Time Series Data) là dữ liệu bao gồm tập hợp các điểm dữ liệu được đo được bằng cách quan sát, đo đạc một cách tuần tự theo những khoảng thời gian rời rạc và cách đều nhau.
Ví dụ: dữ liệu về lượng mưa trung bình theo từng năm của một quốc gia, vùng lãnh thổ; hay dữ liệu doanh thu hằng tháng, quý, năm của một doanh nghiệp; chỉ số chứng khoán của công ty… và dữ liệu thường được biểu diễn dưới dạng chuỗi thời gian.1 minh họa một ví dụ về dữ liệu chuỗi thời gian Hình 2.1: Ví dụ về dữ liệu chuỗi thời gian Hoàng Trung Hiếu 5 Dự báo dữ liệu chuỗi thời gian bằng tập hợp giải thuật k lân cận gần nhất Các thành phần của một chuỗi thời gian: Về lý thuyết, bất kỳ chuỗi thời gian nào cũng có 4 thành phần [9][10][11] ảnh hưởng trực tiếp lên giá trị của chuỗi thời gian, đó là các thành phần: + Xu hướng (trend) + Mùa (seasonal) + Chu kỳ (cycle) + Bất thường (irregular) Việc xác định những thành phần này rất quan trọng trong những bài toán dự báo chuỗi thời gian, giúp cho ta lựa chọn mô hình dự báo phù hợp. - Thành phần xu hướng: Tính xu hướng của chuỗi thời gian tồn tại khi cho một sự tăng hoặc giảm trong một thời gian dài của dữ liệu. Đường xu hướng không cần phải tuyến tính.2 minh họa thành phần xu hướng của chuỗi thời gian (đường màu xanh lá) Hình 2.