Luận văn thạc sĩ VNU UET: Phát hiện tri thức từ CSDL chuỗi thời gian

Luận văn thạc sĩ phân tích vnu uet phát hiện tri thức từ cơ sở dữ liệu chuỗi thời gian, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Trần Thị Thanh Huyền
• Người hướng dẫn: TS. Đỗ Văn Thành
• Trường học: Trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phát Hiện Tri Thức Từ Cơ Sở Dữ Liệu Chuỗi Thời Gian
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2005
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: MÔ HỠNH ARIMA
• 1.1. Khái niệm cơ bản
• 1.2. Chuỗi thời gian
• 1.3. Chuỗi ngẫu nhiên thuần túy
• 1.4. Chuỗi thời gian dừng
• 1.5. Một số vấn đề về dự báo
• 1.5.1. Khái niệm dự báo
• 1.5.2. Phân loại các kiểu dự báo
• 1.5.2.1. Dự báo ngắn hạn
• 1.5.2.2. Dự báo trung hạn
• 1.5.2.3. Dự báo dài hạn
• 1.5.3. Các phương pháp dự báo chuỗi thời gian
• 1.5.4. Các cách tiếp cận để dự báo chuỗi thời gian
• 1.6. Các công cụ để dự báo
• 1.6.1. Giá trị trung bình của N theo dõi
• 1.6.2. Phương sai của tiến trình ước lượng
• 1.6.3. Tự tương quan (Autocorrelation - AC)
• 1.6.4. Tự tương quan riêng (PAC)
• 1.6.5. Nhiễu trắng (White noise)
• 1.6.6. Bộ lọc tuyến tính (Filter linear)
• 2. CHƯƠNG 2: GIỚI THIỆU EVIEWS - PHẦN MỀM PHÂN TÍCH VÀ DỰ BÁO DỮ LIỆU
• 2.1. Giới thiệu chung
• 2.2. Các khái niệm cơ bản trong EVIEWS
• 2.2.1. Tạo biến mới, để sẵn, để trỏ và sai phân
• 2.2.2. Xây dựng tương quan trong EVIEWS
• 2.2.3. Kiểm định nghiệm đơn vị
• 2.2.4. Kiểm định tính tương quan chuỗi
• 2.2.5. Đặc tả một phương trình trong EVIEWS
• 2.2.5.1. Các phương pháp ước lượng
• 2.2.5.2. Ước lượng mô hình ARIMA
• 2.2.5.3. Làm việc với phát triển
• 2.2.5.4. Phương trình kết quả
• 2.2.5.5. Kết quả tổng hợp
• 2.2.6. Kiểm định phân dị
• 2.2.6.1. Tương quan đa và thống kê Q
• 2.2.6.2. Kiểm định tính tương quan chuỗi LM
• 2.2.7. Đánh giá chuẩn đoán
• 2.2.8. Dự báo từ một phương trình ước lượng
• 2.2.8.1. Thời tốc dự báo
• 2.2.8.2. Phương pháp dự báo
• 2.2.8.3. Tính toán dự báo
• 2.2.8.4. Sai số và phương trình dự báo
• 2.2.8.5. Đánh giá dự báo
• 3. CHƯƠNG 3: ỨNG DỤNG EVIEWS VÀ MÔ HỠNH ARIMA GIẢI QUYẾT BÀI TOÁN DỰ BÁO GIỎ MỘT SỐ MẶT HÀNG
• 3.1. Giới thiệu chung
• 3.2. Các bước tiến hành dự báo
• 3.2.1. Tiến hành dự báo
• 3.2.2. Dự báo giá Võng
• 3.2.3. Dự báo giá Thác
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về luận văn thạc sĩ VNU UET phát hiện tri thức từ cơ sở dữ liệu chuỗi thời gian

Luận văn thạc sĩ VNU UET về phát hiện tri thức từ cơ sở dữ liệu chuỗi thời gian là một nghiên cứu quan trọng trong lĩnh vực công nghệ thông tin. Nghiên cứu này không chỉ giúp hiểu rõ hơn về các phương pháp phát hiện tri thức mà còn mở ra hướng đi mới cho việc ứng dụng trong thực tiễn. Cơ sở dữ liệu chuỗi thời gian chứa đựng nhiều thông tin quý giá, và việc khai thác chúng có thể mang lại nhiều lợi ích cho các lĩnh vực khác nhau như kinh tế, xã hội và môi trường.

1.1. Khái niệm cơ sở dữ liệu chuỗi thời gian và phát hiện tri thức

Cơ sở dữ liệu chuỗi thời gian là tập hợp các dữ liệu được ghi lại theo thời gian, cho phép phân tích và dự đoán các xu hướng trong tương lai. Phát hiện tri thức từ các cơ sở dữ liệu này giúp nhận diện các mẫu và quy luật tiềm ẩn, từ đó hỗ trợ ra quyết định trong nhiều lĩnh vực.

1.2. Tầm quan trọng của nghiên cứu phát hiện tri thức

Nghiên cứu phát hiện tri thức từ cơ sở dữ liệu chuỗi thời gian không chỉ giúp cải thiện khả năng dự đoán mà còn nâng cao hiệu quả trong việc quản lý và khai thác dữ liệu. Điều này đặc biệt quan trọng trong bối cảnh dữ liệu ngày càng gia tăng và phức tạp.

II. Vấn đề và thách thức trong phát hiện tri thức từ cơ sở dữ liệu chuỗi thời gian

Mặc dù có nhiều phương pháp phát hiện tri thức, nhưng việc áp dụng chúng cho cơ sở dữ liệu chuỗi thời gian vẫn gặp nhiều thách thức. Các vấn đề như tính không ổn định của dữ liệu, sự phức tạp trong việc phân tích và dự đoán là những yếu tố cần được giải quyết.

2.1. Tính không ổn định của dữ liệu chuỗi thời gian

Dữ liệu chuỗi thời gian thường có tính không ổn định, với các biến động không thể dự đoán. Điều này gây khó khăn trong việc áp dụng các phương pháp phân tích truyền thống, đòi hỏi các kỹ thuật mới và linh hoạt hơn.

2.2. Sự phức tạp trong việc phân tích dữ liệu

Phân tích dữ liệu chuỗi thời gian yêu cầu kiến thức sâu rộng về thống kê và các phương pháp phân tích. Việc lựa chọn mô hình phù hợp và xác định các tham số cũng là một thách thức lớn.

III. Phương pháp ARIMA trong phát hiện tri thức từ cơ sở dữ liệu chuỗi thời gian

Mô hình ARIMA (Autoregressive Integrated Moving Average) là một trong những phương pháp phổ biến nhất trong phân tích chuỗi thời gian. Mô hình này giúp dự đoán các giá trị tương lai dựa trên các giá trị quá khứ, từ đó phát hiện tri thức tiềm ẩn trong dữ liệu.

3.1. Cấu trúc và nguyên lý hoạt động của mô hình ARIMA

Mô hình ARIMA bao gồm ba thành phần chính: tự hồi quy (AR), tích hợp (I) và trung bình trượt (MA). Sự kết hợp này cho phép mô hình hóa các chuỗi thời gian phức tạp và không ổn định.

3.2. Ứng dụng mô hình ARIMA trong dự đoán

Mô hình ARIMA đã được áp dụng rộng rãi trong nhiều lĩnh vực như kinh tế, tài chính và môi trường. Việc sử dụng mô hình này giúp cải thiện độ chính xác trong dự đoán và phát hiện các xu hướng mới.

IV. Ứng dụng thực tiễn của phát hiện tri thức từ cơ sở dữ liệu chuỗi thời gian

Phát hiện tri thức từ cơ sở dữ liệu chuỗi thời gian đã được ứng dụng trong nhiều lĩnh vực khác nhau, từ kinh tế đến môi trường. Những ứng dụng này không chỉ giúp cải thiện hiệu quả công việc mà còn hỗ trợ ra quyết định chính xác hơn.

4.1. Dự báo kinh tế và tài chính

Việc sử dụng các mô hình phát hiện tri thức giúp dự đoán các chỉ số kinh tế quan trọng như GDP, lạm phát và tỷ giá hối đoái. Điều này hỗ trợ các nhà đầu tư và doanh nghiệp trong việc đưa ra quyết định đầu tư.

4.2. Ứng dụng trong quản lý môi trường

Phát hiện tri thức từ dữ liệu chuỗi thời gian cũng được áp dụng trong quản lý tài nguyên thiên nhiên và dự đoán các hiện tượng khí hậu. Điều này giúp các nhà quản lý đưa ra các chính sách bảo vệ môi trường hiệu quả.

V. Kết luận và tương lai của nghiên cứu phát hiện tri thức

Nghiên cứu phát hiện tri thức từ cơ sở dữ liệu chuỗi thời gian đang ngày càng trở nên quan trọng trong bối cảnh dữ liệu lớn. Tương lai của nghiên cứu này hứa hẹn sẽ mang lại nhiều ứng dụng mới và cải tiến trong các phương pháp phân tích.

5.1. Xu hướng phát triển trong nghiên cứu

Các nghiên cứu trong tương lai sẽ tập trung vào việc phát triển các phương pháp mới và cải tiến các mô hình hiện có để nâng cao khả năng phát hiện tri thức từ dữ liệu chuỗi thời gian.

5.2. Tác động của công nghệ mới

Sự phát triển của công nghệ như trí tuệ nhân tạo và học máy sẽ mở ra nhiều cơ hội mới trong việc phát hiện tri thức từ cơ sở dữ liệu chuỗi thời gian, giúp nâng cao độ chính xác và hiệu quả trong phân tích.

Trích đoạn nội dung tài liệu

Chương 1: Mô hỡnh ARIMA LUAN VAN CHAT LUONG download : add [e-mail] Trần Thị Thanh Huyền 20 Luận văn thạc sĩ zt=C+ 1 zt-1 + 2 zt-2 + a t + 1 at-1 Từ phương trỡnh (1.7) chỳng ta nhận thấy rằng mụ hỡnh ARMA sử dụng sự kết hợp của cỏc giỏ trị quỏ khứ của chuỗi thời gian cựng với cỏc nhiễu trong quỏ khứ nhờ cỏc tham số của cả 2 mụ hỡnh hồi quy và mụ hỡ nh trung bỡnh trượt. Vỡ vậy lẽ tự nhiờn là nú phải tốt hơn khi sử dụng từng mụ hỡnh riờng lẻ. Lợi thế của mụ hỡnh ARMA là chỳng ta cú thể nghiờn cứu lần lượt từng quá trỡnh. Đầu tiên, chúng ta xác định mô hỡnh tự hồiquy AR sau đó sử dụng các sai số này trong phương trỡnh trung bỡnh trượt MA để cải tiến hơn nữa việc dự báo.

Nghĩa là ta cú thể thực hiện một cỏch tuần tự: sử dụng một mụ hỡnh để tạo ra một dự báo (và cả sai số của dự báo này), sau đó sử dụng quá trỡnh MA vào cỏc sai số dự bỏo vừa tớnh được để giảm bớt các sai số. Bằng cách này ta hy vọng sai số cũn lại sẽ phõn bố một cỏch ngẫu nhiờn và mụ hỡnh trở nờn chớnh xỏc hơn. Mặc dù kỹ thuật thực hiện là tuần tự nhưng cấp của mô hỡnh ARMA - cỏc số p và q sẽ được xác định đồng thời bằng cách sử dụng hệ số AC và PAC. Theo kinh nghiệm của các nhà nghiên cứu, phương pháp này phù hợp với hầu hết cỏc chuỗi thời gian trờn thực tế.4 Sai phõn[34][36] Một chuỗi thời gian không có tính dừng phải chuyển thành chuỗi dừng trước khi được thiết lập mô hỡnh bằng cỏch tiếp cận Box-Jenkins.

Với một vài chuỗi thời gian khụng cú tớnh dừng việc sai phân chúng sẽ làm cho chúng có tính dừng và được gọi là chuỗi được tích hợp (integrated). Sai phõn ARMA ARIMA (Khụng dừng) (Dừng) Sai phân thường (regular differencing (RD)), đơn giản là một tiến trỡnh tớnh toỏn sự khỏc nhau giữa mọi cặp giỏ trị trong chuỗi và chuỗi kết quả của phộp sai phõn được gọi là "chuỗi sai phân". Sai phân thường cũn được gọi là sai phân bậc 1. Sai phân bậc cao hơn cũn được sử dụng để xử lý tớnh mựa vụ của chuỗi thời gian.

Sai Chương 1: Mô hỡnh ARIMA LUAN VAN CHAT LUONG download : add [e-mail] Trần Thị Thanh Huyền 21 Luận văn thạc sĩ phân thường để loại bỏ tính xu hướng dài hạn và ngắn hạn trong chuỗi. Vỡ vậy, nú được dùng để đạt được tính dừng. Đối với hầu hết các chuỗi, để đạt được tính dừng chỉ cần thực hiện không quá 2 phép sai phân. + Trong trường hợp tính xu hướng thể hiện dưới dạng đường thẳng, chỉ cần thực hiện sai phân bậc nhất để đạt được tính dừng + Khi xu hướng có dạng parabol phải thực hiện 2 sai phân bậc nhất (Xu hướng dạng đường thẳng và dạng parabol được gọi là đa thức bậc nhất và đa thức bậc 2).

+ Xu hướng đa thức bậc cao hơn rất hiếm khi gặp phải trong chuỗi thời gian thực. Tuy nhiên, chúng cũng có thể được thiết lập bằng quá trỡnh sai phõn thường. Ví dụ xu hướng bậc 3 (đường bậc 3-cubic) có thể được thiết lập nếu áp dụng 3 sai phân thường. Để xác định chính xác số lần sai phân thường, chúng ta có thể phải sử dụng AC của chuỗi.

Một chuỗi cần phải được sai phân khi AC có phần dư lớn ở nhiều độ trễ, bắt đầu ở độ trễ 1. Mặc dù AC có thể giảm nhưng chúng giảm rất chậm (ở mức hằng số). Tương quan đồ của chuỗi cần phải sai phân thường xuất hiện các khối dày đặc hoặc các đỉnh nhọn liên tiếp. Trong thực tế, một mụ hỡnh AR cú thể thể hiện một mối quan hệ, đó là nó gần như tương đương với phép sai phân Sai phõn bậc 1 : zt = zt-zt-1= (1-B)zt 2 Sai phõn bậc 2 : zt =(zt-zt-1 ) - (z t-1-zt-2)=z t-2zt-1-zt-2 = (1-B)2zt 2 =(1-B)2 d Sai phõn bậc d : zt = (1-B)d zt Vậy mụ hỡnh ARMA khụng cú tớnh dừng sẽ được chuyển thành ARIMA có tính dừng viết dưới dạng như sau: (B)wt =C+ (B)at.

(25) trong đó: (B) là toỏn tử tự hồi quy bậc p (B) là toỏn tử trung bỡnh trượt bậc q d wt= zt Chương 1: Mô hỡnh ARIMA LUAN VAN CHAT LUONG download : add [e-mail] Trần Thị Thanh Huyền 22 Luận văn thạc sĩ d là bậc sai phân thường là 0,1 hay 2 là toỏn tử sai phõn lựi d Nếu đặt (B)= (B) thỡ phương trỡnh (25) cú thể được viết lại như sau: (B)zt =C+ (B)at (26) trong đó (B) là toỏn tử khụng dừng với d nghiệm của (B)=0 bằng 1 (là duy nhất) Ký hiệu chuẩn cho cỏc mụ hỡnh dựa vào sai phõn đầu tiên là I(1)hay ARIMA(0,1,0). Tương tự I(2) hay mô hỡnh ARIMA(0,2,0) dựa vào sai phõn bậc 2. Khi thực hiện, d lớn hơn 2 hoặc 3 là rất hiếm .5 Các bước phát triển mô hỡnh ARIMA Cỏch tiếp cận ARIMA được Box và Jenkins phổ biến đầu tiên nên mô hỡnh ARIMA thường được coi là mô hỡnh Box-Jenkins. Tiến trỡnh xõy dựng mụ hỡnh Box-Jenkins gồm 4 pha sau đây: - Pha nhận dạng mụ hỡnh (Identification): Cỏc tham số phải được thiết lập.

Chuỗi thời gian được nhận dạng bởi giỏ trị trung bỡnh của cỏc phộp thống kờ khỏc nhau được tính từ dữ liệu gốc. - Pha ước lượng mô hỡnh (Estimation): giỏ trị của cỏc tham số phải được ước lượng để tổng bỡnh phương phần dư là nhỏ nhất - Pha thẩm định mô hỡnh (Validation): chuẩn đoán được thực hiện để kiểm định mô hỡnh cú hợp lý hay khụng và cú thể gợi ý cỏc mụ hỡnh khỏc - Pha dự bỏo mụ hỡnh (Forecasting): Mụ hỡnh đó ước lượng được sử d ụng để đưa ra dự báo và giới hạn khoảng tin cậy của dự báo Trong thực hành, các pha này thường được lặp đi lặp lại. Để hoàn thiện, bất kỳ một tiến trỡnh xõy dựng mụ hỡnh cũng phải cú pha thứ 5 là theo dừi và cập nhật cỏc dự bỏo chớnh xỏc và xem chỳng như các dữ liệu mới vốn có sẵn để dùng. *) Dự báo đạt được Chương 1: Mô hỡnh ARIMA LUAN VAN CHAT LUONG download : add [e-mail] Trần Thị Thanh Huyền 23 Luận văn thạc sĩ Sau khi ước lượng và thẩm định một mô hỡnh Box-Jenkins, việc đạt được dự báo là rất có khả năng.

Thành phần sai số ngẫu nhiên được xem là bằng 0 ở mọi thời điểm dự báo. Việc sử dụng một dự báo trong bất kỳ quá trỡnh đưa ra quyết định khiến chúng ta quan tâm đến mức độ sai số của dự báo, chẳng hạn chúng ta có thể đánh giá được độ chính xác của dự báo. Một phương án đó là giới hạn khoảng tin cậy của dự báo. Một cách khác đó là bắt đầu sinh ra dự báo từ mô hỡnh ở một số thời điểm trước khi kết thúc chuỗi.

Dự báo sau thực tế cho thời điểm cuối có thể được so sánh với dữ liệu thực đó biết ở thời điểm này. Thời điểm bắt đầu dự báo được gọi là "dự báo gốc". Khi dự báo gốc được di chuyển đến thời điểm sớm hơn, giá trị chuỗi thực theo dự báo gốc không tham gia vào việc đưa ra dự báo cho thời điểm đó. Phép thống kê phù hợp cho sai số dự báo sau thực tế này có thể được tính giống như tính phần dư.

Sai số chuẩn phần dư được sử dụng để tính giới hạn tin cậy dự báo. 95% mức tin cậy là mức thường được sử dụng nhất. Chú ý rằng sai số trong cỏc tham số sẽ khụng ảnh hưởng nghiêm trọng đến dự báo trừ khi số lượng điểm dữ liệu được sử dụng để làm thích hợp mô hỡnh là nhỏ.9) trong đó ẑ t (l ) được xem là là hàm của l với t cố định t, và được gọi là hàm dự báo cho thời gian gốc t. Cũng có thể chỉ ra sai số dự báo e t (l ) z t l ẑ t (l ) cho thời gian tiến l là e t (l ) at l a  a (1.11) Chương 1: Mô hỡnh ARIMA LUAN VAN CHAT LUONG download : add [e-mail] Trần Thị Thanh Huyền 24 Luận văn thạc sĩ Từ phương trỡnh (1.10), dự bỏo trước một bước là: e t (1) zt 1 ẑ t (1) a t 1 (1.12) Vỡ vậy, cỏc "sốc" (shock) ngẫu nhiờn sinh ra tiến trỡnh trở thành sai số dự bỏo trước một bước (tuân theo dự báo sai số bỡnh phương trung bỡnh nhỏ nhất).

Dự bỏo trước một bước phải không có tính tương quan. Mặc dù sai số dự báo tốt nhất ở thời gian tiến l là không tương quan thỡ sai số dự bỏo ở thời gian tiến lớn hơn vẫn thể hiện tương quan. Mặc dự một mụ hỡnh chuỗi thời gian cú thể thể hiện ở 3 dạng khỏc nhau cụ thể là dạng phương trỡnh sai phõn, dạng "sốc" ngẫu nhiờn và dạng nghịch đảo. Cách tính toán dự báo dễ nhất là sử dụng dạng phương trỡnh sai phõn.

Khi tớnh toỏn dự bỏo, cỏc giỏ trị a không biết được gán bằng các giá trị kỳ vọng không điều kiện của chúng và bằng 0. Thông thường, toán tử MA bậc q, phương trỡnh dự bỏo cho ẑ t (1), ẑ t (2),, ẑ t (q) sẽ phụ thuộc trực tiếp vào các phần tử a nhưng đối với dự báo thời gian dài thỡ khụng đúng. Từ phương trỡnh (1.10), ta thấy rằng để đạt được giới hạn xác suất cho dự báo ở các thời gian tiến 1,2,…,L, các trọng số 1, 2, …, L-1 phải được tính toán. Điều này có thể được thức hiện bởi việc thừa nhận phương trỡnh ( B) ( B) ( B).

Thụng tin đưa ra cho đến thời điểm t, phân phối xác suất có điều kiện của giá trị tương lai z t l của tiến trỡnh sẽ là phõn phối "thường" (normal) với trung bỡnh ẑ t (l ) và phương sai l 1 2 2 V (l ) 1 j a (1.13) j 1 và khi số cỏc theo dừi trong chuỗi tối thiểu là 50, ước lượng S2a , của phương sai 2 a , có thể đạt được từ dữ liệu chuỗi. Vỡ vậy, giới hạn xỏc suất cú thể biểu diễn như sau: l 1 1/ 2 (1.14) 2 z t l ( ) zˆ t (l) u / 2 1 j Sa j 1 trong đó Chương 1: Mô hỡnh ARIMA LUAN VAN CHAT LUONG download : add [e-mail] Trần Thị Thanh Huyền 25 Luận văn thạc sĩ u / 2 là độ lệch được làm trội bởi tỉ lệ thức / 2 của phân phối thường (Normal). Khi đưa ra các thông tin có sẵn ở thời gian gốc t, có một xác suất của 1 , đó là các giá trị thực z t l .