Chương 1: Khởi đầu (An appetizer) - Chương 2: Các mô hình thống kê (Statistical models) - Chương 3: Dữ liệu cho các mô hình (Data for models) - Chương 4: Các mô hình tuyến tính (Linear models) - Chương 5: Phân tích sai số; các thử nghiệm được thiết kế (Analysis of variance; designed experiments) - Chương 6: Các mô hình tuyến tính tổng quát (Generalized linear models) - Chương 7: Các mô hình tổng quát mở rộng (Generalized additive models) - Chương 8: Các mô hình hồi quy cục bộ (Local regression models) - Chương 9: Các mô hình dựa trên cây (Tree-based models) - Chương 10: Các mô hình phi tuyến (Nonlinear models) 2. Phân đoạn chuỗi thời gian cho dự báo thời tiết Segmenting Time Series for Weather Forecasting [4]: bài viết nói về dự án SUNTIME, dự án nhằm nghiên cứu và phát triển mô hình tổng quát cho việc tóm lượt dữ liệu chuỗi thời gian trong lĩnh vực thời tiết. Bài viết cũng trình bày ba cách khác nhau để mô hình hoá dữ liệu. Mạng nơ ron trong dự báo dữ liệu chuỗi thời gian Neural Networks for Time-Series Forecasting [7]: bài viết cung cấp cái hình tổng quan về sự phát triển của các mô hình dự báo chuỗi thời gian với mạng nơ-ron, lợi thế của nó so với các mô hình dự báo truyền thống.
Một vài vấn đề quan trọng trong dữ liệu và mô hình cũng nêu lên trong tài liệu này. Võ Thanh Biết Trang 15 Bổ khuyết dữ liệu Giao thông Mạng nơ ron đã trở thành một phương pháp quan trọng cho việc dự báo dữ liệu chuỗi thời gian. Sự quan tâm đang tăng lên trong việc sử dụng mạng nơ ron để mô hình hoá và dự báo dữ liệu chuỗi thời gian. Phần này chúng tôi cung cấp một vài tiến triển hiện nay trong việc dự báo dữ liệu chuỗi thời gian với mạng nơ ron, một mô tả ngắn về mạng nơ ron, lợi thế của nó qua các mô hình dự báo truyền thống, một vài ứng dụng Hình 2 Mô hình mạng nơ ron hiện tại.
Một vài vấn đề về mô hình và dữ liệu trong dự báo chuỗi dữ liệu thời gian sẽ được đề cập. Thêm vào đó một vài tiến bộ gần đây trong phương pháp luận như là tính mùa trong mô hình chuỗi dữ liệu thời gian, dự báo đa chu kỳ, và toàn bộ phương pháp sẽ được xem qua. Một vài ứng dụng về dự báo dữ liệu chuỗi thời gian gần đây: Forecasting problems Studies Air pollutant concentration Gautama et al. (2008) Carbon monoxide concentration Chelani and Devotta (2007) Demand Aburto and Weber (2007) Drought Mishra and Desai (2006) Electrical consumption Azadeh et al.
(2007) Electricity load Hippert et al. (2005), Xiao et al. (2009) Electricity price Pino et al. (2008) Energy demand Abdel-Aal (2008) Exchange rate Zhang and Wan (2007) Food grain price Zou et al.
(2007) Food product sales Doganis et al. (2006) Gold price changes Parisi et al. (2008) Inflation Nakamura (2005) Inventory Doganis et al. (2008) Võ Thanh Biết Trang 16 Bổ khuyết dữ liệu Giao thông Macroeconomic time series Tera¨svirta et al.
(2005) Stock index option price Wang (2009) Stock returns volatility Bodyanskiy and Popov (2006) Tourism demand Palmer et al. (2006), Chu (2008) Traffic flow Jiang and Adeli (2005) Ozone level Coman et al. (2008) River flow Jain and Kumar (2007) Wind speed Cadenas and Rivera (2009) Vấn đề trong mô hình hoá mạng nơ ron: phát triển mô hình cho ứng dụng dự báo dữ liệu chuỗi thời gian không phải là việc làm bình thường. Mặc dù nhiều phần mềm tồn tại để giảm công việc trong việc xây dựng một mô hình màng nơ ron, nó thì quan trọng cho các bộ dự báo (forecasters) để hiểu nhiều vấn để quan trọng xung quanh tiến trình xây dựng mô hình mạng nơ ron.
Nó cũng quan trọng để chỉ ra rằng việc xây dựng một mạng nơ ron thành công là sự kết hợp của nghệ thuật và khoa học, chỉ phần mềm thôi thì không đủ để giải quyết tất cả các vấn để của tiến trình. Sẽ là mù quáng nếu chúng ta chỉ đưa dữ liệu vào một phần mềm và hy vọng nó sẽ tự động cho ra một dự báo thoả mãn yêu cầu. Vấn đề mô hình hoá mạng nơ ron bao gồm việc chọn lựa loại mạng và kiến trúc, thuật toán, cũng như kiểm tra, ước lượng và chọn lựa mô hình. Một vài trong số này có thể được giải quyết thông qua tiến trình xây dựng mô hình trong khi một số khác thì phải được quan tâm và lên kế hoạch cẩn thận trước khi thật sự bắt đầu mô hình hoá.
Vấn đề dữ liệu: những quyết định quan trọng cho một bộ dự báo mạng nơ ron phải bao gồm chuẩn bị dữ liệu, làm sạch dữ liệu, tách dữ liệu và chọn lựa biến đầu vào. Mạng nơ ron là các kỹ thuật chèo lái dữ liệu. Do đó chuẩn bị dữ liệu rất quan trọng trong việc xây dựng một mô hình mạng nơ ron thành công. Nếu thiết tập dữ liệu tốt, đầy đủ, đại diện thì sẽ khó phá triển một mô hình dự báo hiệu quả.
Độ tin cậy của các mô hình mạng nơ ron thường phụ thuộc vào độ lớn và chất lượng dữ liệu. Võ Thanh Biết Trang 17 Bổ khuyết dữ liệu Giao thông Thiết kế mạng: chọn lựa kiến trúc và thiết kế mạng nơ ron là những công việc quan trọng và khó khăn. Không chỉ có nhiều cách để xây dựng mô hình và rất nhiều lựa chọn để trong quá trình xây dựng và chọn lựa mô hình, mà còn vô số thông số và vấn để phải ước lượng và thử nghiệm trước khi một mô hình thoả mãn yêu cầu xuất hiện. Thêm vào những khó khăn đó là thiếu các tiêu chuẩn trong tiến trình.
Một số lượng lớn các quy luật có sẳn nhưng không phải tất cả chúng có thể áp dụng một cách mù quáng cho một tình huống mới. Trong việc xây dựng một mô hình thích hợp cho công việc dự báo thì các thử nghiệm là thường xuyên cần thiết. Do đó một thiết kế thử nghiệm tốt là cần thiết. Các thảo luận về nhiều khía cạnh trong vấn đề mô hình hoá, chúng ta có thể tham khảo Kaastra and Boyd (1996), Zhang et al.
Lựa chọn và ước lượng mô hình: việc sử dụng lựa chọn trong mô hình mạng nơ ron thường được sử dụng tiến trình xác nhận. Đó là việc chia dữ liệu vào một tập học và một tập kiểm tra. Mạng nơ ron cho dự báo dữ liệu chuỗi thời gian 14469 đối số được ước lượng với một tập học mẫu, trong khi hiệu suất của mô hình được đánh giá với tập kiểm tra mẫu. Mô hình tốt nhất được chọn lựa là hiệu suất tốt nhất trên tập kiểm tra mẫu.
Tất nhiên một mô hình đơn giản hơn mà có cùng hiệu suất với một mô hình phức tạp hơn thì được ưu tiên hơn. Dự báo luồng giao thông sử dụng mạng Bayesian [8] Hệ thống điều khiển giao thông URBAN (UTCSs – URBAN traffic control systems) và hệ thống quản lý đường cao tốc trên thế giới đang thu thập lương lớn dữ liệu về điều kiện giao thông hằng ngày. Thông thường các dữ liệu bao gồm: số lượng, tốc độ dòng, thời gian kẹt xe và tốc độ. Sự phát triển của hệ thống này là sử dụng hiệu quả dữ liệu trong việc điều khiển quản lý giao thông trong khu vực nghiên cứu giao thông, nó được hiểu như là hệ thống giao thông thông minh (ITS – Intelligent Transportation Systems).
Trong nghiên cứu vùng giao thông thông minh thì dự báo dòng dịch chuyển trong giao thông là rất quan trọng. Phân tích độ tin cậy trong các xu hướng của dòng dịch chuyện trong quá khứ là một đầu vào quan trọng để nhiều hệ thống điều khiển và quản lý giao thông đang được phát Võ Thanh Biết Trang 18 Bổ khuyết dữ liệu Giao thông triển. Một vài hệ thống được biết là hiệu quả là Split Cycle Offset Optimization Technique (SCOOT) system và the Sydney Coordinated Adaptive Traffic (SCAT) system đã tích hợp chức năng dự báo dòng dịch chuyển như một thành phần chính. Thiếu đi năng lực dự báo, những hệ thống này sẽ không hoạt động trơn tru.
Cách tiếp cận mạng Bayesian, cũng như đã nghiên cứu toàn bộ các lĩnh vực phân tích thống kê, trí tuệ nhân tạo và máy học mang lại cho chúng tôi nguồn cảm ứng trong việc xây dựng hệ thống dự báo dòng giao thông. Mạng Bayesian có thể xem xét mối quan hệ của giữa các điểm ngẫu nhiên và do đó có thể sử dụng để mô hình hoá và phân tích dòng giao thông dự trên chiều đi và chiều của các con đường. Từ khía cạnh của mạng Bayesian, giá trị của một nốt đối tượng có thể được suy ra từ các lân cận của nó. Hơn nữa dự báo trong điều kiện thiếu dữ liệu thì khả thi dựa trên cơ chế chuyển thông tin của mạng Bayesian.
Trong bài viết này chúng tôi tập trung sử dụng mạng Bayesian để giải quyết việc mô hình hoá và dự báo dòng giao thông. Từ kết quả thực nghiệm đáng khích lệ cho thấy cáp tiếp cận này có thể áp dụng và mang lại hiệu quả cho việ mô hình hoá dòng giao thông trong cả hai trường hợp là đầy đủ và thiếu dữ liệu. R cho phân tích nghiệp vụ Và để nhanh chóng tìm ra kết quả của để tài, chúng tôi sử dụng R như một môi trường làm việc hiệu quả trong lĩnh vực khai phá dữ liệu [9]. Trong quyển sách này tác giả đề cập chi tiết từ việc tại sao sử dụng R đến sử dụng như thế nào cho hiệu quả, các chương của quyển sách như sau: - Chương 1: Tại sao sử dụng R (Why R) - Chương 2: Cơ sở hạ tầng trong R (R Infrastructure) - Chương 3: Giao diện R (R Interface) - Chương 4: Thao tác dữ liệu (Manipulating Data) - Chương 5: Khám phá dữ liệu (Exploring Data) - Chương 6: Xây dựng mô hình nội suy (Building Regression Models) - Chương 7: Khai phá dữ liệu sử dụng R (Data Mining using R) Võ Thanh Biết Trang 19 Bổ khuyết dữ liệu Giao thông - Chương 8: Gom cụm và phân đoạn dữ liệu (Clustering and Data Segmentation) - Chương 9: Dự báo và mô hình chuỗi thời gian (Forecasting and Time series Models) - Chương 10: Dữ liệu xuất và đầu ra (Data Export and Output) - Chương 11: Tối ưu hoá mã nguồn R (Optimizing R code) - Chương 12: Các bài giảng thêm (Additional Training Literature) - Chương 13: Phụ lục (Appendix) 3.
Kết luận Sau khi tìm hiểu qua các công trình liên quan chúng tôi quyết định dùng nền tảng dữ liệu chuỗi thời gian để tiến hành bổ khuyết dữ liệu trong lĩnh vực giao thông mà cụ thể là sử dụng phương pháp làm trơn spline là hướng nghiên cứu chính của đề tài này. Với góc quan sát là tại một đoạn đường qua thời gian, từ đó đưa ra giải pháp bổ sung dữ liệu vào dữ liệu chuỗi thời gian này.