Mở đầu Chƣơng 1: Tổng quan Chƣơng 2: Số liệu và phương pháp Chƣơng 3: Kết quả và phân tích Kết luận 13 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chƣơng 1 Tổng quan 1.1 Tổng quan về các nghiên cứu nhận dạng, phân loại các hình thế thời tiết nói chung và mƣa lớn nói riêng trên phạm vi thế giới. Bài toán tự động nhận dạng, phân loại các hình thế thời tiết hay các hiện tượng thời tiết như các đới front, bão, tâm bão, các vùng mưa lớn sử dụng số liệu mô hình số hoặc số liệu quan trắc là lớp các bài toán khai phá dữ liệu (data mining). Khai phá dữ liệu về cơ bản là bài toán thống kê dựa trên các đặc tính riêng của các đối tượng (hình thế, hiện tượng thời tiết, .) cần lọc ra trong khối dữ liệu đã có sẵn. Các phương pháp chủ yếu từ đó phân ra theo các phương pháp thống kê khác nhau nhưng đều có quy tắc chung là xác định các đặc tính của đối tượng và xây dựng phương pháp để xác định ra các vùng dữ liệu có các đặc tính sát nhất với đặc tính riêng của đối tượng cần tách lọc.
Ngoài phương pháp thống kê tuyến tính hoặc phi tuyến được áp dụng thì phân cụm dữ liệu (clustering method) là một trong những kỹ thuật được sử dụng nhiều nhất trong bài toán khai phá dữ liệu. Nhiều nhà khoa học trên thế giới đã cố gắng sử dụng các kỹ thuật khai phá dữ liệu áp dụng vào các bài toán về khí tượng và dưới đây là một số nghiên cứu tiêu biểu. Năm 2007, Kotsiantis và Kotstoulas[40] đã thực hiện việc dự báo nhiệt độ trung bình ngày, nhiệt độ tối cao và nhiệt độ tối thấp tại thành phố Patras( Hy Lạp) bằng 6 phương pháp khai phá dữ liệu gồm có: mạng neuron thần kinh BP(Feed- Forward Back Propagation), thuật toán phân cụm K lân cận, phương pháp hồi quy tuyến tính, thuật toán M5, thuật toán cây quyết định (IB3). Họ đã sử dụng dữ liệu mưa, độ ẩm tương đối, nhiệt độ với độ dài 4 năm từ năm 2002-2005 và kết quả thu được từ nghiên cứu này là các bộ hệ số tương quan có độ chính xác tương đối cao, ngoài ra chỉ số đánh giá RMSE trong dự báo cũng là khá thấp.
Năm 2004, một nghiên cứu từ Bilgin và Camurcu[41] được thực hiện tại Thổ Nhĩ Kỹ, họ đã sử dụng một thuật toán phân cụm dữ liệu trên lưới là DBSCAN để phân chia lại các phân vùng khí hậu tại nước này. Bằng cách sử dụng số liệu nhiệt 14 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com độ tối cao và tối thấp ngày từ 258 trạm quan trắc bề mặt giai đoạn từ năm 1930 đến 1996, hai nhà khoa học này đã phân chia Thổ Nhĩ Kỳ lại làm 4 phân vùng khí hậu. Khai phá dữ liệu cũng đã được sử dụng thành công trong việc xây dựng những ứng dụng quan trọng trên các trường dữ liệu khí tượng như dự đoán các hiện tượng bất thường như bão, áp thấp nhiệt đới và dự báo lũ trên các sông. Năm 2004, Zhang và Huang[42] đã đề xuất một bộ công cụ nền tảng để khám phá những quy luật động lực liên quan đến với dự báo thời tiết quy mô địa phương cho thành phố Dallas(Mỹ).
Trong một nghiên cứu khác vào năm 2003, Peters và Suraj[43] đã sử dụng số liệu từ radar thời tiết để phát hiện các hiện tượng liên quan đến bão, và phân chúng thành 4 loại gồm có: mưa đá, mưa lớn, lốc xoáy và gió mạnh. Một ứng dụng nữa của khai phá dữ liệu đó là phân loại mây trên ảnh vệ tinh. Với các hệ thống mây quy mô vừa có tổ chức, nếu nhận dạng trên số liệu vệ tinh, một trong những đặc tính quan trọng nhất là gradient giữa khu vực mây và môi trường bên ngoài là lớn. Hoặc trên số liệu ảnh vệ tinh địa tĩnh GOES, kết hợp giữa phương pháp ngưỡng và phương pháp tương quan cực đại có thể xác định được các hệ thống mây quy mô vừa dịch chuyển (Carvalho và Jones, 2001[18]).
Một phương pháp khác hay được sử dụng trong phân loại mây từ số liệu vệ tinh là phương pháp mạng thần kinh nhân tạo (ANN) hay phương pháp hồi quy phi tuyến. Trong phương pháp này, do các đặc tính mây cho trước là khác nhau đối với từng dự liệu vệ tinh trên các kênh phổ khác nhau mà ta có thể phân loại được các dạng mây khác nhau (Weisberg và cộng sự, 1990[32]). Phương pháp ANN cũng được sử dụng trong nhận dạng các khu vực cháy rừng từ số liệu vệ tinh (Li và cộng sự, 2001[30]). Phương pháp ANN nêu trên được phân loại là phương pháp xử lí trên từng điểm của đối tượng (pixel level based method).
Các đối tượng nhận dạng sẽ là tập hợp của các điểm được tách lọc với các đặc tính đã xác định. Tuy nhiên đối với các hiện tượng thời tiết có quy mô không gian lớn và các đặc tính hết sức phức tạp như hiện tượng front, các hệ thống mây quy mô lớn, dòng xiết, phương pháp theo từng điểm phải kết hợp với phương pháp ở mức đối tượng (object level method) (Carmichael và Hebert, 2004[17]). Ví dụ Peak và Tag (1994)[36] phát triển phương pháp để 15 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com phân cụm đối với dữ liệu vệ tinh trong bài toán nhận dạng các hệ thống mây quy mô lớn. Trong phương pháp này, các vùng biên của vùng mây được nhận dạng bởi một tập hợp các ngưỡng khác nhau và được lưu trữ theo dạng cấu trúc cây thứ bậc (hierarchical tree structure) để lưu giữ quan hệ theo không gian của các đặc tính và sau đó sử dụng phương pháp ANN để phân cụm tiếp tùy thuộc vào kích thước và hình dạng của các đặc tính mây (Peak và Tag, 1994).
Cũng sử dụng phương pháp lai (hybrid) kết hợp từ mức điểm đến mức đối tượng, Ramachandran và cộng sự (2008)[29] đã tự động xác định các hệ thống front từ số liệu mô hình dự báo thời tiết. Trong nghiên cứu này, hệ thống front được định nghĩa là một đới hẹp chuyển giao giữa hai đới không khí có các đặc tính khác biệt nhau. Véctơ đặc trưng (feature vector) cho hệ thống front được tác giả xây dựng từ đặc tính của gradient nhiệt độ lớn và sự thay đổi gió ở các đới front. Ở mức tiếp cận điểm (pixel level), Ramachandran sử dụng phương pháp phân cụm không tập giám sát (unsupervised K-means) để phân cụm theo không gian các vùng có các đặc tính điểm khác nhau.
Mục đích của mức xử lí điểm này là để xác định được vùng có khả năng chứa các hệ thống front nhất. Cùng sử dụng phương pháp tổng hợp theo Peak và Tag (1994)[36], tác giả sau đó với xử lí mức đối tượng (object level) sẽ sinh ra các dữ liệu dạng xác suất vị trí, khu vực có hiện tượng đang được xác định. Trung tâm nghiên cứu khí quyển quốc gia Mỹ (NCAR) trong giai đoạn từ 2004-2011 cũng đã áp dụng khai phá dữ liệu trong việc phát hiện và theo dõi sự dịch chuyển của các ổ dông từ ảnh radar, một phần quan trọng trong bài toán dự báo cực ngắn thông qua chương trình có tên là TITANS(Thunderstorm Identification, Tracking, Analysis and NowCasting). Chương trình này hướng tới việc phát hiện, xác định hướng, phân tích và dự báo cực ngắn các ổ dông dựa trên ảnh CAPPI (sản phẩm độ phản hồi vô tuyến trên mặt cắt ngang).
Bằng cách sử dụng thuật toán tìm kiếm theo chiều rộng BFS để xác định các ổ dông trên ảnh CAPPI và thuật toán cặp ghép Hungary để xác định hướng dịch chuyển của các ổ dông này, họ đã tạo ra một hệ thống dự báo cực ngắn ở mức đơn giản nhất tuy nhiên có tính ứng dụng cao. Đây 16 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com cũng là một hướng khả thi có thể áp dụng cho bài toán dự báo cực ngắn tại Việt Nam. Trong vài chục năm gần đây, cùng với sự phát triển của các hệ thống quan trắc khí quyển - đại dương, sự hoàn thiện trong các sơ đồ đồng hóa số liệu và mô hình dự báo số trị (NWP), rất nhiều Trung tâm dự báo khí tượng trên thế giới đã xây dựng các tập số liệu tái phân tích trên lưới như số liệu NNRP2 của NCEP, ERA40 của ECMWF và JRA25 của JMA. Các nguồn số liệu tái phân tích này không những cung cấp các ước lượng tương đối chính xác về rất nhiều đại lượng khí quyển, mà còn có thể đưa ra những bức tranh chi tiết và khác quan về các hình thế thời tiết.
Những đặc tính quan trọng này không thể được tìm thấy trong các bản đồ phân tích hình thế synốp chủ quan. Chính nhờ sự ra đời của các tập số liệu tái phân tích này, hơn mười năm trở lại đây, rất nhiều các nghiên cứu trên thế giới đã ứng dụng nguồn số liệu tái phân tích trong bài toán nhận dạng hình thế thời tiết dựa trên các phương pháp phân nhóm như CA (Composite Analysis) kết hợp với phương pháp phân tích thành phần chính PCA (Principal Component Analysis) (Higgins và những người khác (nnk), 2000[14], phương pháp K-Mean (Dorling và Davies, 1992[22]), SOM (Self-Organizing Map) (Hewitson và Crane, 1994[24]),. Trong đó, phương pháp SOM được ứng dụng mạnh mẽ nhất trong bài toán khí tượng trong 10 năm trở lại, đặc biệt là trong bài toán nhận dạng và phân loại hình thế thời tiết nói chung và mưa lớn nói riêng (Hewitson và Crane, 2002[25]; Cassano và nnk, 2006[19], Schuenemann và nnk, 2009[38], Hsu và Li, 2010[26]). Phương pháp SOM có 2 đặc điểm nổi bật nhất đó là khả năng chuyển tập dữ liệu nhiều chiều phức tạp về tập dữ liệu hai chiều và bảo toàn quan hệ lân cận hay cấu trúc topo của tập dữ liệu đầu vào.
Chính nhờ 2 đặc điểm này, kể từ khi ra đời, SOM đã được sử dụng ngày càng rộng rãi trong nhiều bài toán phân lớp và nhận dạng trong nhiều lĩnh vực khoa học và công nghệ. SOM bắt đầu được áp dụng trong khí tượng và khí hậu học từ cuối thập niên 90 như một phương pháp bổ sung cho phương pháp phân lớp truyền thống K-mean. Khác với các phương pháp phân lớp tuyến tính truyền thống như PCA hay K-mean, SOM là một phương pháp phân lớp 17 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com phi tuyến. Do đó có thể kỳ vọng về khả năng nhận dạng tốt hơn của SOM so với các phương pháp trên.
Trên thực tế điều này đã được chứng minh trong nhiều nghiên cứu của các tác giả khác nhau (Reusch và nnk, 2005[37]; Bacao và nnk, 2005[16]; Lin và Chen, 2006[31]; Solidoro và nnk, 2007[39]). Lobo (2009)[33] đã chỉ ra rằng với một số đơn giản hóa kết quả phân lớp theo SOM sẽ trở thành kết quả nhận được với K-means.