Dự Đoán Lượng Mưa Bằng Machine Learning Với Nguồn Dữ Liệu Đa Dạng

Luận văn tốt nghiệp y tế nghiên cứu tốt nghiệp truyền thông và mạng máy tính dự đoán lượng mưa bằng phương pháp máy học với nhiều nguồn, điều tra thực trạng, phân tích số liệu, đề

Trường đại học

Đại Học Công Nghệ Thông Tin

Người đăng

Ẩn danh

Thể loại

khóa luận tốt nghiệp

2024

84
8
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CAM ƠN

1. CHƯƠNG 1: GIỚI THIỆU TONG QUAN

1.1. Lý do chọn đề tài

1.2. Mục đích nghiên cứu

1.3. Đối tượng nghiên cứu

1.4. Phạm vi nghiên cứu

1.5. Cấu trúc của Khóa luận tốt nghiệp

1.6. Các nghiên cứu liên quan trong nước và ngoài nước

2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

2.1. Giới thiệu về Machine Learning

2.2. Giới thiệu về Deep Learning

2.3. Sự khác nhau giữa Machine Learning và Deep Learning

2.4. Mạng Neuron tích chập

2.5. Mạng Neuron hồi quy

2.6. Long-short Term Memory

2.7. Các công cụ và thuật ngữ liên quan

2.8. Các khái niệm cơ bản

2.9. Kiến trúc của Tensorflow

2.10. Nguyên lý hoạt động

2.11. CUDA và CUDNN

3. CHƯƠNG 3: PHƯƠNG PHÁP TIẾP CẬN

3.1. Phương pháp tiếp cận

3.2. Hướng tiếp cận giai đoạn chuẩn bị dữ liệu

3.3. Thu thập dữ liệu

3.4. Lưu trữ dữ liệu

3.5. Xử lý dữ liệu

3.6. Hướng tiếp cận giai đoạn xây dựng mô hình

3.7. Thiết kế mô hình

3.8. Huấn luyện mô hình

3.9. Hướng tiếp cận giai đoạn đánh giá mô hình

3.10. Hướng tiếp cận giai đoạn thực nghiệm

3.11. Hướng tiếp cận quá trình kết luận

4. CHƯƠNG 4: TRIỂN KHAI, KIỂM TRA VÀ ĐÁNH GIÁ

4.1. Chuẩn bị dữ liệu

4.2. Thu thập dữ liệu

4.3. Lưu trữ dữ liệu

4.4. Xử lý dữ liệu

4.5. Xây dựng mô hình

4.6. Thiết kế mô hình

4.7. Huấn luyện mô hình

4.8. Đánh giá mô hình

4.9. Chạy thực nghiệm

4.10. So sánh giá trị mô hình

4.11. Phân tích biểu đồ thực nghiệm

5. CHƯƠNG 5: TỔNG KẾT

5.1. Hướng phát triển

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Dự Đoán Lượng Mưa Bằng Machine Learning

Dự đoán lượng mưa là một lĩnh vực quan trọng trong nghiên cứu khí tượng. Việc áp dụng Machine Learning vào dự đoán lượng mưa đã mở ra nhiều cơ hội mới. Các mô hình học máy có khả năng xử lý và phân tích dữ liệu lớn từ nhiều nguồn khác nhau, giúp cải thiện độ chính xác của các dự báo. Đặc biệt, trong bối cảnh biến đổi khí hậu, việc dự đoán chính xác lượng mưa trở nên cấp thiết hơn bao giờ hết.

1.1. Lý Do Chọn Đề Tài Dự Đoán Lượng Mưa

Dự đoán lượng mưa có ứng dụng rộng rãi trong nông nghiệp và phòng chống thiên tai. Việc sử dụng Machine Learning giúp phát hiện các mẫu phức tạp trong dữ liệu, từ đó đưa ra dự báo chính xác hơn so với các phương pháp truyền thống.

1.2. Mục Đích Nghiên Cứu Về Dự Đoán Lượng Mưa

Mục đích nghiên cứu là phát triển một hệ thống dự đoán lượng mưa hiệu quả, từ đó cung cấp thông tin đáng tin cậy cho các quyết định quản lý và phòng ngừa rủi ro. Hệ thống này sẽ kết hợp dữ liệu từ nhiều nguồn khác nhau.

II. Thách Thức Trong Dự Đoán Lượng Mưa Bằng Machine Learning

Mặc dù Machine Learning mang lại nhiều lợi ích, nhưng vẫn tồn tại nhiều thách thức trong việc dự đoán lượng mưa. Các yếu tố như chất lượng dữ liệu, độ chính xác của mô hình và khả năng tổng quát của mô hình là những vấn đề cần được giải quyết.

2.1. Chất Lượng Dữ Liệu Thời Tiết

Chất lượng dữ liệu là yếu tố quyết định đến độ chính xác của mô hình. Dữ liệu không đầy đủ hoặc không chính xác có thể dẫn đến những dự đoán sai lệch. Việc thu thập và xử lý dữ liệu từ các nguồn đáng tin cậy là rất quan trọng.

2.2. Độ Chính Xác Của Mô Hình Dự Đoán

Độ chính xác của mô hình dự đoán phụ thuộc vào thuật toán và phương pháp được sử dụng. Các mô hình như RNN và CNN đã chứng minh được hiệu quả trong việc dự đoán lượng mưa, nhưng vẫn cần tối ưu hóa để đạt được kết quả tốt nhất.

III. Phương Pháp Dự Đoán Lượng Mưa Bằng Machine Learning

Để dự đoán lượng mưa hiệu quả, cần áp dụng các phương pháp và thuật toán phù hợp. Việc kết hợp giữa các mô hình học máy và dữ liệu thời tiết từ nhiều nguồn khác nhau sẽ giúp cải thiện độ chính xác của dự báo.

3.1. Thu Thập Dữ Liệu Thời Tiết

Quá trình thu thập dữ liệu bao gồm việc lấy thông tin từ các trạm quan trắc và dữ liệu vệ tinh. Dữ liệu này cần được chuẩn hóa và xử lý để đảm bảo tính đồng nhất và chính xác.

3.2. Xây Dựng Mô Hình Dự Đoán

Mô hình dự đoán sẽ được xây dựng dựa trên các thuật toán như RNN và CNN. Việc huấn luyện mô hình với dữ liệu đã xử lý sẽ giúp cải thiện khả năng dự đoán lượng mưa.

IV. Ứng Dụng Thực Tiễn Của Mô Hình Dự Đoán Lượng Mưa

Mô hình dự đoán lượng mưa có thể được ứng dụng trong nhiều lĩnh vực như nông nghiệp, quản lý tài nguyên nước và phòng chống thiên tai. Việc cung cấp thông tin chính xác về lượng mưa sẽ giúp các nhà quản lý đưa ra quyết định kịp thời.

4.1. Hỗ Trợ Quyết Định Trong Nông Nghiệp

Thông tin dự đoán lượng mưa chính xác sẽ giúp nông dân lên kế hoạch sản xuất và ứng phó với thời tiết. Điều này góp phần nâng cao năng suất và chất lượng sản phẩm nông nghiệp.

4.2. Phòng Chống Thiên Tai

Mô hình dự đoán lượng mưa có thể giúp các cơ quan chức năng chuẩn bị và ứng phó kịp thời với thiên tai. Việc dự đoán chính xác lượng mưa sẽ giảm thiểu thiệt hại do lũ lụt và các hiện tượng thời tiết cực đoan.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Dự đoán lượng mưa bằng Machine Learning là một lĩnh vực đầy tiềm năng. Nghiên cứu này không chỉ giúp cải thiện độ chính xác của dự báo mà còn mở ra hướng đi mới cho các nghiên cứu tiếp theo trong lĩnh vực khí tượng.

5.1. Tóm Tắt Kết Quả Nghiên Cứu

Kết quả nghiên cứu cho thấy các mô hình Deep Learning, đặc biệt là LSTM, có khả năng dự đoán lượng mưa với độ chính xác cao hơn so với các mô hình truyền thống. Điều này mở ra cơ hội mới cho việc ứng dụng trong thực tiễn.

5.2. Hướng Nghiên Cứu Tiếp Theo

Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện độ chính xác của mô hình và mở rộng phạm vi ứng dụng. Việc kết hợp thêm các nguồn dữ liệu mới và cải tiến thuật toán sẽ là những hướng đi tiềm năng.

10/07/2025
Khóa luận tốt nghiệp truyền thông và mạng máy tính dự đoán lượng mưa bằng phương pháp máy học với nhiều nguồn dữ liệu

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tong quan - Chương 2: Cơ sở lý thuyết - Chương 3: Phương pháp tiếp cận - Chương 4: Triển khai, kiểm tra và đánh giá - Chương 5: Tổng kết 1. Các nghiên cứu liên quan trong nước và ngoài nước Phan này tôi sẽ giới thiệu về các nghiên cứu và ứng dụng liên quan đến dé tài này ở trong và ngoài nước. Trong nước Các ban ngành vê thiên tai, thời tiét và nhiêu trường đại học hàng dau trong nước đang có nhiêu nghiên cứu về đê tài này. Các nhóm nghiên cứu đã thiệt lập các dự án và tập trung vào việc phát triển các thuật toán, mô hình học sâu dé có thé tạo ra một mô hình với độ chính xác cao nhât.

Một nghiên cứu được thực hiện tại Thành phố Hồ Chí Minh đã xây dựng và thử nghiệm hệ thống cảnh báo lũ lụt dựa trên AI đầu tiên của thành phố. Nghiên cứu này đã sử dụng các phương pháp và phương pháp khác nhau đề ước tính giá trị và tính khả thi của nghiên cứu. Nghiên cứu đã phát triển hệ thống cảnh báo và dự đoán lượng mưa dựa trên sự tích hợp dữ liệu và trí tuệ nhân tao dé dự đoán mưa nhẹ từ đữ liệu radar thời tiết. Trí tuệ nhân tạo đã được thử nghiệm dé hỗ trợ dự báo mực nước sinh hoạt và lũ lụt trong và xung quanh Thành phố Hồ Chí Minh với độ chính xác được cải thiện dựa trên các công cụ AI.

Ngoài nước - Các nước phát trién như Hoa Kỳ, Anh, An Độ và châu Âu đang tiên hành nhiêu nghiên cứu tiên tiên vê việc sử dụng Machine Learning đê dự đoán lượng mưa. Các trường đại học và tô chức nghiên cứu hàng đâu đã công bô nhiêu nghiên cứu quan trọng về đê tài này. - Ứng dụng đa dạng: Ở các nước phát triển, Machine Learning được ứng dụng rộng rãi trong dự báo thời tiết và lượng mưa. Tại Đại học Cambridge, các nhà nghiên cứu đã sử dụng các mô hình học máy như Hồi quy vector hỗ trợ (Support Vector Regression - SVR) và K-Nearest Neighbors (KNN) dé dự đoán lượng mưa.2 - Các hội nghị và sự kiện: Các hội nghị va sự kiện quốc tế về Machine Learning và dự báo thời tiết thường đề cập đến việc sử dụng các mô hình học sâu và học máy trong dự báo lượng mưa.

Đây là nơi các nhà nghiên cứu và chuyên gia có cơ hội chia sẻ kiến thức và kinh nghiệm. Các sự kiện và hội nghị quốc tế lớn liên quan về dự báo thời tiết va Machine Learning có thể kê đến như International Conference on Machine Learning (ICML), Neural Information Processing Systems (NeurIPS) va American Meteorological Society (AMS) Annual Meeting,. ! “Nghiên cứu, xây dung và triển khai thử nghiệm hệ thống cảnh báo sớm ngập lụt đô thị dựa trên nền tang trí tuệ nhân tạo tại thành phó Hồ Chí Minh”, Tạp chí Khí tượng Thủy văn 2023, 747, 81-97 ? Rahman, Atta-ur, et al. "Rainfall predicion system using machine learning fusion for smart cities.

- Ung dụng trong nông nghiệp và quan lý tài nguyên: Ứng dung Machine Learning trong dự báo lượng mưa mang lại tiềm năng lớn trong nông nghiệp và quản lý tài nguyên nước. Ở Án Độ, Viện Công nghệ An Độ đã sử dung các mô hình học máy như Gradient Boosting và XGBoost dé dự đoán lượng mưa. Các nghiên cứu này giúp cải thiện quản lý nguồn nước và kế hoạch canh tác, đặc biệt trong điều kiện khí hậu thay đồi. - Ngoài ra, các nghiên cứu nay còn được ứng dụng trong giao thông và phòng chống thiên tai: Trung tâm Khí tượng Châu Âu (ECMWE) đã sử dụng các mô hình học sâu như Convolutional Neural Networks (CNNs) dé dự đoán lượng mưa từ dữ liệu vệ tinh.

Nghiên cứu nay tập trung vào việc sử dung dữ liệu vệ tinh và các mô hình dự báo thời tiết toàn cầu dé cải thiện khả năng dự báo, giúp hỗ trợ các hoạt động phòng chống thiên tai và quản lý giao thông.* Các nghiên cứu này đã chứng minh rằng việc sử dụng các mô hình Machine Learning và Deep Learning có thé cải thiện đáng ké độ chính xác của dự báo lượng mưa. Các nghiên cứu trong nước tập trung vào việc áp dụng và tối ưu hóa các mô hình máy học cho các điều kiện khí hậu và địa lý cụ thê của Việt Nam. Trong khi đó, các nghiên cứu ngoài nước thường sử dụng dữ liệu từ nhiều nguồn và áp dụng các mô hình học sâu tiên tiến để đạt được độ chính xác cao hơn. Việc kết hợp các kết quả nghiên cứu này có thé cung cấp nền tảng vững chắc cho các ứng dụng thực tiễn và phát triển các hệ thống dự báo lượng mưa hiệu quả.

"A Satellite-Based Rainfall Prediction Model Using Convolution Neural Networks." /nternational Conference on Frontiers of Intelligent Computing: Theory and Applications. Singapore: Springer Nature Singapore, 2023. 4Miao, Qinghua, et al. "Improving monsoon precipitation prediction using combined convolutional and long short term memory neural network.

Chương 2: CƠ SỞ LÝ THUYÉT 2. Giới thiệu về Machine Learning Machine learning (ML) là một nhánh cua trí tuệ nhân tạo (AI), một lĩnh vực nghiên cứu cho phép máy tính tự cải thiện dựa trên dữ liệu quan sát (Dữ liệu dao tạo) hoặc kinh nghiệm (được học). Học máy có thể dự đoán hoặc đưa ra quyết định mà không cần lập trình riêng biệt. Các vấn đề về học máy thường được chia thành hai loại: dự đoán (Prediction) và phân loại (Classification).

Các bài toán dự đoán như dự đoán giá nhà, giao thông. Các bài toán phân loại như nhận diện khuôn mặt, nhận dạng con vật. Chu trình vận hành hệ thống Machine Learning như sau: - Data Collection - thu thập dữ liệu: dé máy tính có thể học được thì cần phải có một bộ dữ liệu. Có thể tự thu thập hoặc sử dụng những dữ liệu đã được công bố trước đó, và cần phải được thu thập từ nhiều nguồn khác nhau đề dữ liệu được chính xác và máy có thê học tôt hơn và đạt hiệu suât cao hơn.

- Preprocessing - tiền xử lý: phương pháp này được sử dụng dé sắp xếp dữ liệu, loại bỏ các phần tử không cần thiết, gắn nhãn dữ liệu, mã hóa một số tính năng, trích xuất tính năng, giảm bớt dữ liệu mà vẫn mang lại kết quả khả quan. Các bước xử lý dữ liệu thường chiếm tới 70% tổng thời gian thực hiện. - Model Training - huấn luyện mô hình: ở phương pháp này bạn huấn luyện mô hình hoặc cho nó học các dữ liệu đã thu thập và xử lý ở 2 bước trước. - Evaluating - đánh giá: sau khi huấn luyện mô hình, dùng các độ đo dé đánh giá mô hình.

Dựa vào giá trị của độ đo mà mô hình cũng được đánh giá tốt hay không. - Improve - cải thiện: sau khi phân tích mô hình, các mô hình cho kết quả xấu từ bước 3 sẽ được đảo tạo lại cho đến khi đạt được độ chính xác mong đợi. Tổng thời gian của 3 bước cuôi cùng chiêm khoảng 30% thời gian của toàn bộ quá trình. Nhìn chung, machine learning được chia làm 2 loại chính: - Supervised Learning (học tập có giám sát): cho phép máy tính hoc từ dữ liệu được dán nhãn, hay nói cách khác là nhập X thì sẽ có ký hiệu tương ứng là Y.

Giới thiệu về Deep Learning Deep learning, một nhánh của machine learning (ML), được sử dung dé day máy tính xử ly dữ liệu theo cách được lay cảm hứng từ bộ não con người. Mô hình học sâu có thể nhận diện nhiều hình mẫu phức tạp trong hình ảnh, văn bản, âm thanh và các dữ liệu khác đê tạo ra thông tin chuyên sâu và dự đoán chính xác. Dựa trên kiên trúc của mạng nơron nhân tạo (Artificial Neural Networks - ANNs). ANNs sử dụng các node (nút mạng) được két nôi với nhau gọi là noron, cùng nhau hoạt động đê xử lý và học hỏi từ dữ liệu đâu vào.

Nó thường hoạt động theo cách thức như sau: - Mang nơ-ron càng có nhiều lớp thì mạng sẽ càng "sâu". Mỗi lớp có các nút và chúng được kết nôi với các lớp khác theo sau chúng. - Mi liên kết giữa các nút sẽ có "trọng số" tương ứng, trọng số càng cao thì tác dụng của liên kêt này trong mạng nơ-ron càng lớn. - Mi nơ-ron có một chức năng kích hoạt cơ bản cho việc điều chỉnh dau ra của nơ-ron đó.

- Dé liệu được người dùng đưa vào mạng nơ-ron di qua tat cả các lớp và trả về kêt quả tại lớp cuôi cùng, được gọi là lớp đâu ra. - Trong quá trình huân luyện, các trọng sô sẽ được thay đôi, nhiệm vụ của mô hình là tìm giá trị trọng số phù hợp đề có phương án tốt nhất. Field of Artificial intelligence Field of Hinh 2. Pham vi cua Deep Learning 2.

Sự khác nhau giữa Machine Learning và Deep Learning Yêu tô Machine Learning Deep Learning Dinh nghia Machine Learning 14 phuong Deep Learning là phương pháp pháp các máy học tự động học nghiên cứu sử dụng những hỏi, cải thiện kinh nghiệm mà mạng thần kinh nhân tạo tương không cần có một lập trình rõ tự như não người dé bắt chước ràng. COn người. Môi quan hệ Machine Learning là một phần Deep Learnng là một thành của AI. phân của Machine Learning.

Mục đích Giải quyết những van đề thông Bat chước cách xử lý của bộ não qua việc máy học học tập dựa con người, xử lý dữ liệu và tạo trên dữ liệu. ra các mau đưa ra quyét định. Ứng dụng Ô tô thông minh, cảnh báo Phân tích hình ảnh, phụ đề tự giao thông, --- động, chatbots,- -- 2. Mạng Neuron tích chập Convolutional Neural Network (CNNs — Mạng nơ-ron tích chap) là một trong những mô hình Deep Learning tiên tiến có thể được áp dụng cho những hệ thống thông minh với độ chính xác cao.

Mô hình CNN thường được ứng dụng trong việc nhận dạng và phân loại hình ảnh. Trong đó, xác định đối tượng và nhận dạng khuôn mặt là | trong số những lĩnh vực mà CNN được sử dụng rộng rãi. Về kỹ thuật, mô hình CNN khi training, mỗi hình ảnh đầu vào sẽ chuyên nó qua một loạt các lớp tích chập với các bộ lọc (Kernals), tổng hợp lại các lớp được kết nối đầy đủ (Full Connected) và áp dụng hàm Softmax đề phân loại đối tượng có giá trị xác suất giữa 0 và 1. Hình dưới đây là toàn bộ luồng CNN dé xử lý hình ảnh đầu vào và phân loại các đôi tượng dựa trên giá trỊ: 10 — CAR — TRUCK — VAN — BICYCLE FULLY SOFTMAX Hinh 3.

CNN Workflow Lớp tích chập (Convolution): là lớp đầu tiên dé trích xuất các tinh năng từ hình ảnh đầu vào.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ