Đồ án tốt nghiệp: Ứng dụng học sâu dự đoán bụi mịn PM2.5, PM10 tại Hà Nội - ĐHBK Hà Nội

Đồ án tốt nghiệp kỹ sư Đại học Bách Khoa Hà Nội: Tổng hợp các đồ án xuất sắc, hướng dẫn làm đồ án chi tiết, tài liệu tham khảo hữu ích cho sinh viên Bách Khoa.

Trường đại học

Đại học Bách khoa Hà Nội

Chuyên ngành

Công nghệ phần mềm

Người đăng

Ẩn danh

Thể loại

Đồ án tốt nghiệp

2019

56
6
0

Phí lưu trữ

30 Point

Mục lục chi tiết

Lời cam kết

Lời cảm ơn

Danh mục hình vẽ

Danh mục bảng

Danh mục công thức

Danh mục các từ viết tắt

Danh mục thuật ngữ

1. Chương 1: Giới thiệu đề tài

1.1. Mục tiêu và phạm vi đề tài

1.2. Định hướng giải pháp

2. Chương 2: Tình hình nghiên cứu hiện nay

3. Chương 3: Cơ sở lý thuyết

3.1. Tổng quan về Học Sâu - Deep Learning

3.2. Giới thiệu về Long-Short Term Memory

3.3. Mô hình Encoder Decoder

3.4. Độ quan trọng của thuộc tính

3.5. Trích xuất thuộc tính

3.6. Lựa chọn thuộc tính

3.7. Xây dựng đặc trưng mới

3.8. Phương pháp nghiên cứu

3.9. Kết chương

4. Chương 4: Mô hình đề xuất

4.1. Feature Selection sử dụng model XGBoost

4.2. Phương pháp hệ số tương quan

4.3. Mô hình XGBoost

4.4. Mô hình học và dự đoán sử dụng BiLSTM Encoder – LSTM Decoder

4.5. Mô hình đề xuất

4.6. Kết chương

5. Chương 5: Thí nghiệm và đánh giá hiệu năng của mô hình đề xuất

5.1. Kịch bản thí nghiệm

5.2. Kết quả thí nghiệm

5.3. Kết chương

6. Chương 6: Các giải pháp và đóng góp nổi bật

6.1. Tìm kiếm bài toán

6.2. So sánh mô hình

6.3. Xử lý dữ liệu bị thiếu

6.4. Áp dụng Feature Engineering vào mô hình

6.5. Kết chương

7. Chương 7: Kết luận và hướng phát triển

7.1. Hướng phát triển

Tài liệu tham khảo

A. Phụ lục A: Phương pháp học sâu

A.1. Huấn luyện mạng nơ ron

Tóm tắt

I. Đồ án Tốt nghiệp Giải mã hiểm họa ô nhiễm bụi mịn PM2

Việt Nam, với tốc độ phát triển kinh tế và đô thị hóa nhanh chóng, đang đối mặt với những thách thức nghiêm trọng về môi trường. Trong số đó, ô nhiễm không khí Hà Nội nổi lên như một vấn đề cấp bách, ảnh hưởng trực tiếp đến sức khỏe cộng đồng. Các chuyên gia môi trường đặc biệt cảnh báo về hai chỉ số bụi mịn quan trọng: PM10 và PM2.5. Những hạt bụi này, với đường kính siêu nhỏ, có khả năng xâm nhập sâu vào hệ hô hấp và mạch máu, gây ra hàng loạt bệnh lý nguy hiểm. Cụ thể, tài liệu nghiên cứu chỉ ra rằng phơi nhiễm lâu dài với PM2.5 có thể dẫn đến tích tụ mảng bám động mạch, gây viêm mạch máu và làm nghẽn mạch máu, từ đó là nguy cơ cho việc đột quỵ và đau tim [1]. Tình hình chất lượng không khí hiện nay của Việt Nam đang trong tình trạng xấu, không chỉ do yếu tố không khí và địa lý mà còn do hành động thiếu trách nhiệm của con người, các công trình và thiếu ý thức chung trong việc giữ gìn môi trường xung quanh.

Trước tình hình này, việc phát triển các giải pháp công nghệ nhằm giám sát và dự đoán bụi mịn Hà Nội trở nên thiết yếu. Đồ án tốt nghiệp: Dự đoán bụi mịn Hà Nội này tập trung vào việc ứng dụng công nghệ học sâu để giải quyết bài toán cấp bách này. Mục tiêu chính là xây dựng một mô hình dự đoán PM2.5 và PM10 chính xác, cung cấp thông tin kịp thời cho cả cơ quan chức năng và người dân. Mô hình này không chỉ giúp các nhà quản lý môi trường đưa ra biện pháp kiểm soát và ngăn ngừa hiệu quả mà còn trang bị cho người dân kiến thức để chủ động bảo vệ sức khỏe bản thân. Theo Cổng thông tin quan trắc môi trường – UBND Thành phố Hà Nội, việc dự báo chất lượng không khí Hà Nội giúp các cơ quan chức năng nắm bắt được xu hướng chất lượng môi trường trong tương lai, từ đó đưa ra các biện pháp kiểm soát, ngăn ngừa và đưa cảnh báo tới mọi người dân.

Công trình đồ án tốt nghiệp này không chỉ là một nỗ lực học thuật mà còn mang ý nghĩa thực tiễn sâu sắc, góp phần vào công cuộc bảo vệ môi trường và nâng cao chất lượng cuộc sống cho cư dân thủ đô. Nó khởi nguồn từ sự cấp thiết trong việc tìm kiếm giải pháp cho vấn đề ô nhiễm không khí Hà Nội, đặc biệt là sự hiện diện ngày càng tăng của bụi siêu mịn PM1.0 và PM0.1. Mặc dù vậy, để dễ dàng so sánh với các nghiên cứu trước và do giới hạn về dữ liệu, đồ án tập trung vào dự đoán chỉ số bụi mịn PM2.5 và PM10. Các giải pháp công nghệ tiên tiến, đặc biệt là Trí tuệ nhân tạo trong môi trường và học sâu, được kỳ vọng sẽ mở ra những hướng đi mới trong công tác giám sát PM2.5dự báo chất lượng không khí Hà Nội một cách toàn diện và đáng tin cậy. Việc hiểu rõ và dự báo chính xác các chỉ số này là nền tảng để đề xuất các giải pháp giảm thiểu bụi mịn hiệu quả, hỗ trợ hoạch định chính sách môi trường Hà Nội.

1.1. Thực trạng ô nhiễm không khí Hà Nội Vì sao bụi mịn PM2.5 đáng báo động

Hà Nội, một trong những thành phố lớn và phát triển nhanh nhất Việt Nam, đang đối mặt với tình trạng ô nhiễm không khí Hà Nội ngày càng nghiêm trọng. Nồng độ bụi mịn PM2.5 và PM10 thường xuyên vượt ngưỡng an toàn theo khuyến nghị của Tổ chức Y tế Thế giới (WHO), gây ra những lo ngại sâu sắc về sức khỏe cộng đồng. Các hạt bụi siêu nhỏ này có khả năng xâm nhập sâu vào phổi và hệ tuần hoàn, dẫn đến các bệnh về hô hấp, tim mạch, đột quỵ và thậm chí là ung thư phổi. Tác động bụi mịn đến sức khỏe là một vấn đề đã được khoa học chứng minh rõ ràng.

Tình trạng ô nhiễm không khí Hà Nội không chỉ xuất phát từ các yếu tố tự nhiên như địa hình, khí hậu, mà còn do các nguồn gây ô nhiễm không khí Hà Nội chính từ hoạt động của con người. Cụ thể, khí thải từ phương tiện giao thông, hoạt động sản xuất công nghiệp, đốt rơm rạ, xây dựng và sinh hoạt hàng ngày (như đun nấu bằng than, rác thải) là những nguyên nhân hàng đầu. Việc thiếu ý thức trong việc giữ gìn môi trường, cùng với sự gia tăng mật độ dân số và các công trình xây dựng, càng làm trầm trọng thêm vấn đề. Dữ liệu từ các trạm giám sát PM2.5 cho thấy mức độ ô nhiễm thường xuyên đạt mức "kém" đến "rất xấu", đặc biệt vào những tháng cuối năm và mùa đông.

Ví dụ, theo dữ liệu từ Cổng thông tin quan trắc môi trường – UBND Thành phố Hà Nội, trong tuần từ 16/12/2019 – 22/12/2019, nhiều khu vực tại Hà Nội ghi nhận Chỉ số AQI Hà Nội ở mức từ trung bình đến xấu, điển hình như Hoàn Kiếm, Tân Mai, Tây Mỗ với các chỉ số vượt 100, thậm chí lên đến 158 tại Mỹ Đình vào ngày 22/12/2019 (Bảng 2 trong tài liệu gốc). Những con số này cảnh báo trực tiếp về tác động bụi mịn đến sức khỏe, đặc biệt đối với các nhóm nhạy cảm như trẻ em, người già và những người có bệnh lý hô hấp. Việc hiểu rõ thực trạng này là bước đầu tiên để xây dựng các giải pháp giảm thiểu bụi mịn và bảo vệ sức khỏe người dân.

1.2. Tầm quan trọng của dự báo chất lượng không khí Hà Nội Bảo vệ sức khỏe cộng đồng

Việc dự báo chất lượng không khí Hà Nội không chỉ là một nhiệm vụ khoa học mà còn là một công cụ thiết yếu để bảo vệ sức khỏe cộng đồng. Khi người dân nhận thức được mức độ ảnh hưởng của bụi mịn PM2.5 tới bản thân, họ sẽ có ý thức hơn trong việc chủ động phòng tránh và cùng chung tay bảo vệ môi trường. Một hệ thống dự báo chất lượng không khí Hà Nội đáng tin cậy sẽ cung cấp thông tin kịp thời, giúp các cơ quan chức năng nắm bắt xu hướng ô nhiễm trong tương lai, từ đó đưa ra các biện pháp kiểm soát và ngăn ngừa phù hợp.

Cụ thể, khả năng dự báo chất lượng không khí Hà Nội sớm cho phép các nhà hoạch định chính sách môi trường triển khai các chính sách môi trường Hà Nội hiệu quả hơn. Các biện pháp có thể bao gồm điều tiết giao thông, tạm dừng các hoạt động sản xuất gây ô nhiễm, hoặc khuyến nghị người dân hạn chế ra ngoài vào những ngày có nồng độ bụi mịn cao. Đồng thời, thông tin dự báo giúp người dân có thời gian chuẩn bị các biện pháp bảo vệ cá nhân như đeo khẩu trang chuyên dụng, hạn chế hoạt động ngoài trời, hoặc sử dụng máy lọc không khí. Điều này góp phần giảm thiểu đáng kể tác động bụi mịn đến sức khỏe, đặc biệt đối với các nhóm dễ bị tổn thương.

Giám sát PM2.5 liên tục và tích hợp dữ liệu từ các cảm biến chất lượng không khí là nền tảng cho việc dự báo chính xác. Khi Chỉ số AQI Hà Nội được dự đoán ở mức "kém" hoặc "nguy hại", một hệ thống cảnh báo sớm có thể kích hoạt, thông báo đến người dân qua nhiều kênh khác nhau. Điều này không chỉ nâng cao nhận thức cộng đồng mà còn thúc đẩy hành động tập thể để cải thiện môi trường. Việc đầu tư vào khoa học dữ liệu môi trường và các mô hình dự đoán PM2.5 tiên tiến là một bước đi chiến lược, thể hiện cam kết của thành phố trong việc đảm bảo một môi trường sống trong lành hơn cho người dân Hà Nội.

II. Thách thức lớn khi Dự đoán bụi mịn Hà Nội Khó khăn và Giới hạn hiện tại

Việc dự đoán bụi mịn Hà Nội một cách chính xác là một bài toán phức tạp, đòi hỏi sự kết hợp của nhiều yếu tố khoa học và công nghệ. Một trong những thách thức lớn nhất nằm ở tính chất đa dạng và biến động của dữ liệu. Các yếu tố như khí tượng thủy văn (hướng gió, tốc độ gió, nhiệt độ, độ ẩm), hoạt động giao thông, công nghiệp, và thậm chí các hoạt động sinh hoạt hàng ngày đều đóng góp vào sự thay đổi nồng độ bụi mịn. Việc thu thập, xử lý và tích hợp lượng Big Data về chất lượng không khí khổng lồ này một cách hiệu quả là một rào cản đáng kể. Hơn nữa, chất lượng dữ liệu từ các cảm biến chất lượng không khí đôi khi không đồng đều, thiếu sót hoặc nhiễu, làm giảm độ tin cậy của mô hình dự đoán.

Các nghiên cứu trước đây đã đề xuất nhiều mô hình dự đoán PM2.5, nhưng vẫn còn tồn tại những giới hạn nhất định. Một số mô hình chỉ tập trung vào việc dự đoán một chỉ số duy nhất như PM2.5 mà bỏ qua các loại bụi khác như PM10 hay PM1.0, trong khi thực tế các loại bụi này đều có tác động bụi mịn đến sức khỏe con người. Nhiều mô hình khác chỉ đưa ra dự đoán cho thời gian ngắn hạn, ví dụ một giờ sau đó, điều này không đủ để các cơ quan chức năng lập kế hoạch và đưa ra các giải pháp giảm thiểu bụi mịn mang tính chiến lược, dài hạn. Sự thiếu linh hoạt về độ dài chuỗi đầu vào và đầu ra là một điểm yếu cố hữu.

Một thách thức khác là việc xác định và lượng hóa các yếu tố thực sự ảnh hưởng đến nồng độ bụi mịn. Nhiều bài báo chỉ nêu lên các yếu tố ảnh hưởng mà không có thực nghiệm để xác minh mức độ tác động của chúng. Điều này dẫn đến việc các mô hình dự đoán PM2.5 có thể không tối ưu, bởi vì chúng không chú trọng vào những thuộc tính quan trọng nhất tùy theo vị trí địa lý và điều kiện cụ thể của từng khu vực. Như Soh et al. [2] đã đề xuất mô hình sử dụng mối quan hệ giữa dữ liệu không gian và thời gian, nhưng lại không chỉ ra các yếu tố nào thực sự ảnh hưởng đến chỉ số bụi mịn. Do đó, cần có một phương pháp luận đồ án khoa học chặt chẽ hơn để phân tích dữ liệu bụi mịn, xác định các thuộc tính quan trọng và từ đó xây dựng các thuật toán Machine Learning dự báo hiệu quả hơn.

2.1. Phân tích dữ liệu bụi mịn Nguồn gốc và đặc thù phức tạp

Công tác phân tích dữ liệu bụi mịn là một bước nền tảng nhưng đầy thử thách trong việc xây dựng các mô hình dự đoán PM2.5. Dữ liệu về chất lượng không khí thường có nguồn gốc đa dạng, bao gồm từ các trạm quan trắc mặt đất, dữ liệu vệ tinh, cũng như các yếu tố khí tượng thủy văn như nhiệt độ, độ ẩm, tốc độ gió, hướng gió. Tuy nhiên, việc tích hợp các nguồn dữ liệu này không hề đơn giản. Dữ liệu từ các cảm biến chất lượng không khí thường xuyên bị thiếu hụt, không liên tục hoặc chứa nhiễu do lỗi kỹ thuật, bảo trì hoặc các yếu tố môi trường.

Đặc thù của dữ liệu lịch sử bụi mịn là tính chuỗi thời gian, với sự phụ thuộc lẫn nhau giữa các quan sát tại các thời điểm khác nhau. Điều này đòi hỏi các phương pháp xử lý và mô hình hóa chuyên biệt. Ngoài ra, nguồn gây ô nhiễm không khí Hà Nội rất đa dạng, từ khí thải giao thông, hoạt động công nghiệp, xây dựng, đến đốt rơm rạ hay sinh hoạt, khiến việc định lượng ảnh hưởng của từng nguồn trở nên phức tạp. Việc thu thập và làm sạch một lượng Big Data về chất lượng không khí đáng kể, đảm bảo tính đầy đủ và chính xác là một khâu tốn nhiều thời gian và nguồn lực.

Nhiều thuộc tính đầu vào như các loại khí NO, NO2, NOx, SO2, CO, O3, CH4, NMHC, THC, BENZEN, TOLUEN, ETHYL BENZEN, MP-XYLEN, O-XYLEN (theo tài liệu gốc, trang 21) có thể góp phần vào việc dự đoán, nhưng cũng có thể gây nhiễu nếu không được chọn lọc cẩn thận. Sự thiếu hụt dữ liệu cho một số thuộc tính buộc phải lược bỏ hoặc áp dụng các phương pháp điền dữ liệu thiếu, điều này có thể ảnh hưởng đến độ chính xác cuối cùng của mô hình dự đoán PM2.5. Vì vậy, một quy trình phân tích dữ liệu bụi mịn kỹ lưỡng và chiến lược Feature Engineering là cực kỳ cần thiết để đảm bảo chất lượng đầu vào cho các thuật toán Machine Learning dự báo.

2.2. Hạn chế của các mô hình dự đoán PM2.5 truyền thống Cần hướng tiếp cận mới

Các mô hình dự đoán PM2.5 truyền thống, bao gồm các phương pháp thống kê hoặc các thuật toán Machine Learning cơ bản, thường gặp phải một số hạn chế khi áp dụng cho bài toán dự đoán bụi mịn Hà Nội phức tạp. Một trong những điểm yếu chính là khả năng xử lý dữ liệu chuỗi thời gian dài và các mối quan hệ phụ thuộc phức tạp. Nhiều mô hình không thể "ghi nhớ" thông tin từ quá khứ xa hoặc xử lý các mối tương quan phi tuyến tính giữa các yếu tố ảnh hưởng. Điều này làm giảm độ chính xác của dự báo chất lượng không khí Hà Nội, đặc biệt trong bối cảnh các ảnh hưởng thời tiết đến bụi mịn và các nguồn ô nhiễm thay đổi liên tục.

Thêm vào đó, nhiều nghiên cứu trước đây chỉ tập trung vào việc dự đoán ngắn hạn, thường là cho một vài giờ tiếp theo. Ví dụ, Ibrahim Kok et al. [3] giới thiệu mô hình sử dụng LSTM thuần chỉ để dự đoán chỉ số O3 và NO2 cho thời gian t+1 (một giờ sau đó), điều này không phù hợp cho các nhà chức trách môi trường khi cần lập lịch trình và có phương án trong dài hạn. Sự thiếu linh hoạt trong việc điều chỉnh độ dài chuỗi đầu vào và đầu ra là một rào cản lớn. Các mô hình dự đoán PM2.5 này khó có thể cung cấp bức tranh toàn diện về xu hướng ô nhiễm trong tương lai gần, từ đó hạn chế khả năng đưa ra giải pháp giảm thiểu bụi mịn chủ động.

Một hạn chế khác là khả năng tự động trích xuất đặc trưng. Các mô hình truyền thống thường yêu cầu công đoạn Feature Engineering thủ công và tốn kém, phụ thuộc nhiều vào kinh nghiệm của nhà khoa học dữ liệu. Điều này làm tăng chi phí và thời gian phát triển, đồng thời có thể bỏ lỡ những đặc trưng quan trọng mà con người khó nhận biết. Để khắc phục những hạn chế này, một hướng tiếp cận mới, mạnh mẽ hơn là cần thiết. Sự chuyển dịch sang học sâu dự đoán PM2.5 với khả năng tự động học các đặc trưng phức tạp và xử lý chuỗi thời gian dài đã mở ra tiềm năng lớn để nâng cao độ chính xác và tính ứng dụng của các mô hình dự đoán PM2.5.

III. Cách Học sâu Dự đoán PM2

Để vượt qua những thách thức trong việc dự đoán bụi mịn Hà Nội và nâng cao độ chính xác của dự báo chất lượng không khí Hà Nội, phương pháp học sâu (Deep Learning) đã trở thành một giải pháp tiên tiến và hiệu quả. Học sâu dự đoán PM2.5 mang lại khả năng xử lý lượng lớn Big Data về chất lượng không khí với nhiều đầu vào khác nhau, từ dữ liệu thời tiết đến các chỉ số ô nhiễm khác. Một trong những ưu điểm nổi bật của học sâu là khả năng tự động trích xuất và học các đặc trưng phức tạp từ dữ liệu thô, giảm đáng kể chi phí và thời gian của quy trình Feature Engineering thủ công truyền thống trong Machine Learning. Mặc dù học sâu thường được xem là một "hộp đen", nhưng với bài toán dự đoán chỉ số bụi mịn để đánh giá chất lượng môi trường, đây là một công cụ mạnh mẽ, đặc biệt khi số lượng trường dữ liệu và bản ghi lớn, việc tiền xử lý dữ liệu tốn nhiều thời gian nếu không áp dụng phương pháp này.

Học sâu thuộc lĩnh vực Trí tuệ nhân tạo trong môi trường và đã chứng minh hiệu quả trong nhiều ứng dụng phức tạp. Nó cho phép xây dựng các mô hình dự đoán PM2.5 có khả năng nhận diện các mối quan hệ phi tuyến tính và phụ thuộc dài hạn trong dữ liệu lịch sử bụi mịn. Khả năng này là cực kỳ quan trọng đối với các dữ liệu chuỗi thời gian như chỉ số chất lượng không khí, nơi mà các giá trị hiện tại chịu ảnh hưởng sâu sắc từ các sự kiện trong quá khứ xa. Trong bối cảnh ô nhiễm không khí Hà Nội ngày càng nghiêm trọng, việc áp dụng thuật toán Machine Learning dự báo dựa trên học sâu không chỉ cung cấp các dự báo chính xác hơn mà còn giúp giám sát PM2.5 một cách liên tục và tự động. Điều này mở ra tiềm năng lớn trong việc phát triển các hệ thống cảnh báo sớm và hỗ trợ ra quyết định cho các chính sách môi trường Hà Nội.

Mặc dù có nhược điểm về chi phí huấn luyện cao và yêu cầu về tài nguyên tính toán lớn, cùng với việc thử nghiệm tham số không theo công thức cụ thể, Học sâu dự đoán PM2.5 vẫn là lựa chọn ưu việt. Nó cung cấp sự linh hoạt để giải quyết nhiều bài toán khác nhau và giảm thiểu gánh nặng về tiền xử lý dữ liệu. Chính vì những lý do này, đồ án tốt nghiệp: Dự đoán bụi mịn Hà Nội đã lựa chọn phương pháp học sâu làm nền tảng cốt lõi, đặc biệt là các kiến trúc mạng nơ-ron hồi quy như Long Short-Term Memory (LSTM) và Bidirectional Long Short-Term Memory (BiLSTM) để tận dụng tối đa đặc điểm của dữ liệu chuỗi thời gian. Đây là bước tiến quan trọng trong khoa học dữ liệu môi trường.

3.1. Tổng quan về Học sâu Deep Learning Sức mạnh cho bài toán môi trường

Học sâu (Deep Learning) là một nhánh của Trí tuệ nhân tạo trong môi trường và Machine Learning, nổi bật với khả năng sử dụng các mạng nơ-ron nhân tạo có nhiều lớp ẩn để học các biểu diễn dữ liệu ở nhiều cấp độ trừu tượng khác nhau. Phương pháp này đã cách mạng hóa nhiều lĩnh vực, từ xử lý ngôn ngữ tự nhiên đến thị giác máy tính, và giờ đây đang chứng minh sức mạnh trong khoa học dữ liệu môi trường. Đối với bài toán dự đoán bụi mịn Hà Nội, học sâu mang lại lợi thế vượt trội trong việc xử lý khối lượng Big Data về chất lượng không khí khổng lồ và đa dạng.

Một trong những ưu điểm chính của Học sâu dự đoán PM2.5 là khả năng tự động khám phá và học các đặc trưng (features) quan trọng từ dữ liệu thô. Thay vì yêu cầu các nhà khoa học dữ liệu phải tự mình thiết kế và trích xuất đặc trưng một cách thủ công (quá trình Feature Engineering tốn kém và mất thời gian), các mô hình học sâu có thể tự động thực hiện việc này. Điều này không chỉ tăng hiệu quả mà còn giúp phát hiện những mối quan hệ phức tạp, phi tuyến tính mà các phương pháp truyền thống có thể bỏ qua. Khả năng này cực kỳ quan trọng trong việc phân tích dữ liệu bụi mịn, nơi các yếu tố ảnh hưởng thường tương tác với nhau theo cách không trực quan.

Học sâu dự đoán PM2.5 cũng giải quyết tốt vấn đề dữ liệu chuỗi thời gian, một đặc điểm cốt lõi của dữ liệu lịch sử bụi mịn. Các kiến trúc mạng như Mạng nơ-ron hồi quy (RNN), và đặc biệt là các biến thể của chúng như LSTM và BiLSTM, được thiết kế để duy trì thông tin qua các bước thời gian, cho phép mô hình ghi nhớ các phụ thuộc dài hạn. Điều này là then chốt để có thể đưa ra dự báo chất lượng không khí Hà Nội chính xác, dựa trên xu hướng và mẫu hình ô nhiễm trong quá khứ. Nhờ vào sức mạnh này, học sâu đang trở thành công cụ không thể thiếu để xây dựng các mô hình dự đoán PM2.5 ngày càng tinh vi và đáng tin cậy.

3.2. LSTM và BiLSTM Khám phá các thuật toán Machine Learning dự báo chuỗi thời gian

Trong lĩnh vực Học sâu dự đoán PM2.5, Mạng nơ-ron Hồi quy (RNN) là một kiến trúc cơ bản cho dữ liệu chuỗi thời gian. Tuy nhiên, RNN thuần túy gặp phải vấn đề mất gradient và bùng nổ gradient, hạn chế khả năng ghi nhớ các phụ thuộc dài hạn. Để khắc phục điều này, Long Short-Term Memory (LSTM) đã được phát triển. LSTM, một dạng của RNN, nổi bật với khả năng học và ghi nhớ các phụ thuộc xa trong chuỗi dữ liệu, điều mà các mạng RNN khác không làm được (trang 7-8 tài liệu gốc). Cấu trúc của LSTM được cấu thành bởi ba cổng nổi bật: cổng "quên" (forget gate), cổng "cập nhật" (update gate), và cổng "đầu ra" (output gate), cho phép nó kiểm soát thông tin nào sẽ được lưu giữ hoặc bỏ qua trong ô nhớ của mình (Hình 2 trong tài liệu gốc).

Sức mạnh của LSTM nằm ở khả năng xử lý dữ liệu lịch sử bụi mịn một cách hiệu quả, nắm bắt các xu hướng và chu kỳ ô nhiễm kéo dài. Tuy nhiên, LSTM truyền thống chỉ xử lý thông tin từ quá khứ đến hiện tại. Để nâng cao hơn nữa độ chính xác trong dự báo chất lượng không khí Hà Nội, Bidirectional Long Short-Term Memory (BiLSTM) được giới thiệu. BiLSTM sử dụng hai lớp LSTM chạy song song theo hai chiều ngược nhau: một lớp xử lý dữ liệu từ quá khứ đến hiện tại và một lớp xử lý dữ liệu từ tương lai về quá khứ (Hình 3 trong tài liệu gốc). Kết quả từ hai lớp này được kết hợp, cho phép mô hình thu thập thông tin từ cả hai hướng thời gian.

Khả năng này của BiLSTM là cực kỳ hữu ích cho các thuật toán Machine Learning dự báo như dự đoán bụi mịn Hà Nội, vì tình hình ô nhiễm không chỉ chịu ảnh hưởng của các sự kiện đã qua mà còn có thể liên quan đến các yếu tố tương lai (ví dụ: dự báo thời tiết cho các giờ tới). Việc BiLSTM có thể xem xét ngữ cảnh từ cả quá khứ và tương lai giúp tăng cường đáng kể độ chính xác của mô hình dự đoán PM2.5. Do đó, LSTM và BiLSTM là những thành phần cốt lõi, không thể thiếu trong kiến trúc học sâu được đề xuất cho đồ án tốt nghiệp: Dự đoán bụi mịn Hà Nội này, đặc biệt khi giải quyết bài toán chuỗi thời gian phức tạp như ô nhiễm không khí Hà Nội.

IV. Kiến trúc Mô hình Dự đoán PM2

Để đạt được độ chính xác cao trong bài toán dự đoán bụi mịn Hà Nội và khắc phục những hạn chế của các mô hình hiện có, đồ án tốt nghiệp: Dự đoán bụi mịn Hà Nội đã đề xuất một kiến trúc mô hình học sâu tiên tiến. Kiến trúc này kết hợp hai phần chính: bộ lọc dữ liệu thông minh sử dụng Feature Selection với XGBoost và mô hình học và dự đoán mạnh mẽ dựa trên BiLSTM Encoder – LSTM Decoder. Đây là một phương pháp luận đồ án khoa học chặt chẽ, được thiết kế để xử lý hiệu quả lượng Big Data về chất lượng không khí khổng lồ và phức tạp, từ đó đưa ra dự báo chất lượng không khí Hà Nội đáng tin cậy.

Phần đầu tiên của mô hình là quá trình Feature Selection, sử dụng thuật toán XGBoost. Mục tiêu là tinh gọn bộ dữ liệu đầu vào bằng cách chọn lọc ra những thuộc tính có ảnh hưởng nhất đến việc dự đoán chỉ số bụi mịn PM2.5 và PM10. Phân tích dữ liệu bụi mịn cho thấy có rất nhiều yếu tố có thể ảnh hưởng đến nồng độ bụi, nhưng không phải tất cả đều quan trọng như nhau. Bằng cách tập trung vào các thuộc tính có tác động lớn nhất, mô hình không chỉ giảm độ phức tạp tính toán mà còn cải thiện độ chính xác, đồng thời giúp dễ dàng diễn giải các yếu tố chính gây ra ô nhiễm không khí Hà Nội. Quá trình này đặc biệt quan trọng khi làm việc với dữ liệu lịch sử bụi mịn đa dạng và có thể chứa nhiều nhiễu.

Phần thứ hai, và cũng là cốt lõi của mô hình dự đoán PM2.5 đề xuất, là kiến trúc BiLSTM Encoder – LSTM Decoder. Đây là một dạng của mô hình Sequence to Sequence, vốn nổi tiếng trong xử lý ngôn ngữ tự nhiên nhưng được điều chỉnh để xử lý dữ liệu chuỗi thời gian. Bộ Encoder sử dụng BiLSTM để nắm bắt thông tin từ cả quá khứ và tương lai của chuỗi đầu vào, tạo ra một "trạng thái ẩn" chứa đựng toàn bộ ngữ cảnh quan trọng. Trạng thái ẩn này sau đó được truyền đến bộ Decoder, sử dụng LSTM, để tạo ra chuỗi dự đoán đầu ra. Khả năng linh hoạt trong việc điều chỉnh độ dài chuỗi đầu vào và đầu ra là một ưu điểm lớn, giúp mô hình này phù hợp cho việc lập kế hoạch dài hạn của các cơ quan quản lý chính sách môi trường Hà Nội.

Tổng thể, kiến trúc này thể hiện một sự kết hợp mạnh mẽ giữa Trí tuệ nhân tạo trong môi trườngthuật toán Machine Learning dự báo tiên tiến, mang lại tiềm năng lớn trong việc cung cấp các dự báo chính xác và kịp thời về tình hình ô nhiễm không khí Hà Nội, từ đó hỗ trợ các nỗ lực giải pháp giảm thiểu bụi mịn.

4.1. Feature Selection với XGBoost Tinh gọn dữ liệu Big Data môi trường

Trong bối cảnh dữ liệu môi trường ngày càng phong phú, việc xử lý lượng Big Data về chất lượng không khí khổng lồ là một thách thức không nhỏ. Để tối ưu hóa quá trình dự đoán bụi mịn Hà Nội, giai đoạn Feature Selection đóng vai trò cực kỳ quan trọng. Mục đích là để chọn lọc ra một tập hợp con các thuộc tính từ bộ dữ liệu ban đầu, đảm bảo chúng có ảnh hưởng lớn nhất đến kết quả dự đoán, đồng thời loại bỏ các thuộc tính dư thừa hoặc gây nhiễu. Điều này không chỉ giúp giảm độ phức tạp tính toán, tăng tốc độ huấn luyện mà còn cải thiện độ chính xác của mô hình dự đoán PM2.5.

Đồ án tốt nghiệp: Dự đoán bụi mịn Hà Nội đã lựa chọn mô hình XGBoost để thực hiện quá trình Feature Selection. XGBoost là một thuật toán Boosting-based Ensemble Learning, nổi bật với khả năng xử lý dữ liệu hiệu quả, bao gồm cả dữ liệu thiếu, và cung cấp khả năng đánh giá mức độ quan trọng của từng thuộc tính (trang 17, 32-33 trong tài liệu gốc). Bằng cách áp dụng phương pháp thử và sai (trial and error) với XGBoost, mô hình có thể xác định được tập thuộc tính con nào sẽ làm giảm sai số của kết quả dự đoán PM2.5 và PM10. Điều này giúp tinh gọn bộ dữ liệu đầu vào, chỉ giữ lại những yếu tố thực sự có tác động đến tình hình ô nhiễm không khí Hà Nội, như các yếu tố khí tượng (nhiệt độ, độ ẩm, hướng gió) và các loại khí thải khác.

Kết quả thực nghiệm cho thấy, việc sử dụng XGBoost trong Feature Selection mang lại hiệu quả rõ rệt, cải thiện độ chính xác của dự đoán trong mọi trường hợp so với việc không dùng Feature Engineering (trang 24 trong tài liệu gốc). Đây là một bước tiến quan trọng trong phương pháp luận đồ án khoa học để đảm bảo rằng dữ liệu lịch sử bụi mịn được sử dụng một cách thông minh và hiệu quả nhất, góp phần tạo nên một mô hình dự đoán PM2.5 mạnh mẽ và đáng tin cậy.

4.2. BiLSTM Encoder LSTM Decoder Cốt lõi của mô hình dự đoán bụi mịn PM2.5

Sau khi dữ liệu đầu vào đã được tinh gọn qua quá trình Feature Selection bằng XGBoost, chúng được đưa vào phần cốt lõi của mô hình dự đoán PM2.5 được đề xuất: kiến trúc BiLSTM Encoder – LSTM Decoder. Đây là một biến thể mạnh mẽ của mô hình Sequence to Sequence (Seq2Seq), được thiết kế đặc biệt để xử lý các bài toán chuỗi thời gian như dự báo chất lượng không khí Hà Nội. Mô hình này tận dụng ưu điểm của các thuật toán Machine Learning dự báo dựa trên học sâu để nắm bắt các phụ thuộc phức tạp trong dữ liệu lịch sử bụi mịn.

Bộ Encoder của kiến trúc này sử dụng BiLSTM (Bidirectional Long Short-Term Memory). BiLSTM có khả năng xử lý dữ liệu đầu vào theo cả hai chiều: từ quá khứ đến hiện tại và từ tương lai về quá khứ (trang 9-10 trong tài liệu gốc). Điều này cho phép bộ Encoder tạo ra một "Encoder State" toàn diện, gói gọn thông tin và ngữ cảnh từ toàn bộ chuỗi đầu vào. Ví dụ, nếu chuỗi đầu vào là dữ liệu lịch sử bụi mịn trong 24 giờ, BiLSTM sẽ phân tích các mối quan hệ và xu hướng trong 24 giờ đó để tạo ra một biểu diễn ngữ cảnh phong phú.

Tiếp theo, "Encoder State" này được truyền đến bộ Decoder, sử dụng một lớp LSTM đơn thuần. Bộ Decoder nhận trạng thái ẩn khởi tạo từ Encoder và một giá trị khởi tạo khác (thường là <GO> token) để bắt đầu quá trình dự đoán. Sau mỗi bước thời gian, Decoder dự đoán một giá trị tiếp theo trong chuỗi đầu ra (ví dụ: chỉ số PM2.5 của giờ tiếp theo). Kết quả dự đoán này lại được sử dụng làm đầu vào cho bước thời gian tiếp theo, cho phép Decoder tạo ra một chuỗi dự đoán với độ dài tùy ý (trang 18 trong tài liệu gốc). Khả năng điều chỉnh độ dài chuỗi đầu ra linh hoạt là một ưu điểm lớn, giúp mô hình này có thể cung cấp dự báo chất lượng không khí Hà Nội cho nhiều giờ hoặc thậm chí nhiều ngày tới, rất hữu ích cho việc hoạch định chính sách môi trường Hà Nộigiải pháp giảm thiểu bụi mịn.

V. Đánh giá Hiệu năng Mô hình Đồ án tốt nghiệp Dự đoán bụi mịn Hà Nội

Để khẳng định tính hiệu quả của đồ án tốt nghiệp: Dự đoán bụi mịn Hà Nội, một quá trình thí nghiệm và đánh giá hiệu năng nghiêm ngặt đã được thực hiện. Các thí nghiệm được thiết kế để kiểm tra khả năng của mô hình trong việc dự báo chất lượng không khí Hà Nội và so sánh với các phương pháp hiện có. Hai bộ dữ liệu chính được sử dụng: dữ liệu lịch sử bụi mịn thu thập tại Hà Nội từ 01/01/2016 đến 01/01/2018 và bộ dữ liệu từ vùng đảo Đài Loan (TWEPA), được dùng để so sánh với các nghiên cứu trước đây [7]. Cả hai bộ dữ liệu đều được phân chia thành 60% để huấn luyện, 20% để xác thực và 20% để thử nghiệm, đảm bảo tính khách quan trong đánh giá.

Dữ liệu Hà Nội bao gồm các chỉ số đa dạng như thời gian, tốc độ gió, hướng gió, nhiệt độ, độ ẩm, phóng xạ, và các loại khí NO, NO2, NOx, SO2, CO, O3, cùng với PM10 và PM2.5. Do đặc thù dữ liệu môi trường thường xuyên bị thiếu, phương pháp điền dữ liệu bằng cách lấy giá trị trung bình đã được áp dụng để đảm bảo tính liên tục của chuỗi thời gian. Các chỉ số đánh giá chính được sử dụng là Sai số tuyệt đối trung bình (MAE) và Sai số toàn phương trung bình (RMSE), đây là những thước đo phổ biến trong nhiều bài báo khoa học về mô hình dự đoán PM2.5 [2], [19], [20], [21]. MAE và RMSE càng thấp, mô hình càng chính xác.

Các kịch bản thí nghiệm bao gồm việc dự đoán chỉ số PM2.5 và dự đoán đồng thời cả PM10 và PM2.5. Mô hình được thử nghiệm với ba trường hợp: không sử dụng Feature Engineering, sử dụng Feature Engineering với phương pháp hệ số tương quan, và sử dụng Feature Engineering với XGBoost. Kết quả cho thấy, việc áp dụng Feature Engineering, đặc biệt là với XGBoost, đã cải thiện đáng kể hiệu năng của mô hình. Trong nhiều trường hợp, MAE của mô hình đề xuất thấp hơn rõ rệt so với khi không sử dụng Feature Engineering, chứng minh tính ưu việt của phương pháp tinh gọn dữ liệu. Điều này khẳng định tầm quan trọng của việc phân tích dữ liệu bụi mịn kỹ lưỡng trong quá trình xây dựng mô hình dự đoán PM2.5.

5.1. Kịch bản thí nghiệm và phân tích thống kê ô nhiễm Dữ liệu Hà Nội và Đài Loan

Để đánh giá toàn diện mô hình dự đoán PM2.5 của đồ án tốt nghiệp: Dự đoán bụi mịn Hà Nội, các kịch bản thí nghiệm được thiết kế tỉ mỉ, sử dụng hai bộ dữ liệu lịch sử bụi mịn quan trọng: dữ liệu từ Hà Nội và từ vùng đảo Đài Loan [7]. Việc sử dụng hai bộ dữ liệu này không chỉ giúp kiểm chứng tính tổng quát của mô hình mà còn tạo cơ sở để so sánh với các nghiên cứu quốc tế. Phân tích dữ liệu bụi mịn ban đầu cho thấy cả hai bộ dữ liệu đều chứa nhiều thông số về chất lượng không khí và khí tượng, thu thập theo từng giờ.

Dữ liệu Hà Nội bao gồm các chỉ số chi tiết về các loại khí ô nhiễm (NO, NO2, SO2, CO, O3), các yếu tố khí tượng (tốc độ gió, hướng gió, nhiệt độ, độ ẩm), và đặc biệt là hai chỉ số bụi mịn PM2.5 và PM10. Dữ liệu từ Đài Loan cũng cung cấp các thông số tương tự, tạo điều kiện thuận lợi cho việc so sánh hiệu năng. Một thách thức chung của cả hai bộ dữ liệu là sự thiếu hụt thông tin do các vấn đề về cảm biến chất lượng không khí hoặc quá trình thu thập. Để giải quyết, phương pháp điền dữ liệu thiếu bằng giá trị trung bình đã được áp dụng, mặc dù phương pháp này có thể gây nhiễu trong một số trường hợp.

Các thí nghiệm đã kiểm tra khả năng của mô hình trong việc dự đoán bụi mịn Hà Nội cho các trường hợp khác nhau: dự đoán riêng PM2.5 và dự đoán đồng thời PM10 và PM2.5. Các thông số huấn luyện mô hình được chuẩn hóa, với kích thước batch là 200, số lượng epoch là 300, và bộ tối ưu hóa Adam (Bảng 3 trong tài liệu gốc). Độ dài chuỗi đầu vào (l) và đầu ra (h) cũng được thử nghiệm với các giá trị khác nhau, ví dụ l=24 giờ, h=1 giờ, hoặc l=48 giờ, h từ 1 đến 6 giờ. Những thiết lập này cho phép phân tích thống kê ô nhiễm một cách chi tiết và đánh giá chính xác tác động của từng yếu tố lên hiệu quả của mô hình dự đoán PM2.5.

5.2. Kết quả dự đoán PM2.5 Minh chứng hiệu quả của giải pháp học sâu

Kết quả dự đoán PM2.5 từ đồ án tốt nghiệp: Dự đoán bụi mịn Hà Nội đã minh chứng rõ ràng hiệu quả của việc áp dụng giải pháp học sâu, đặc biệt là khi kết hợp với Feature Engineering. Khi không sử dụng Feature Engineering, mô hình đề xuất đã cho thấy hiệu suất tốt hơn đáng kể so với mô hình ST-DNN của Soh et al. [2], với chỉ số MAE cải thiện từ 17% đến 41% khi xét đầu vào là 48 giờ và số giờ dự đoán từ 1 đến 6 giờ (Bảng 5 trong tài liệu gốc). Điều này khẳng định sức mạnh vốn có của kiến trúc BiLSTM Encoder – LSTM Decoder trong việc xử lý dữ liệu lịch sử bụi mịn và nắm bắt các phụ thuộc chuỗi thời gian.

Đáng chú ý hơn, khi áp dụng Feature Engineering sử dụng XGBoost, kết quả dự đoán PM2.5 tiếp tục được cải thiện. Đối với trường hợp đầu vào 24 giờ và dự đoán 1 giờ, MAE cải thiện từ 7% đến 10% cho bộ dữ liệu Hà Nội và khoảng 1% đến 1.3% cho bộ dữ liệu Đài Loan (Bảng 4 trong tài liệu gốc). Sự cải thiện này cho thấy XGBoost đã thành công trong việc chọn lọc các thuộc tính có ảnh hưởng nhất, giúp tinh gọn dữ liệu và giảm nhiễu. Mặc dù phương pháp hệ số tương quan cho Feature Engineering không ổn định bằng XGBoost, nhưng XGBoost đã chứng tỏ sự ưu việt trong hầu hết các kịch bản kiểm thử (Hình 11 đến Hình 14 trong tài liệu gốc).

Các đồ thị biểu diễn kết quả dự đoán PM2.5 so với giá trị thực tế cũng cho thấy sự tương đối sát nhau giữa đường dự đoán và đường thực, đặc biệt với PM10 và PM2.5 sử dụng dữ liệu vùng đảo Đài Loan (Hình 15 và Hình 16 trong tài liệu gốc). Điều này minh họa trực quan rằng mô hình dự đoán PM2.5 đề xuất hoạt động hiệu quả, có khả năng giám sát PM2.5dự báo chất lượng không khí Hà Nội với độ chính xác cao. Những kết quả này là tiền đề quan trọng cho việc ứng dụng thực tiễn của mô hình trong việc cảnh báo và quản lý ô nhiễm không khí Hà Nội, hỗ trợ các giải pháp giảm thiểu bụi mịn.

VI. Đồ án Dự đoán bụi mịn Hà Nội Kết luận và Định hướng Phát triển tương lai

Đồ án tốt nghiệp: Dự đoán bụi mịn Hà Nội đã hoàn thành mục tiêu xây dựng một mô hình dự đoán PM2.5 và PM10 sử dụng học sâu, mang lại những kết quả tích cực và đóng góp quan trọng vào lĩnh vực khoa học dữ liệu môi trường. Từ việc phân tích các ưu nhược điểm của những mô hình trước đây, công trình này đã đề xuất một kiến trúc kết hợp Feature Engineering với mô hình Sequence to Sequence (BiLSTM Encoder – LSTM Decoder), khắc phục được nhiều vấn đề còn tồn đọng như thiếu linh hoạt trong độ dài chuỗi dự đoán và khả năng xác định các yếu tố ảnh hưởng. Kết quả dự đoán PM2.5 cho thấy mô hình này vượt trội hơn so với một số nghiên cứu khác, khẳng định hướng tiếp cận đúng đắn.

Những đóng góp chính của đồ án tốt nghiệp: Dự đoán bụi mịn Hà Nội không chỉ nằm ở việc cung cấp một mô hình dự đoán PM2.5 có độ chính xác cao mà còn ở việc phân tích mối quan hệ giữa các chỉ số ảnh hưởng đến bụi mịn. Đặc biệt, việc ứng dụng XGBoost trong Feature Selection đã giúp tinh gọn dữ liệu đầu vào, giảm nhiễu và tăng cường hiệu suất dự đoán. Điều này là then chốt để có thể đưa ra các dự báo chất lượng không khí Hà Nội một cách đáng tin cậy, hỗ trợ cho việc giám sát PM2.5 và cảnh báo kịp thời cho người dân. Công trình này là một minh chứng cho tiềm năng của Trí tuệ nhân tạo trong môi trường trong việc giải quyết các vấn đề cấp bách mà ô nhiễm không khí Hà Nội đang đặt ra.

Tuy nhiên, như mọi nghiên cứu khoa học, đồ án tốt nghiệp: Dự đoán bụi mịn Hà Nội vẫn còn những vấn đề cần được cải thiện và mở rộng trong tương lai. Việc xử lý dữ liệu thiếu, khai thác mối quan hệ không gian-địa lý cho nhiều khu vực, và thử nghiệm với các bộ dữ liệu đa dạng hơn là những hướng đi tiềm năng. Mục tiêu cuối cùng là không chỉ dừng lại ở việc dự đoán, mà còn là cung cấp cơ sở vững chắc cho việc xây dựng các giải pháp giảm thiểu bụi mịn thiết thực và hỗ trợ các chính sách môi trường Hà Nội một cách hiệu quả nhất, góp phần tạo nên một môi trường sống trong lành hơn cho thủ đô và cả nước.

6.1. Tổng kết những đóng góp chính Tối ưu phương pháp luận đồ án khoa học

Đồ án tốt nghiệp: Dự đoán bụi mịn Hà Nội đã đạt được một số đóng góp nổi bật, thể hiện một phương pháp luận đồ án khoa học được tối ưu hóa. Đầu tiên, đồ án đã thành công trong việc đề xuất một mô hình dự đoán PM2.5 tiên tiến sử dụng học sâu, cụ thể là kiến trúc BiLSTM Encoder – LSTM Decoder. Mô hình này không chỉ có khả năng xử lý dữ liệu chuỗi thời gian một cách hiệu quả mà còn cung cấp sự linh hoạt trong việc điều chỉnh độ dài chuỗi đầu vào và đầu ra, điều mà nhiều mô hình trước đây còn hạn chế (trang 36 trong tài liệu gốc).

Thứ hai, việc tích hợp quá trình Feature Selection sử dụng XGBoost là một đóng góp quan trọng. Phương pháp này đã giúp chọn lọc các thuộc tính đầu vào có ảnh hưởng nhất đến chỉ số bụi mịn, từ đó tinh gọn bộ dữ liệu và cải thiện độ chính xác của dự báo chất lượng không khí Hà Nội. Phân tích dữ liệu bụi mịn bằng XGBoost đã minh chứng khả năng xác định những yếu tố quan trọng, cung cấp cái nhìn sâu sắc hơn về nguồn gây ô nhiễm không khí Hà Nộiảnh hưởng thời tiết đến bụi mịn. Điều này tối ưu hóa việc sử dụng Big Data về chất lượng không khí và giảm nhiễu trong quá trình huấn luyện.

Cuối cùng, đồ án đã cung cấp một minh chứng thực nghiệm mạnh mẽ thông qua việc đánh giá trên hai bộ dữ liệu lịch sử bụi mịn từ Hà Nội và Đài Loan. Các kết quả dự đoán PM2.5 cho thấy hiệu quả vượt trội của mô hình đề xuất so với các nghiên cứu trước (trang 36 trong tài liệu gốc), khẳng định tiềm năng ứng dụng thực tiễn của Trí tuệ nhân tạo trong môi trường trong việc giám sát PM2.5 và hỗ trợ ra quyết định. Những đóng góp này không chỉ nâng cao kiến thức học thuật mà còn mở ra cơ hội phát triển các giải pháp giảm thiểu bụi mịn cụ thể.

6.2. Hướng phát triển và giải pháp giảm thiểu bụi mịn Nâng cao Chính sách môi trường Hà Nội

Để nâng cao hơn nữa giá trị thực tiễn của đồ án tốt nghiệp: Dự đoán bụi mịn Hà Nội, có nhiều hướng phát triển tiềm năng. Một trong những ưu tiên hàng đầu là mở rộng phạm vi dữ liệu để khai thác mối quan hệ không gian-địa lý. Hiện tại, dữ liệu chủ yếu tập trung vào Hà Nội. Việc thu thập dữ liệu lịch sử bụi mịn từ các thành phố khác sẽ cho phép mô hình học được các mẫu hình ô nhiễm đa dạng hơn, từ đó tăng độ chính xác của dự báo chất lượng không khí Hà Nội cho nhiều khu vực và hỗ trợ hoạch định chính sách môi trường Hà Nội ở quy mô lớn hơn (trang 37 trong tài liệu gốc).

Thứ hai, cải thiện phương pháp xử lý dữ liệu thiếu là rất quan trọng. Dữ liệu quan trắc môi trường thường xuyên không đầy đủ do sự cố cảm biến hoặc các yếu tố bên ngoài. Việc phát triển các thuật toán Machine Learning dự báo tiên tiến hơn để điền dữ liệu trống, thay vì chỉ sử dụng phương pháp lấy trung bình, có thể giảm thiểu nhiễu và cải thiện đáng kể độ chính xác của mô hình. Đây là một thách thức kỹ thuật quan trọng trong khoa học dữ liệu môi trường.

Cuối cùng, việc so sánh mô hình đề xuất với nhiều mô hình benchmark khác trên các bộ dữ liệu khác nhau sẽ củng cố hơn nữa tính mạnh mẽ và đáng tin cậy của nó. Đặc biệt, việc nghiên cứu sâu hơn về hạn chế của XGBoost khi dự đoán đồng thời nhiều chỉ số bụi mịn và phát triển các phương pháp Feature Engineering tổng quát hơn là cần thiết. Những hướng phát triển này không chỉ hoàn thiện mô hình dự đoán PM2.5 mà còn góp phần quan trọng vào việc đề xuất các giải pháp giảm thiểu bụi mịn toàn diện, từ đó tác động tích cực đến chính sách môi trường Hà Nội và chất lượng cuộc sống của người dân.

30/09/2025

Trích đoạn nội dung tài liệu

Đặt vấn đề Việt Nam đang là đất nước phát triển nhanh chóng, nền kinh tế tăng trường cùng với sự phát triển của cơ sở hạ tầng, giao thông, kiến trúc. Bên cạnh đó đi kèm là nguy cơ đối mặt với ô nhiễm không khí trầm trọng gây tổn hại đến sức khỏe con người. Đặc biệt, các chuyên gia cho biết cần quan tâm tới hai chỉ số bụi mịn: PM10 và PM2.5 – các hạt bụi có đường kính nhỏ hơn 10 µm và nhỏ hơn 2. Những năm gần đây, nước ta có sự xuất hiện của bụi siêu mịn PM1.0 (dưới 1µm) và bụi nano PM0.

Tuy nhiên, do hạn chế về dữ liệu và tiện so sánh với các kết quả nghiên cứu từ các bài báo khác, đề tài này chỉ xét đến hai chỉ số PM10 và PM2. Nhờ kích cỡ rất nhỏ của mình, bụi siêu mịn PM2.5 có thể qua đường hô hấp để len lỏi vào sâu trong phổi, gây ra các bệnh hô hấp. Ngoài ra, bài báo [1] chỉ ra rằng phơi nhiễm trong thời gian dài với PM2.5 có thể dẫn đến tích tụ mảng bám ở động mạch, gây viêm mạch máu và làm nghẽn mạch máu, từ đó là nguy cơ cho việc đột quy và đau tim. Tình hình chất lượng không khí hiện nay của Việt Nam đang trong tình trạng xấu, không chỉ do yếu tố không khí và địa lý mà còn do hành động thiếu trách nhiệm của con người, các công trình và thiếu ý thức chung trong việc giữ gìn môi trường xung quanh.

Khi người dân thấy được mức độ ảnh hưởng của các chỉ số bụi mịn này tới sức khỏe của bản thân, mọi người sẽ có ý thức để cùng chung tay bảo vệ môi trường. Vì vậy việc dự đoán trước chỉ số bụi mịn PM2.5 hoặc các chất khí có ảnh hưởng tới môi trường khác, sẽ giúp các cơ quan chức năng nắm bắt được xu hướng chất lượng môi trường trong tương lai, từ đó đưa ra các biện pháp kiểm soát, ngăn ngừa và đưa cảnh báo tới mọi người dân. Người dân sẽ có cơ sở và thời gian để có các phương án bảo vệ bản thân kịp thời, đồng thời kêu gọi nhau giữ gìn và bảo vệ môi trường nơi mình đang ở. Bảng 1 dưới đây thể hiện tầm ảnh hưởng của chỉ số chất lượng môi trường được Cổng thông tin quan trắc môi trường – UBND Thành phố Hà Nội cung cấp.

1 Bảng 1 Bảng quy đổi giá trị AQI Chú thích: AQI là chỉ số chất lượng không khí. Nguồn: Cổng thông tin quan trắc môi trường – UBND Thành phố Hà Nội. Website: https://moitruongthudo.vn/ Giá trị Đánh Ảnh hưởng sức khỏe Màu AQI giá sắc 0-50 Tốt Chất lượng không khí tốt XANH 51-100 Trun Chất lượng không khí ở mức chấp nhận được. VÀNG g Tuy nhiên, đối với những người nhạy cảm bình (người già, trẻ em, người mắc các bệnh hô hấp, tim mạch…) có thể chịu những tác động nhất định tới sức khỏe.

101-150 Kém Những người nhạy cảm gặp phải các vấn đề về DA sức khỏe, những người bình thường ít ảnh CAM hưởng. 151-200 Xấu Những người bình thường bắt đầu có các ảnh ĐỎ hưởng tới sức khỏe, nhóm người nhạy cảm có thể gặp những vấn đề sức khỏe nghiêm trọng hơn. 201-300 Rất Cảnh báo hưởng tới sức khỏe: mọi người bị ảnh TÍM xấu hưởng tới sức khỏe nghiêm trọng hơn. 301 Nguy Cảnh báo khẩn cấp về sức khỏe: Toàn bộ dân số NÂU hại bị ảnh hưởng tới sức khỏe tới mức nghiêm trọng.

Bảng 2 cho thấy chất lượng không khí của Hà Nội trên một số khu vực có chất lượng từ trung bình cho đến xấu, gây ảnh hưởng tới sức khỏe người dân. Đặc biệt nhóm người nhạy cảm với các vấn dề về sức khỏe, đường hô hấp khi tiếp xúc không khí này sẽ gây hại cho cơ thể. 2 Bảng 2 Chỉ số AQI một số khu vực Hà Nội vào 0h:00 từ 16/12/2019 – 22/12/2019 Số liệu được lấy từ Cổng thông tin quan trắc môi trường – UBND Thành phố Hà Nội. Website: https://moitruongthudo.vn/ Ngày Hoàn Thành Tân Kim Phạm Tây Mỗ Mỹ Kiếm Công Mai Liên Văn Đình Đồng 16/12/2019 117 123 108 97 147 106 111 17/12/2019 122 134 80 101 139 98 108 18/12/2019 117 116 90 93 125 90 85 19/12/2019 51 59 68 58 78 64 49 20/12/2019 140 145 122 120 153 131 125 21/12/2019 124 132 104 113 153 105 125 22/12/2019 146 151 123 123 158 141 150 1.2 Mục tiêu và phạm vi đề tài Các kết quả nghiên cứu hiện nay đa phần dự đoán đầu ra đối với chỉ số PM2.

Tuy nhiên, thực tế, ngoài PM2.5 còn có nhiều các loại bụi có đường kính khác nhau. Vì vậy, chúng ta cần xem xét tất cả các chỉ số bụi mịn khác nhau bên cạnh PM2. Ngoài ra các bài báo mới chỉ nêu lên các yếu tố ảnh hưởng tới chỉ số PM2.5 mà không có thực nghiệm để xác minh. Tùy vào vị trí địa lý mà các chỉ số sẽ có những ảnh hưởng khác nhau.

Như trong bài báo [2], Soh et al. đã đề xuất mô hình sử dụng mối quan hệ giữa dữ liệu thuộc không gian và dữ liệu theo thời gian mà có ảnh hưởng nhất tới khu vực các tác giả cần dự đoán mà không chỉ ra được các yếu tố nào thực sự ảnh hưởng tới chỉ số bụi mịn PM2. Như vậy, cần có mô hình mà có thể cho ra dự đoán nhiều chỉ số bụi, phân tích các chỉ số ảnh hưởng tới chỉ số cần tính với độ chính xác cao và tiết kiệm thời gian. Em đề xuất mô hình mà có thể phân tích các yếu tố ảnh hưởng tới chỉ số bụi, và cho ra được kết quả dự đoán của nhiều 3 chỉ số bụi cùng lúc với độ chính xác cao.

Mô hình được tập trung xử lý trên bộ dữ liệu quan trắc môi trường của Hà Nội.3 Định hướng giải pháp Để dự đoán chỉ số PM10 và PM2.5, em sử dụng Deep Learning. Vì đây là bài toán có dữ liệu là dạng chuỗi theo thời gian nên em sử dụng mô hình nổi tiếng Sequence to Sequence (Encoder-Decoder) vốn được áp dụng trong xử lý ngôn ngữ tự nhiên. Để giải quyết cho bài toán này, thay vì sử dụng mô hình Encoder-Decoder đơn thuần, em sử dụng kiến trúc Feature Selection + BiLSTM encoder – LSTM decoder. Dữ liệu đầu vào thông qua bộ lọc Feature Selection sử dụng Boosting-based Ensemble learning model XGBoost để chọn ra các yếu tố ảnh hưởng đến chỉ số bụi mịn PM.

Đóng góp chính của đồ án này là cung cấp mô hình dự đoán chỉ số bụi PM10 và PM2. Kết quả đạt được sau cùng là mô hình dự đoán và phân tích mối quan hệ các chỉ số ảnh hưởng tới hai chỉ số bụi mịn này.4 Bố cục đồ án Phần còn lại của báo cáo đồ án tốt nghiệp này được tổ chức như sau. Chương 2 trình bày về tình hình nghiên cứu hiện nay, các công trình nghiên cứu liên quan đến bài toán. Em sẽ nêu lên những ý tưởng cơ bản của các mô hình đã được đề xuất và chỉ ra ưu nhược điểm, vấn đề tồn đọng, từ đó đề xuất ra mô hình được trình bày trong báo cáo.

Trong Chương 3, em trình bày chi tiết về cơ sở lý thuyết bao gồm: Deep Learning, LSTM, Encoder Decoder model, Feature Engineering, Ensemble Learning và phương pháp nghiên cứu. Chương 4 em trình bày về đóng góp chính của đồ án, đó là mô hình đề xuất cho bài toán dự đoán chỉ số bụi mịn này, đó là kiến trúc Feature Selection + BiLSTM Encoder – LSTM Decoder. Kiến trúc này bao gồm hai phần chính gồm Feature Selection để chọn ra các yếu tố chính ảnh hưởng tới việc dự đoán, và BiLSTM Encoder – LSTM Decoder là model huấn luyện máy để học các dữ liệu đầu vào, từ đó giúp dự đoán các chỉ số bụi mịn. Trong Chương 5, em chỉ ra kết quả thực nghiệm và so sánh với các kết quả có trong một số nghiên cứu trước đó, đưa ra các nhận xét và lập luận về hiệu quả của mô hình em đề xuất.

Chương 6 em tổng hợp lại các giải pháp và đóng góp nổi bật nhất của đồ án này. Đó là quá trình làm đồ án, những bước khó khăn gặp phải và từng bước giải quyết, đưa ra những giải pháp và trình bày kết quả nếu có. 4 Và Chương 7, em đưa ra kết luận và đề xuất các hướng phát triển tiếp cho bài toán này và có thể áp dụng mô hình đề xuất cho các bài toán khác tương tự. Chương 2 Tình hình nghiên cứu hiện nay Chương 2 trình bày tình hình nghiên cứu và các thành quả nghiên cứu tốt liên quan đến bài toán quan trắc môi trường hiện nay.

Từ đó đưa ra tổng quan những vấn đề gì đã được giải quyết, vấn đề nào chưa được giải quyết và đề xuất hướng đi. Soh et al. [2] đã đề xuất kiến trúc ST – DNN. Dữ liệu đầu vào sẽ qua một framework để khai thác mối quan hệ giữa dữ liệu thuộc không gian và dữ liệu theo thời gian có ảnh hưởng nhất cho việc dự đoán cho một khu vực được cho trước.

Tác giả xây dựng công thức để tìm mối quan hệ bằng việc sử dụng kNN – DTWD và kNN – ED. DTW là một phương pháp phổ biến để tính sự tương đồng giữa hai time-series, vì vậy các tác giả áp dụng DTW để tính khoảng cách về mặt thời gian theo khu vực và sử dụng kNN để xác định các khu vực có cùng hành vi về mặt thời gian. Sau khi xử lý đầu vào xong, dữ liệu đó được đưa vào lớp LSTM (giới thiệu ở mục 1.1), dữ liệu về lãnh thổ được đưa vào lớp CNN (Convolutional Neural Network) để triết xuất thông tin thông tin hữu ích liên quan đến không gian. Sau đó đầu ra của hai lớp này sẽ qua thông qua 2 lớp mạng neuron networks nữa để cho ra kết quả dự đoán.

Tuy nhiên kiến trúc này không chỉ ra các yếu tố ảnh hưởng tới chất lượng không khí, và mô hình này sẽ gây chi phí thời gian cao, sức người lớn vì việc tiền xử lý tốn thời gian. Ibrahim Kok et al. [3] giới thiệu mô hình sử dụng Deep Learning để dự đoán chỉ số O3 và NO2, cụ thể là sử dụng LSTM thuần với hai lớp cho việc dự đoán chỉ số. Mô hình đề xuất gồm ba phần chính.

Phần thứ nhất, sau khi bộ dữ liệu được chia thành 69.5% cho việc huấn luyện và 30.5% cho việc kiểm thử mô hình, dữ liệu để huấn luyện được đưa vào một lớp LSTM duy nhất với đầu vào có độ dài chuỗi là 8, độ dài đầu ra là 1. Ở phần hai, dữ liệu sau khi được dự đoán được dán nhãn dựa theo bảng chỉ số AQI.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ