Đồ án tốt nghiệp: Dự đoán bụi mịn PM2.5, PM10 Hà Nội bằng học sâu (Nguyễn Minh Hiếu)

Khám phá đồ án tốt nghiệp xuất sắc của Minh Hiếu, tập trung vào giải pháp công nghệ đột phá. Bài viết phân tích sâu các phương pháp, kết quả và ứng dụng thực

• Tác giả: Nguyễn Minh Hiếu
• Người hướng dẫn: TS. Nguyễn Thanh Hùng
• Trường học: Trường Đại học Bách khoa Hà Nội
• Chuyên ngành: Công nghệ thông tin và Truyền thông
• Đề tài: Sử dụng học sâu cho bài toán dự đoán chỉ số bụi mịn của Hà Nội
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về dự đoán bụi mịn Hà Nội bằng học sâu

Hà Nội đang đối mặt với tình trạng ô nhiễm không khí nghiêm trọng, đặc biệt là chỉ số bụi mịn PM2.5 và PM10 ảnh hưởng trực tiếp đến sức khỏe người dân. Các bệnh về hô hấp, mạch máu và phổi ngày càng gia tăng do bụi mịn vượt ngưỡng cho phép. Việc dự đoán trước chỉ số bụi mịn giúp cơ quan chức năng đưa ra cảnh báo kịp thời và có biện pháp bảo vệ cộng đồng. Phương pháp học sâu, đặc biệt là mạng BiLSTM Encoder-Decoder, đã chứng minh hiệu quả vượt trội trong việc xử lý dữ liệu chuỗi thời gian. Mô hình này có khả năng học cả mối quan hệ xuôi và ngược trong dữ liệu quan trắc môi trường. Bài nghiên cứu áp dụng kỹ thuật Feature Engineering kết hợp với kiến trúc mạng nơ-ron sâu để cải thiện độ chính xác dự báo. Kết quả thực nghiệm trên bộ dữ liệu Hà Nội cho thấy tiềm năng lớn trong việc ứng dụng trí tuệ nhân tạo vào quản lý chất lượng không khí.

1.1. Thực trạng ô nhiễm bụi mịn tại Hà Nội

Hà Nội thường xuyên ghi nhận mức bụi mịn PM2.5 và PM10 vượt ngưỡng an toàn do Tổ chức Y tế Thế giới khuyến nghị. Nguyên nhân chính đến từ giao thông, xây dựng, đốt rơm rạ và hoạt động công nghiệp. Chỉ số AQI tại nhiều thời điểm chạm mức báo động đỏ, ảnh hưởng nghiêm trọng đến nhóm người nhạy cảm như trẻ em và người già. Hệ thống quan trắc môi trường đã thu thập dữ liệu liên tục nhưng chưa có công cụ dự báo hiệu quả. Việc xây dựng mô hình dự đoán chính xác là nhu cầu cấp thiết để hỗ trợ ra quyết định phòng ngừa.

1.2. Vai trò của học sâu trong dự báo môi trường

Học sâu là nhánh của trí tuệ nhân tạo sử dụng mạng nơ-ron nhiều lớp để học biểu diễn dữ liệu phức tạp. Trong lĩnh vực môi trường, học sâu xử lý tốt dữ liệu chuỗi thời gian với nhiều biến đầu vào. Các kiến trúc như LSTM, GRU có khả năng ghi nhớ thông tin dài hạn, phù hợp với dữ liệu quan trắc có tính chu kỳ. Mạng BiLSTM mở rộng thêm chiều ngược, giúp mô hình nắm bắt cả xu hướng quá khứ và tương lai. Phương pháp này vượt trội hơn các mô hình thống kê truyền thống trong việc dự đoán chất lượng không khí.

II. Thách thức trong dự đoán chỉ số bụi mịn PM2

Bài toán dự đoán bụi mịn đối mặt nhiều thách thức kỹ thuật đáng kể. Dữ liệu quan trắc môi trường thường chứa giá trị thiếu do lỗi thiết bị hoặc gián đoạn thu thập. Các thuộc tính trong bộ dữ liệu có mối quan hệ phi tuyến tính phức tạp, đòi hỏi phương pháp xử lý phù hợp. Số chiều dữ liệu lớn làm tăng thời gian huấn luyện và có thể gây hiện tượng quá khớp. Ngoài ra, bụi mịn chịu ảnh hưởng từ nhiều yếu tố như nhiệt độ, độ ẩm, tốc độ gió và hoạt động con người. Việc xác định đúng các biến quan trọng là bước tiền xử lý then chốt. Độ chính xác mô hình còn phụ thuộc vào cửa sổ thời gian đầu vào và khoảng dự báo. Những thách thức này yêu cầu quy trình kỹ thuật đặc trưng toàn diện trước khi áp dụng mô hình học sâu.

2.1. Vấn đề dữ liệu thiếu và nhiễu

Dữ liệu quan trắc môi trường thu thập từ các trạm đo thường xuyên có giá trị thiếu hoặc bất thường. Thiết bị cảm biến có thể hỏng hoặc bị ảnh hưởng bởi thời tiết khắc nghiệt. Việc xử lý dữ liệu thiếu bằng phương pháp giá trị trung bình là cách tiếp cận phổ biến nhưng có hạn chế. Phương pháp này có thể làm mất thông tin biến động quan trọng trong chuỗi thời gian. Dữ liệu nhiễu nếu không được lọc đúng cách sẽ khiến mô hình học sai quy luật. Cần kết hợp nhiều kỹ thuật tiền xử lý để đảm bảo chất lượng dữ liệu đầu vào.

2.2. Bài toán lựa chọn và trích xuất thuộc tính

Bộ dữ liệu môi trường chứa nhiều thuộc tính, không phải tất cả đều liên quan đến chỉ số bụi mịn. Các thuộc tính dư thừa làm tăng độ phức tạp tính toán và giảm hiệu suất mô hình. Phương pháp hệ số tương quan như Spearman giúp đánh giá mối quan hệ giữa các biến. Tuy nhiên việc đặt ngưỡng tương quan phù hợp đòi hỏi nhiều thực nghiệm. XGBoost cung cấp thứ bậc tầm quan trọng của thuộc tính dựa trên cấu trúc cây quyết định. Kết hợp nhiều phương pháp lựa chọn thuộc tính giúp tối ưu hóa dữ liệu đầu vào hiệu quả hơn.

III. Giải pháp dự đoán bụi mịn với BiLSTM Encoder Decoder

Kiến trúc BiLSTM Encoder-Decoder là giải pháp hiệu quả cho bài toán dự đoán chuỗi thời gian bụi mịn. Phần Encoder đọc dữ liệu đầu vào theo cả chiều xuôi và chiều ngược, tạo biểu diễn ngữ cảnh phong phú. Phần Decoder sử dụng biểu diễn này để sinh ra chuỗi dự báo cho các bước thời gian tương lai. Mô hình được huấn luyện với dữ liệu đã qua xử lý Feature Engineering kỹ lưỡng. Kỹ thuật Feature Selection sử dụng XGBoost giúp xác định tập thuộc tính tối ưu cho mô hình. Quá trình thực nghiệm với nhiều cửa sổ thời gian đầu ra khác nhau đánh giá tính linh hoạt của mô hình. Kết quả cho thấy BiLSTM Encoder-Decoder vượt trội hơn các mô hình cơ sở về các chỉ số đánh giá RMSE và MAE. Phương pháp này mở ra hướng tiếp cận mới cho hệ thống cảnh báo ô nhiễm không khí tại Hà Nội.

3.1. Kiến trúc mạng BiLSTM Encoder Decoder

BiLSTM là biến thể của LSTM xử lý dữ liệu cả hai chiều xuôi và ngược cùng lúc. Encoder mã hóa chuỗi đầu vào thành vector ngữ cảnh chứa thông tin toàn bộ chuỗi. Decoder giải mã vector này thành chuỗi dự báo mục tiêu theo từng bước thời gian. Cơ chế attention có thể được tích hợp để tập trung vào các thời điểm quan trọng. Kiến trúc này xử lý tốt mối quan hệ dài hạn trong dữ liệu quan trắc. Mô hình được tối ưu bằng thuật toán Adam với hàm mất mát MSE.

3.2. Kỹ thuật Feature Engineering cho dữ liệu môi trường

Feature Engineering bao gồm điền dữ liệu thiếu, chuẩn hóa và xây dựng đặc trưng mới. Phương pháp điền giá trị trung bình được áp dụng ban đầu cho các ô dữ liệu trống. Feature Selection sử dụng XGBoost đánh giá tầm quan trọng từng thuộc tính theo cấu trúc cây. Phương pháp Spearman với ngưỡng từ -0.2 đến -1 được thử nghiệm để lọc tương quan. Đặc trưng mới từ biến thời gian như giờ, ngày, mùa giúp mô hình học quy luật chu kỳ. Quy trình này cải thiện đáng kể chất lượng dữ liệu đầu vào cho mô hình học sâu.

IV. Kết luận và ứng dụng mô hình dự đoán bụi mịn Hà Nội

Nghiên cứu chứng minh hiệu quả của mô hình BiLSTM Encoder-Decoder trong dự đoán chỉ số bụi mịn PM2.5 và PM10 tại Hà Nội. Mô hình đạt kết quả khả quan trên các chỉ số đánh giá RMSE, MAE và R-squared so với phương pháp truyền thống. Kỹ thuật Feature Engineering đóng vai trò quan trọng trong việc cải thiện độ chính xác dự báo. Việc xác định đúng các yếu tố ảnh hưởng giúp mô hình tập trung học quy luật thực tế. Hệ thống dự đoán có thể triển khai thực tế để cảnh báo sớm cho người dân và cơ quan quản lý. Ứng dụng này hỗ trợ ra quyết định về các biện pháp giảm thiểu ô nhiễm kịp thời. Hướng phát triển tương lai bao gồm tích hợp thêm dữ liệu vệ tinh và mở rộng phạm vi dự báo. Công nghệ trí tuệ nhân tạo sẽ ngày càng đóng vai trò quan trọng trong bảo vệ môi trường sống.

4.1. Kết quả đánh giá hiệu suất mô hình

Mô hình BiLSTM Encoder-Decoder được đánh giá qua các chỉ số RMSE, MAE và R-squared trên tập kiểm tra. Kết quả cho thấy mô hình dự đoán chính xác xu hướng biến động bụi mịn theo thời gian. So sánh với các mô hình cơ sở như ARIMA, Random Forest, BiLSTM Encoder-Decoder cho hiệu suất vượt trội. Trường hợp đầu vào 24 giờ và đầu ra 1 giờ đạt kết quả ổn định nhất. Mô hình hoạt động tốt với cả chỉ số PM2.5 và PM10 trên bộ dữ liệu Hà Nội.

4.2. Ứng dụng thực tế và hướng phát triển

Mô hình dự đoán bụi mịn có thể tích hợp vào hệ thống cảnh báo môi trường đô thị. Cơ quan chức năng sử dụng kết quả dự báo để phát thông báo sức khỏe cộng đồng. Người dân chủ động bảo vệ bản thân bằng cách hạn chế hoạt động ngoài trời khi AQI cao. Hướng phát triển bao gồm áp dụng mô hình cho các thành phố lớn khác tại Việt Nam. Tích hợp dữ liệu thời tiết thực tế và bản đồ vệ tinh giúp cải thiện độ chính xác.

Trích đoạn nội dung tài liệu

Đặt vấn đề Việt Nam đang là đất nước phát triển nhanh chóng, nền kinh tế tăng trường cùng với sự phát triển của cơ sở hạ tầng, giao thông, kiến trúc. Bên cạnh đó đi kèm là nguy cơ đối mặt với ô nhiễm không khí trầm trọng gây tổn hại đến sức khỏe con người. Đặc biệt, các chuyên gia cho biết cần quan tâm tới hai chỉ số bụi mịn: PM10 và PM2.5 – các hạt bụi có đường kính nhỏ hơn 10 µm và nhỏ hơn 2. Những năm gần đây, nước ta có sự xuất hiện của bụi siêu mịn PM1.0 (dưới 1µm) và bụi nano PM0.

Tuy nhiên, do hạn chế về dữ liệu và tiện so sánh với các kết quả nghiên cứu từ các bài báo khác, đề tài này chỉ xét đến hai chỉ số PM10 và PM2. Nhờ kích cỡ rất nhỏ của mình, bụi siêu mịn PM2.5 có thể qua đường hô hấp để len lỏi vào sâu trong phổi, gây ra các bệnh hô hấp. Ngoài ra, bài báo [1] chỉ ra rằng phơi nhiễm trong thời gian dài với PM2.5 có thể dẫn đến tích tụ mảng bám ở động mạch, gây viêm mạch máu và làm nghẽn mạch máu, từ đó là nguy cơ cho việc đột quy và đau tim. Tình hình chất lượng không khí hiện nay của Việt Nam đang trong tình trạng xấu, không chỉ do yếu tố không khí và địa lý mà còn do hành động thiếu trách nhiệm của con người, các công trình và thiếu ý thức chung trong việc giữ gìn môi trường xung quanh.

Khi người dân thấy được mức độ ảnh hưởng của các chỉ số bụi mịn này tới sức khỏe của bản thân, mọi người sẽ có ý thức để cùng chung tay bảo vệ môi trường. Vì vậy việc dự đoán trước chỉ số bụi mịn PM2.5 hoặc các chất khí có ảnh hưởng tới môi trường khác, sẽ giúp các cơ quan chức năng nắm bắt được xu hướng chất lượng môi trường trong tương lai, từ đó đưa ra các biện pháp kiểm soát, ngăn ngừa và đưa cảnh báo tới mọi người dân. Người dân sẽ có cơ sở và thời gian để có các phương án bảo vệ bản thân kịp thời, đồng thời kêu gọi nhau giữ gìn và bảo vệ môi trường nơi mình đang ở. Bảng 1 dưới đây thể hiện tầm ảnh hưởng của chỉ số chất lượng môi trường được Cổng thông tin quan trắc môi trường – UBND Thành phố Hà Nội cung cấp.

1 Bảng 1 Bảng quy đổi giá trị AQI Chú thích: AQI là chỉ số chất lượng không khí. Nguồn: Cổng thông tin quan trắc môi trường – UBND Thành phố Hà Nội. Website: https://moitruongthudo.vn/ Giá trị Đánh Ảnh hưởng sức khỏe Màu AQI giá sắc 0-50 Tốt Chất lượng không khí tốt XANH 51-100 Trun Chất lượng không khí ở mức chấp nhận được. VÀNG g Tuy nhiên, đối với những người nhạy cảm bình (người già, trẻ em, người mắc các bệnh hô hấp, tim mạch…) có thể chịu những tác động nhất định tới sức khỏe.

101-150 Kém Những người nhạy cảm gặp phải các vấn đề về DA sức khỏe, những người bình thường ít ảnh CAM hưởng. 151-200 Xấu Những người bình thường bắt đầu có các ảnh ĐỎ hưởng tới sức khỏe, nhóm người nhạy cảm có thể gặp những vấn đề sức khỏe nghiêm trọng hơn. 201-300 Rất Cảnh báo hưởng tới sức khỏe: mọi người bị ảnh TÍM xấu hưởng tới sức khỏe nghiêm trọng hơn. 301 Nguy Cảnh báo khẩn cấp về sức khỏe: Toàn bộ dân số NÂU hại bị ảnh hưởng tới sức khỏe tới mức nghiêm trọng.

Bảng 2 cho thấy chất lượng không khí của Hà Nội trên một số khu vực có chất lượng từ trung bình cho đến xấu, gây ảnh hưởng tới sức khỏe người dân. Đặc biệt nhóm người nhạy cảm với các vấn dề về sức khỏe, đường hô hấp khi tiếp xúc không khí này sẽ gây hại cho cơ thể. 2 Bảng 2 Chỉ số AQI một số khu vực Hà Nội vào 0h:00 từ 16/12/2019 – 22/12/2019 Số liệu được lấy từ Cổng thông tin quan trắc môi trường – UBND Thành phố Hà Nội. Website: https://moitruongthudo.vn/ Ngày Hoàn Thành Tân Kim Phạm Tây Mỗ Mỹ Kiếm Công Mai Liên Văn Đình Đồng 16/12/2019 117 123 108 97 147 106 111 17/12/2019 122 134 80 101 139 98 108 18/12/2019 117 116 90 93 125 90 85 19/12/2019 51 59 68 58 78 64 49 20/12/2019 140 145 122 120 153 131 125 21/12/2019 124 132 104 113 153 105 125 22/12/2019 146 151 123 123 158 141 150 1.2 Mục tiêu và phạm vi đề tài Các kết quả nghiên cứu hiện nay đa phần dự đoán đầu ra đối với chỉ số PM2.

Tuy nhiên, thực tế, ngoài PM2.5 còn có nhiều các loại bụi có đường kính khác nhau. Vì vậy, chúng ta cần xem xét tất cả các chỉ số bụi mịn khác nhau bên cạnh PM2. Ngoài ra các bài báo mới chỉ nêu lên các yếu tố ảnh hưởng tới chỉ số PM2.5 mà không có thực nghiệm để xác minh. Tùy vào vị trí địa lý mà các chỉ số sẽ có những ảnh hưởng khác nhau.

Như trong bài báo [2], Soh et al. đã đề xuất mô hình sử dụng mối quan hệ giữa dữ liệu thuộc không gian và dữ liệu theo thời gian mà có ảnh hưởng nhất tới khu vực các tác giả cần dự đoán mà không chỉ ra được các yếu tố nào thực sự ảnh hưởng tới chỉ số bụi mịn PM2. Như vậy, cần có mô hình mà có thể cho ra dự đoán nhiều chỉ số bụi, phân tích các chỉ số ảnh hưởng tới chỉ số cần tính với độ chính xác cao và tiết kiệm thời gian. Em đề xuất mô hình mà có thể phân tích các yếu tố ảnh hưởng tới chỉ số bụi, và cho ra được kết quả dự đoán của nhiều 3 chỉ số bụi cùng lúc với độ chính xác cao.

Mô hình được tập trung xử lý trên bộ dữ liệu quan trắc môi trường của Hà Nội.3 Định hướng giải pháp Để dự đoán chỉ số PM10 và PM2.5, em sử dụng Deep Learning. Vì đây là bài toán có dữ liệu là dạng chuỗi theo thời gian nên em sử dụng mô hình nổi tiếng Sequence to Sequence (Encoder-Decoder) vốn được áp dụng trong xử lý ngôn ngữ tự nhiên. Để giải quyết cho bài toán này, thay vì sử dụng mô hình Encoder-Decoder đơn thuần, em sử dụng kiến trúc Feature Selection + BiLSTM encoder – LSTM decoder. Dữ liệu đầu vào thông qua bộ lọc Feature Selection sử dụng Boosting-based Ensemble learning model XGBoost để chọn ra các yếu tố ảnh hưởng đến chỉ số bụi mịn PM.

Đóng góp chính của đồ án này là cung cấp mô hình dự đoán chỉ số bụi PM10 và PM2. Kết quả đạt được sau cùng là mô hình dự đoán và phân tích mối quan hệ các chỉ số ảnh hưởng tới hai chỉ số bụi mịn này.4 Bố cục đồ án Phần còn lại của báo cáo đồ án tốt nghiệp này được tổ chức như sau. Chương 2 trình bày về tình hình nghiên cứu hiện nay, các công trình nghiên cứu liên quan đến bài toán. Em sẽ nêu lên những ý tưởng cơ bản của các mô hình đã được đề xuất và chỉ ra ưu nhược điểm, vấn đề tồn đọng, từ đó đề xuất ra mô hình được trình bày trong báo cáo.

Trong Chương 3, em trình bày chi tiết về cơ sở lý thuyết bao gồm: Deep Learning, LSTM, Encoder Decoder model, Feature Engineering, Ensemble Learning và phương pháp nghiên cứu. Chương 4 em trình bày về đóng góp chính của đồ án, đó là mô hình đề xuất cho bài toán dự đoán chỉ số bụi mịn này, đó là kiến trúc Feature Selection + BiLSTM Encoder – LSTM Decoder. Kiến trúc này bao gồm hai phần chính gồm Feature Selection để chọn ra các yếu tố chính ảnh hưởng tới việc dự đoán, và BiLSTM Encoder – LSTM Decoder là model huấn luyện máy để học các dữ liệu đầu vào, từ đó giúp dự đoán các chỉ số bụi mịn. Trong Chương 5, em chỉ ra kết quả thực nghiệm và so sánh với các kết quả có trong một số nghiên cứu trước đó, đưa ra các nhận xét và lập luận về hiệu quả của mô hình em đề xuất.

Chương 6 em tổng hợp lại các giải pháp và đóng góp nổi bật nhất của đồ án này. Đó là quá trình làm đồ án, những bước khó khăn gặp phải và từng bước giải quyết, đưa ra những giải pháp và trình bày kết quả nếu có. 4 Và Chương 7, em đưa ra kết luận và đề xuất các hướng phát triển tiếp cho bài toán này và có thể áp dụng mô hình đề xuất cho các bài toán khác tương tự. 5 Chương 2 Tình hình nghiên cứu hiện nay Chương 2 trình bày tình hình nghiên cứu và các thành quả nghiên cứu tốt liên quan đến bài toán quan trắc môi trường hiện nay.

Từ đó đưa ra tổng quan những vấn đề gì đã được giải quyết, vấn đề nào chưa được giải quyết và đề xuất hướng đi. Soh et al. [2] đã đề xuất kiến trúc ST – DNN. Dữ liệu đầu vào sẽ qua một framework để khai thác mối quan hệ giữa dữ liệu thuộc không gian và dữ liệu theo thời gian có ảnh hưởng nhất cho việc dự đoán cho một khu vực được cho trước.

Tác giả xây dựng công thức để tìm mối quan hệ bằng việc sử dụng kNN – DTWD và kNN – ED. DTW là một phương pháp phổ biến để tính sự tương đồng giữa hai time-series, vì vậy các tác giả áp dụng DTW để tính khoảng cách về mặt thời gian theo khu vực và sử dụng kNN để xác định các khu vực có cùng hành vi về mặt thời gian. Sau khi xử lý đầu vào xong, dữ liệu đó được đưa vào lớp LSTM (giới thiệu ở mục 1.1), dữ liệu về lãnh thổ được đưa vào lớp CNN (Convolutional Neural Network) để triết xuất thông tin thông tin hữu ích liên quan đến không gian. Sau đó đầu ra của hai lớp này sẽ qua thông qua 2 lớp mạng neuron networks nữa để cho ra kết quả dự đoán.

Tuy nhiên kiến trúc này không chỉ ra các yếu tố ảnh hưởng tới chất lượng không khí, và mô hình này sẽ gây chi phí thời gian cao, sức người lớn vì việc tiền xử lý tốn thời gian. Ibrahim Kok et al. [3] giới thiệu mô hình sử dụng Deep Learning để dự đoán chỉ số O3 và NO2, cụ thể là sử dụng LSTM thuần với hai lớp cho việc dự đoán chỉ số. Mô hình đề xuất gồm ba phần chính.

Phần thứ nhất, sau khi bộ dữ liệu được chia thành 69.5% cho việc huấn luyện và 30.5% cho việc kiểm thử mô hình, dữ liệu để huấn luyện được đưa vào một lớp LSTM duy nhất với đầu vào có độ dài chuỗi là 8, độ dài đầu ra là 1. Ở phần hai, dữ liệu sau khi được dự đoán được dán nhãn dựa theo bảng chỉ số AQI.