Tổng quan nghiên cứu

Thực trạng ô nhiễm không khí tại các đô thị lớn ở Việt Nam đang diễn biến phức tạp. Điển hình vào ngày 22/04/2016, chỉ số chất lượng không khí (AQI) ghi nhận tại Hà Nội chạm mức 152, thuộc nhóm có hại cho sức khỏe theo thang đo quốc tế. Trước đó, vào ngày 29/02/2016, nồng độ bụi PM10 trung bình ngày đạt đỉnh 160 µg/m3, vượt quy chuẩn kỹ thuật quốc gia QCVN 05:2013/BTNMT với mức trần 150 µg/m3; đồng thời chỉ số bụi mịn PM2.5 chạm ngưỡng 89 µg/m3, vượt gần 2 lần giới hạn cho phép. Trước thực trạng đó, việc vận hành mạng lưới quan trắc môi trường tự động là yêu cầu cấp thiết. Tuy nhiên, nguồn dữ liệu quan trắc thu thập từ các trạm hiện nay đang đối mặt với 3 thách thức lớn: cấu trúc dữ liệu không đồng nhất giữa các thiết bị, tỷ lệ dữ liệu nhiễu cao do sự cố truyền dẫn hoặc biến động bất thường, và tỷ lệ dữ liệu thiếu dao động từ 2% đến trên 37% do hỏng hóc cảm biến hoặc mất điện.

Mục tiêu cốt lõi của nghiên cứu là đề xuất một quy trình 5 bước chuẩn hóa dữ liệu quan trắc môi trường tự động và xây dựng công cụ phần mềm EnvPro nhằm xử lý dữ liệu một cách khoa học. Phạm vi thực nghiệm tập trung vào chỉ tiêu bụi PM10 tại trạm quan trắc số 556 Nguyễn Văn Cừ, Long Biên, Hà Nội – trạm đầu tiên thuộc Tổng cục Môi trường quản lý – trên tập dữ liệu chuỗi thời gian tháng 01/2011 và tháng 01/2012. Nghiên cứu mang ý nghĩa thực tiễn quan trọng, giúp chuẩn hóa 100% định dạng trường dữ liệu, loại bỏ chính xác các giá trị dị biệt và giảm hơn 70% thời gian xử lý thủ công cho các cơ quan quản lý.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự kết hợp chặt chẽ giữa thống kê toán học, khoa học môi trường và kỹ thuật phần mềm.

Thứ nhất, lý thuyết thống kê mô tả được sử dụng để phân tích độ tập trung và độ phân tán của chuỗi dữ liệu môi trường. Các tham số chính gồm: số trung bình (Mean), trung vị (Median), yếu vị (Mode), khoảng tứ phân vị (Q1, Q2, Q3), phương sai và độ lệch chuẩn. Trong đó, trung vị và khoảng tứ phân vị đóng vai trò then chốt trong việc xác định xu hướng tập trung mà không bị sai lệch bởi các giá trị ngoại lai.

Thứ hai, lý thuyết phân tích tương quan tuyến tính Pearson và mô hình hồi quy tuyến tính được áp dụng để xác định mối quan hệ định lượng giữa các thông số khí tượng với các chỉ tiêu ô nhiễm. Mô hình hồi quy đơn biến và đa biến kết hợp phương pháp bình phương nhỏ nhất cho phép giải thích mối quan hệ giữa biến phụ thuộc và các biến độc lập thông qua hệ số xác định R2, đạt mức độ tin cậy từ 0.70 đến trên 0.88 trong việc mô phỏng chuỗi nồng độ chất ô nhiễm.

Thứ ba, cơ sở lý thuyết môi trường không khí tập trung vào động học của các hạt bụi lơ lửng, bao gồm tổng bụi lơ lửng (TSP ≤100 µm), bụi PM10 (≤10 µm) và bụi mịn PM2.5 (≤2.5 µm). Đi kèm với đó là lý thuyết về hiện tượng nghịch nhiệt bức xạ về đêm (NRI), giải thích cơ chế tích tụ chất ô nhiễm tầng sát mặt đất vào mùa đông tại khu vực đồng bằng Bắc Bộ.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được cung cấp bởi Trung tâm Quan trắc Môi trường (CEM) thuộc Tổng cục Môi trường. Tổng cỡ mẫu nghiên cứu gồm 1.488 bản ghi quan trắc theo giờ liên tục, chia thành 2 tập dữ liệu độc lập: 744 giờ của tháng 01/2011 (sử dụng làm tập huấn luyện - Training) và 744 giờ của tháng 01/2012 (sử dụng làm tập kiểm thử - Test).

Phương pháp chọn mẫu là chọn mẫu toàn bộ chuỗi thời gian liên tục theo giờ trong các tháng mùa đông. Lý do lựa chọn 2 khoảng thời gian này là vì mùa đông có đặc trưng khí tượng khô hanh, nồng độ bụi tăng cao và xuất hiện đầy đủ các hiện tượng bất thường, rất phù hợp để kiểm chứng độ nhạy của thuật toán xử lý dữ liệu.

Quy trình chuẩn hóa đề xuất gồm 5 bước khép kín:

  1. Thu thập và hợp nhất dữ liệu: Chuyển đổi toàn bộ các tệp quan trắc riêng lẻ theo ngày sang định dạng chuẩn *.CSV, đồng nhất đơn vị đo lường (µg/m3, ppm, m/s, °C).
  2. Đánh giá tổng quan: Thống kê tỷ lệ dữ liệu thiếu, dựng biểu đồ phân bố để nhận diện đặc trưng phân tán của dữ liệu.
  3. Xử lý dữ liệu nhiễu: Thiết lập khoảng giá trị tin cậy (đối với PM10 là 1 - 400 µg/m3; PM2.5 và PM1 là 3 - 200 µg/m3) kết hợp phân tích tương quan 24 giờ của từng ngày với trung bình tháng để phát hiện dữ liệu bất thường.
  4. Xử lý dữ liệu thiếu: Ứng dụng thuật toán hồi quy tuyến tính đa biến để tính toán và điền giá trị cho các vị trí bị khuyết.
  5. Đánh giá và kiểm định: Kiểm định sai số sau từng bước trước khi xuất tập dữ liệu chuẩn hóa cuối cùng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực nghiệm trên 1.488 bản ghi tại trạm Nguyễn Văn Cừ đã đem lại 4 phát hiện quan trọng:

Thứ nhất, nồng độ PM10 trung bình trong tháng 01/2011 đạt mức 141.3 µg/m3 (trung vị 127.0 µg/m3, phân vị dưới Q1 đạt 85.5 µg/m3, phân vị trên Q3 đạt 184.0 µg/m3). Mức này cao hơn 62.8% so với nồng độ trung bình tháng 01/2012 (đạt 86.8 µg/m3, trung vị 76.5 µg/m3, Q1 đạt 51.5 µg/m3, Q3 đạt 112.5 µg/m3), phản ánh sự biến thiên mạnh mẽ giữa các năm.

Thứ hai, việc áp dụng khoảng giá trị tin cậy từ 1 đến 400 µg/m3 đối với PM10 trong tháng 01/2011 đã phát hiện và loại bỏ chính xác 4 bản ghi nhiễu vượt ngưỡng vật lý cực đại, điển hình là giá trị 490.0 µg/m3 vào lúc 10:00 ngày 12/01/2011 và 420.2 µg/m3 vào lúc 08:00 ngày 17/01/2011.

Thứ ba, quy luật diễn biến nồng độ PM10 trong chu kỳ 24 giờ tại cả 2 giai đoạn đều thể hiện rõ nét 2 đỉnh cực đại: đỉnh sáng từ 07:00 đến 09:00 và đỉnh tối từ 18:00 đến 20:00. Kết quả này tương ứng trực tiếp với thời điểm mật độ phương tiện giao thông tăng vọt, trong bối cảnh giao thông đóng góp tới 85% tổng lượng phát thải CO và 95% lượng VOCs tại các đô thị lớn.

Thứ tư, tỷ lệ dữ liệu thiếu ban đầu của PM10 trong tháng 01/2011 là 2% (15/744 bản ghi) đã được khôi phục trọn vẹn 100%. Đối với tháng 01/2012, các thông số khí bị gián đoạn như SO2 (thiếu 23.0%, tương đương 170/744 bản ghi) và O3 (thiếu 37.4%, tương đương 278/744 bản ghi) đều được điền đầy đủ dựa trên mô hình hồi quy tuyến tính tương quan, giúp chuỗi dữ liệu đạt độ hoàn thiện tuyệt đối.

Thảo luận kết quả

Diễn biến nồng độ bụi tăng cao vào mùa đông được giải thích bởi sự kết hợp của điều kiện khí tượng khô hanh và hiện tượng nghịch nhiệt bức xạ về đêm (NRI). Vào ban đêm, mặt đất nguội đi nhanh chóng tạo ra lớp nghịch nhiệt giữ chân các hạt bụi mịn ở tầng thấp sát bề mặt sinh hoạt của cư dân.

Khi thảo luận kết quả, việc trình bày dữ liệu qua biểu đồ dạng hộp (Boxplot) cho thấy rõ sự khác biệt về độ phân tán giữa hai năm: tháng 01/2011 có dải biến thiên rộng từ 10 đến gần 500 µg/m3, trong khi tháng 01/2012 có dải biến thiên hẹp và đồng đều hơn. Đồng thời, biểu đồ đường biểu diễn chuỗi thời gian 24 giờ thể hiện tính quy luật rất cao của các đỉnh ô nhiễm giao thông. Bảng ma trận hệ số tương quan Pearson giữa PM10 với các khí NO, NO2, CO và các yếu tố khí tượng (nhiệt độ, độ ẩm, tốc độ gió) là căn cứ tin cậy để lựa chọn biến đầu vào tối ưu cho mô hình hồi quy.

Kết quả này hoàn toàn tương đồng với các công trình nghiên cứu chất lượng không khí tại Hà Nội trước đây, khẳng định rằng phương pháp làm sạch dữ liệu kết hợp lọc ngưỡng và hồi quy toán học của hệ thống EnvPro đạt độ tin cậy vượt trội, phản ánh chính xác quy luật vận động thực tế của môi trường.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, 4 nhóm giải pháp mang tính ứng dụng cao được đề xuất:

  1. Ban hành quy chuẩn cấu trúc dữ liệu môi trường quốc gia: Bộ Tài nguyên và Môi trường cần chủ trì xây dựng quy định chuẩn hóa cấu trúc tệp *.CSV, quy ước tên trường và đồng nhất đơn vị đo lường cho tất cả 17 trạm quan trắc tự động quốc gia và địa phương, xóa bỏ 100% tình trạng sai lệch định dạng từ nay đến năm 2027.
  2. Triển khai diện rộng phần mềm EnvPro: Tổng cục Môi trường và các Trung tâm Quan trắc môi trường địa phương cần đưa công cụ EnvPro vào quy trình vận hành tác nghiệp hàng ngày, giúp tự động hóa khâu làm sạch dữ liệu và nâng cao năng suất xử lý của chuyên viên lên 80% trong giai đoạn 2026-2028.
  3. Nâng cấp thuật toán dự báo và tích hợp dữ liệu viễn thám: Các đơn vị nghiên cứu cần tiếp tục tích hợp các mô hình máy học nâng cao cùng dữ liệu ảnh vệ tinh độ phân giải cao (như dữ liệu GLCNMO và hệ thống CEReS Gaia), nhằm tối ưu hóa độ chính xác dự báo chất lượng không khí với sai số phần trăm tuyệt đối trung bình (MAPE) duy trì dưới 10% trong vòng 12-24 tháng tới.
  4. Hiện đại hóa hạ tầng truyền dẫn IoT thời gian thực: Nâng cấp hệ thống trạm quan trắc sang phương thức truyền dữ liệu không dây trực tiếp về máy chủ trung tâm thay vì xuất tệp thủ công theo ngày/tuần, hạ tỷ lệ mất mát dữ liệu do lỗi truyền tải xuống dưới 1% trước năm 2028.

Đối tượng nên tham khảo luận văn

Nội dung luận văn mang lại giá trị thực tiễn cho 4 nhóm đối tượng cụ thể:

  • Cơ quan quản lý nhà nước và chuyên viên môi trường: Cán bộ tại Trung tâm Quan trắc Môi trường quốc gia (CEM) và các Chi cục Bảo vệ Môi trường cấp tỉnh có thể áp dụng ngay quy trình 5 bước để chuẩn hóa nguồn số liệu đầu vào, phục vụ công tác xây dựng báo cáo hiện trạng môi trường định kỳ với độ tin cậy cao.
  • Kỹ sư phần mềm và nhà khoa học dữ liệu: Các chuyên gia công nghệ có thể tham khảo kiến trúc module, giải thuật xử lý chuỗi thời gian và mã nguồn R của hệ thống EnvPro để phát triển các nền tảng tự động hóa xử lý dữ liệu lớn (Big Data).
  • Giảng viên, nghiên cứu sinh và sinh viên ngành Môi trường - CNTT: Đề tài cung cấp khung tham chiếu phương pháp luận hoàn chỉnh, kết hợp nhuần nhuyễn giữa giải thuật thống kê, mô hình hồi quy và bài toán vật lý môi trường phục vụ giảng dạy và nghiên cứu chuyên sâu.
  • Các tổ chức phi chính phủ và chuyên gia quy hoạch đô thị: Các nhà hoạch định chính sách có thể khai thác các chỉ số phát thải giao thông (chiếm 85% CO và 95% VOCs) cùng chu kỳ ô nhiễm 24 giờ để thiết kế các giải pháp phân luồng giao thông và kiểm soát khí thải đô thị hiệu quả.

Câu hỏi thường gặp

1. Tại sao cần thiết phải xây dựng quy trình chuẩn hóa dữ liệu quan trắc môi trường? Dữ liệu quan trắc từ các trạm tự động thường xuyên gặp lỗi không đồng nhất cấu trúc, chứa 4 bản ghi nhiễu vượt 400 µg/m3 và khuyết thiếu tới 37.4% số liệu tại trạm Nguyễn Văn Cừ. Quy trình chuẩn hóa 5 bước giúp làm sạch, điền dữ liệu thiếu chính xác, tạo nền tảng vững chắc để tính toán chỉ số AQI tin cậy.

2. Khoảng giá trị tin cậy đối với các loại bụi được xác lập dựa trên tiêu chí nào? Khoảng tin cậy được xây dựng dựa trên tổng hợp chuỗi số liệu thực tế nhiều năm và quy chuẩn quốc gia: bụi PM10 giới hạn trong dải 1 - 400 µg/m3, bụi PM2.5 và PM1 trong dải 3 - 200 µg/m3. Mọi giá trị nằm ngoài dải này đều bị loại bỏ ngay để tránh làm sai lệch mô hình thống kê.

3. Ưu điểm nổi bật của phương pháp hồi quy tuyến tính trong xử lý dữ liệu thiếu là gì? Phương pháp tận dụng mối tương quan chặt chẽ giữa các chỉ tiêu khí (NOx, CO, SO2) và yếu tố khí tượng để ước lượng giá trị bị khuyết. Với hệ số xác định R2 đạt trên 0.80, mô hình hồi quy đa biến giúp khôi phục chuỗi thời gian một cách tự nhiên mà không làm biến dạng xu hướng chung.

4. Phần mềm EnvPro đóng vai trò gì trong việc tối ưu hóa quy trình xử lý dữ liệu? EnvPro là công cụ nền tảng web tự động hóa hoàn toàn các bước từ hợp nhất tệp dữ liệu, phân tích thống kê mô tả, lọc nhiễu tự động theo ngưỡng, đến chạy thuật toán hồi quy điền dữ liệu thiếu, xử lý trọn vẹn 744 giờ dữ liệu chỉ trong vài phút thay vì nhiều ngày làm thủ công.

5. Hiện tượng nghịch nhiệt bức xạ về đêm (NRI) ảnh hưởng như thế nào đến nồng độ bụi PM10 tại Hà Nội? Hiện tượng NRI xuất hiện phổ biến vào mùa đông (từ tháng 10 đến tháng 1 năm sau), làm lớp không khí sát mặt đất lạnh hơn tầng trên, triệt tiêu sự đối lưu khí quyển. Điều này khiến bụi mịn từ hoạt động giao thông không thể khuếch tán, đẩy nồng độ PM10 trung bình tháng 01/2011 lên tới 141.3 µg/m3.

Kết luận

  • Xây dựng thành công quy trình chuẩn hóa dữ liệu quan trắc môi trường gồm 5 bước chặt chẽ, giải quyết triệt để các vấn đề về dữ liệu không đồng nhất, dữ liệu nhiễu và dữ liệu thiếu.
  • Thực nghiệm thành công trên 1.488 bản ghi tại trạm Nguyễn Văn Cừ, lọc bỏ chính xác các giá trị dị biệt trên 400 µg/m3 và điền đầy đủ 100% các bản ghi khuyết thiếu trong chuỗi thời gian.
  • Phát triển hoàn chỉnh công cụ phần mềm EnvPro với giao diện trực quan, tự động hóa toàn bộ quy trình xử lý dữ liệu quan trắc môi trường tại Việt Nam.
  • Xác lập cơ sở khoa học định lượng chứng minh nồng độ bụi PM10 chịu ảnh hưởng trực tiếp từ 85% phát thải giao thông trong khung giờ cao điểm và hiện tượng nghịch nhiệt mùa đông.
  • Đặt lộ trình mở rộng hệ thống cho toàn bộ 17 trạm quan trắc quốc gia và tích hợp mô hình học máy viễn thám trong giai đoạn 2026-2028.

Hãy tham khảo và ứng dụng ngay quy trình chuẩn hóa dữ liệu quan trắc môi trường để nâng cao chất lượng quản lý và phân tích số liệu không khí cho cơ quan của bạn!