Nghiên cứu xử lý dữ liệu thiếu tính chỉ số AQI từ trạm quan trắc tự động

Luận văn nghiên cứu giải pháp xử lý dữ liệu thiếu để tính chỉ số chất lượng không khí AQI, áp dụng các mô hình Hồi quy tuyến tính và KNN hiệu quả.

• Tác giả: Phạm Lê Sơn
• Người hướng dẫn: TS. Đoàn Văn Thắng
• Trường học: Trường Đại học Thủ Dầu Một
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên cứu xử lý dữ liệu thiếu trong tính toán chỉ số chất lượng không khí (AQI) của hệ thống quan trắc không khí tự động
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Bình Dương

Tóm tắt

I. Tổng quan về vấn đề dữ liệu thiếu trong tính toán chỉ số AQI

Vấn đề dữ liệu thiếu là một thách thức phổ biến trong các hệ thống quan trắc không khí tự động. Khi tính toán chỉ số chất lượng không khí (AQI), dữ liệu không đầy đủ có thể dẫn đến kết quả không chính xác, ảnh hưởng đến việc đánh giá chất lượng môi trường và bảo vệ sức khỏe cộng đồng. Các nguyên nhân gây ra tình trạng thiếu dữ liệu đo đạc bao gồm: sự cố kỹ thuật của thiết bị, lỗi truyền tín hiệu, và ngắt kết nối mạng. Để giải quyết vấn đề này, cần áp dụng các phương pháp xử lý dữ liệu thiếu hiệu quả. Nghiên cứu tập trung vào việc phát triển mô hình bổ khuyết dữ liệu nhằm nâng cao độ chính xác của kết quả AQI và cải thiện quản lý môi trường trên địa bàn tỉnh Bình Dương.

1.1. Định nghĩa và tầm quan trọng của AQI

Chỉ số chất lượng không khí (AQI) là một thang đo cho phép đánh giá mức độ ô nhiễm không khí dựa trên các thông số như CO, NO₂, SO₂, O₃ và PM. AQI giúp cảnh báo tình trạng môi trường và hỗ trợ ra quyết định quản lý công cộng. Dữ liệu chính xác và đầy đủ là nền tảng để tính toán AQI đáng tin cậy, từ đó bảo vệ sức khỏe cộng đồng và hỗ trợ hiệu quả trong quản lý môi trường.

1.2. Nguyên nhân và tác động của dữ liệu thiếu

Dữ liệu thiếu trong hệ thống quan trắc tự động xuất phát từ nhiều nguyên nhân như sự cố thiết bị, mất kết nối mạng, hoặc lỗi truyền tín hiệu. Tác động của dữ liệu không đầy đủ bao gồm làm giảm độ chính xác của AQI, dẫn đến đánh giá sai lệch về chất lượng không khí và ảnh hưởng đến sức khỏe công cộng.

II. Các phương pháp xử lý dữ liệu thiếu

Có nhiều phương pháp xử lý dữ liệu thiếu được áp dụng trong tính toán chỉ số AQI. Mỗi phương pháp có ưu nhược điểm riêng và phù hợp với những tình huống khác nhau. Các mô hình đơn giản như loại bỏ dữ liệu thiếu hoặc điền giá trị trung bình dễ thực hiện nhưng có thể mất thông tin quan trọng. Ngược lại, các mô hình nâng cao như Hồi quy tuyến tính và K-Nearest Neighbor (KNN) cung cấp kết quả chính xác hơn bằng cách phân tích mối quan hệ giữa các biến và tìm kiếm dữ liệu tương tự. Lựa chọn phương pháp xử lý phù hợp là chìa khóa để cải thiện chất lượng dữ liệu và tăng độ tin cậy của kết quả AQI.

2.1. Mô hình hồi quy tuyến tính

Hồi quy tuyến tính là một thuật toán học máy được sử dụng để tìm mối quan hệ tuyến tính giữa các biến độc lập và biến phụ thuộc. Phương pháp này dễ thực hiện, có khả năng giải thích cao, và thích hợp cho dự báo giá trị thiếu trong hệ thống quan trắc không khí. Hồi quy tuyến tính đa biến (MLR) đặc biệt hữu ích khi có nhiều thông số ảnh hưởng đến chất lượng không khí.

2.2. Thuật toán K Nearest Neighbor KNN

K-Nearest Neighbor (KNN) là một thuật toán phân loại không tham số, hoạt động bằng cách tìm K mẫu dữ liệu gần nhất với giá trị cần dự báo. Ưu điểm của KNN bao gồm đơn giản, dễ hiểu và không cần giả định về phân bố dữ liệu. Phương pháp này hiệu quả trong xử lý dữ liệu thiếu của hệ thống quan trắc tự động bằng cách sử dụng khoảng cách Euclidean để tìm các giá trị tương tự.

III. Mô hình đề xuất và triển khai

Nghiên cứu đề xuất một mô hình bổ khuyết dữ liệu kết hợp hồi quy tuyến tính và K-Nearest Neighbor để xử lý dữ liệu thiếu trong hệ thống quan trắc không khí tự động. Mô hình đề xuất được thiết kế để hoàn chỉnh chuỗi dữ liệu và dự báo kết quả AQI một cách chính xác. Triển khai mô hình được thực hiện trên nền tảng Jupyter Notebook sử dụng ngôn ngữ Python và các thư viện máy học như Scikit-learn. Dữ liệu thực tế từ trạm quan trắc không khí tự động, liên tục được sử dụng để huấn luyện và kiểm tra mô hình. Kết quả thực nghiệm cho thấy độ chính xác cao trong hoàn chỉnh dữ liệu và tính toán AQI chính xác hơn, từ đó hỗ trợ hiệu quả trong quản lý môi trường.

3.1. Thiết kế kiến trúc mô hình

Kiến trúc mô hình bao gồm các bước: tiền xử lý dữ liệu, phân tích dữ liệu thiếu, áp dụng hồi quy tuyến tính và KNN, đánh giá kết quả. Mỗi bước được tối ưu hóa để đạt độ chính xác cao nhất. Cơ sở dữ liệu từ hệ thống quan trắc tự động được chuẩn hóa trước khi áp dụng các thuật toán để bổ khuyết dữ liệu thiếu.

3.2. Môi trường cài đặt và bộ dữ liệu

Jupyter Notebook được chọn làm nền tảng phát triển do tính linh hoạt và khả năng trực quan hóa dữ liệu. Bộ dữ liệu bao gồm thông số quan trắc như CO, NO₂, SO₂, O₃, PM2.5, PM10 từ trạm quan trắc không khí trên địa bàn tỉnh Bình Dương. Dữ liệu huấn luyện được chia thành tập huấn luyện (80%) và tập kiểm tra (20%) để đánh giá hiệu suất mô hình một cách khách quan.

IV. Kết quả đánh giá và ứng dụng thực tiễn

Kết quả thực nghiệm cho thấy mô hình đề xuất đạt độ chính xác cao trong xử lý dữ liệu thiếu và dự báo AQI. Sử dụng chỉ số đánh giá MAE (Mean Absolute Error) và các chỉ số khác, kết quả cho thấy hồi quy tuyến tính phù hợp cho các trường hợp dữ liệu tương đối đầu đủ, trong khi KNN hiệu quả hơn khi có nhiều dữ liệu lịch sử. Mô hình kết hợp giữa hai phương pháp cho kết quả tối ưu nhất. Ứng dụng thực tiễn của mô hình bao gồm: nâng cao độ chính xác dữ liệu môi trường, cung cấp thông tin AQI đáng tin cậy cho công chúng, hỗ trợ quyết định quản lý môi trường, và bảo vệ sức khỏe cộng đồng. Đề xuất áp dụng mô hình trong quản lý quan trắc không khí trên địa bàn tỉnh Bình Dương và các địa phương khác.

4.1. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy MAE của mô hình hồi quy tuyến tính nhỏ hơn phương pháp điền giá trị trung bình, và KNN đạt hiệu suất tốt với dữ liệu có tính chất lặp lại. Độ chính xác tổng thể của mô hình kết hợp đạt trên 90%, cho phép hoàn chỉnh dữ liệu thiếu một cách đáng tin cậy và hỗ trợ tính toán AQI chính xác.

4.2. Khuyến nghị ứng dụng

Khuyến nghị triển khai mô hình vào hệ thống quan trắc không khí tự động hiện có để cải thiện chất lượng dữ liệu. Cần đào tạo nhân sự quản lý và vận hành mô hình, xây dựng quy trình tiêu chuẩn cho xử lý dữ liệu thiếu, và thường xuyên cập nhật mô hình dựa trên dữ liệu thực tế mới để duy trì độ chính xác cao trong tính toán AQI.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Lý do nghiên cứu AQI (Air Quality Index) là một chỉ số báo cáo chất lượng không khí hàng ngày. Đây được coi là một thước đo đơn giản hóa mức độ ô nhiễm không khí, cho biết không khí xung quanh ta là sạch hay ô nhiễm, ô nhiễm đến mức độ nào. Rủi ro đối với sức khỏe cộng đồng càng cao khi chỉ số AQI càng lớn.

Chỉ số AQI tập trung vào sự ảnh hưởng tới sức khỏe người dân có thể gặp trong vòng vài giờ hoặc vài ngày sau khi hít thở không khí ô nhiễm. Các quốc gia khác nhau hiện nay đang sử dụng bộ tiêu chí và công thức tính chất lượng không khí riêng, tương ứng với các tiêu chuẩn chất lượng không khí được ban hành theo tiêu chuẩn của từng quốc gia. Tại Việt Nam, chỉ số AQI thường được tính toán dựa trên chỉ số của 5 loại ô nhiễm không khí lớn nhất, gồm có: tầng ozone (O3), ô nhiễm hạt dạng bụi mịn (PM2.5, PM10 - còn được gọi là vật chất hạt), Carbon monoxide (CO), Sulfur dioxide (SO2) và Nito dioxide (NO2). Sau khi áp dụng các công thức tính toán cho ra giá trị với AQI của từng thông số, giá trị AQI hiển thị sẽ là giá trị AQI lớn nhất trong năm tham số theo đơn vị thời gian được quy định (1 giờ và 1 ngày).

Hiện tại, trên lãnh thổ Việt Nam, đã có nhiều tỉnh thành đã được lắp đặt các hệ thống quan không khí xung quanh tự động, liên tục như Hà Nội, Quảng Ninh, Đồng Nai,…từ đó, hệ thống sẽ tính toán ra chỉ số AQI để công bố đến người dân trong khu vực sự ảnh hưởng của không khí ô nhiễm tới sức khỏe con người có thể gặp phải trong vòng vài giờ hoặc vài ngày sau khi hít phải. Khi chỉ số này càng lớn thì mức độ nguy hiểm càng cao. Tuy nhiên, hệ thống quan không khí xung quanh tự động, liên tục trong quá trình vận hành cũng sẽ xảy ra lỗi liên quan đến thiết bị đo hoặc những sự cố khác dẫn đến chuỗi dữ liệu sẽ bị gián đoạn, dữ liệu không logic, gọi chung là dữ liệu bị thiếu, từ đó dẫn đến việc công bố kết quả tính toán AQI không chính xác, dữ liệu tổng hợp trong các báo cáo định kỳ sẽ bị gián đoạn. Với những lập luận đã trình bày, tôi chọn đề tài “Nghiên cứu xử lý dữ liệu thiếu trong tính toán chỉ số chất lượng không khí (AQI) của hệ thống quan trắc 1 không khí tự động” là cần thiết, đảm bảo cho việc khôi phục chuỗi dữ liệu, tính toán chỉ số AQI được đầy đủ, chính xác.

Mục tiêu nghiên cứu 2. Mục tiêu tổng quát Mục tiêu của nghiên cứu là các phương pháp, thuật toán khai phá dữ liệu nhằm áp dụng xây dựng mô hình có khả năng xử lý dữ liệu thiếu và đảm bảo tính chính xác. Mục tiêu cụ thể Nghiên cứu tập dữ liệu về quan trắc chất lượng không khí tự động. Nghiên cứu các phương pháp xử lý dữ liệu bị thiếu bằng mô hình hồi quy tuyến tính và mô hình KNN, nhằm hoàn chỉnh chuỗi dữ liệu và tính toán kết quả AQI từ những kết quả quan trắc không khí tự động.

Đề xuất sử dụng xử lý dữ liệu bị thiếu cho các trạm quan trắc không khí tự động tại Bình Dương. Tổng quan tình hình nghiên cứu 3.1 Các nghiên cứu nước ngoài Nurzaman, Titin Siswantining, Saskya Mary Soemartojo, Devvi Sarwinda (2019) nghiên cứu “Áp dụng phương pháp quy nạp đa biến hồi quy tuần tự trên dữ liệu thiếu thông thường đa biến”. Trong nghiên cứu này, các tác giả đã áp dụng phương pháp tính toán đa biến hồi quy tuần tự để tính toán các giá trị còn thiếu trong dữ liệu đa biến thông thường. Đây là một phương pháp tính toán đa biến có các giá trị tính toán được lấy từ chuỗi mô hình hồi quy, trong đó mỗi biến chứa các giá trị bị thiếu sẽ được hồi quy đối với tất cả các biến khác không chứa các giá trị bị thiếu làm biến dự đoán.

Cách để có được giá trị quy đổi là sử dụng phương pháp lặp để rút ra các giá trị từ phân bố hậu nghiệm dự đoán của các giá trị còn thiếu trong mỗi mô hình hồi quy liên tiếp. Kết quả đánh giá chất lượng cắt bỏ trên dữ liệu mô phỏng bằng cách sử dụng Lỗi bình phương trung bình gốc (RMSE) [1]. Pınar Cihan (2020) nghiên cứu “Tiếp cận phương pháp học sâu để xử ký dữ liệu thiếu”. Trong nghiên cứu này, giá trị bị thiếu trong ba tập dữ liệu khác 2 nhau đã được ước lượng bằng cách sử dụng các phương pháp mã hóa tự động khử nhiễu (DAE), k-nearest neighbor (kNN) và quy nạp đa biến bằng phương trình chuỗi (MICE).

Đánh giá hiệu quả của phương pháp này dựa trên các tiêu chí về lỗi bình phương trung bình gốc (RMSE). Kết quả nghiên cứu cho thấy, phương pháp DAE hiệu quả hơn các phương pháp thống kê còn lại trong việc ước lượng giá trị bị thiếu cho các tập dữ liệu lớn [2]. Steve Hadeed, Mary Kay O'Rourke, Jefferey L. Burgess, Robin B Harris, Robert A.

Canales (2020) nghiên cứu các phương pháp xử lý để giải quyết dữ liệu còn thiếu trong giám sát ngắn hạn các chất gây ô nhiễm không khí. Giám sát các chất gây ô nhiễm môi trường là một phần quan trọng trong nghiên cứu khoa học phơi nhiễm và thực hành y tế công cộng. Dữ liệu bị thiếu thường gặp phải khi thực hiện giám sát ngắn hạn (<24 giờ) chất gây ô nhiễm không khí bằng máy theo dõi thời gian thực, đặc biệt là ở những khu vực có nguồn lực hạn chế. Mục đích của nghiên cứu là đánh giá các phương pháp xử lý hiện có để xử lý dữ liệu bị thiếu cho các màn hình thời gian thực hoạt động trong thời gian ngắn.

Kết quả qua một số chỉ số, cho thấy các phương pháp đơn biến quy định các giá trị còn thiếu dựa trên dữ liệu không đầy đủ được quan sát thấy trong các hộ gia đình hoạt động tốt nhất. Phương pháp định lượng Markov, ngẫu nhiên và trung bình là những phương pháp hoạt động tốt nhất mang lại ước tính trung bình 24 giờ với giá trị thấp nhất [3]. Alsaber, Jiazhu Pan, A. Trong nghiên cứu môi trường, dữ liệu bị thiếu thường là thách thức đối với mô hình thống kê.

Bài viết này đề cập đến một số kỹ thuật để xử lý các giá trị còn thiếu trong bộ dữ liệu đo lường chất lượng không khí bằng cách sử dụng phương pháp đa biến. Các kỹ thuật dữ liệu bị thiếu MCAR, MAR và NMAR được áp dụng cho tập dữ liệu. Kết quả cho thấy kỹ thuật MAR có RMSE và MAE thấp nhất. Nhóm tác giả kết luận rằng MI sử dụng phương pháp missForest có mức độ chính xác cao trong việc ước tính các giá trị 3 còn thiếu.

MissForest có lỗi định lượng thấp nhất (RMSE và MAE) trong số các phương pháp định lượng khác và do đó, có thể được coi là phù hợp để phân tích dữ liệu chất lượng không khí [4].2 Các nghiên cứu trong nước Mạc Duy Hưng (2018), Ứng dụng học máy để điền dữ liệu giám sát chất lượng không khí còn thiếu. Trong bài báo này, ba mô hình học máy đã được áp dụng để dự đoán và điền vào dữ liệu giám sát chất lượng không khí còn thiếu cho các trạm Gia Lâm và Nha Trang tại Hà Nội và Khánh Hòa, bao gồm Trung bình di chuyển tự hồi quy (ARMA), Mạng thần kinh nhân tạo (ANN) và Hồi quy vectơ hỗ trợ (SVR). Hai chất gây ô nhiễm không khí là NO2 và PM10 được chọn cho nghiên cứu này. Những kết quả này chỉ ra rằng học máy là một phương pháp khả thi để giải quyết vấn đề thiếu dữ liệu vốn là một trong những vấn đề lớn nhất của các trạm quan trắc chất lượng không khí ở Việt Nam [5].

Viện Khoa học và Công nghệ Tính toán thuộc Sở Khoa học Công nghệ thành phố Hồ Chí Minh (2018) đã xây dựng Ứng dụng có tên gọi: “Xây dựng hệ thống dự báo không khí vùng Thành phố Hồ Chí Minh”, với hướng tiếp cận mới là sử dụng các mô hình quang hóa kết hợp với mô hình dự báo khí tượng để dự báo chất lượng không khí theo thời gian thực ở Thành phố Hồ Chí Minh và một số vùng lân cận [6]. Nguyễn Công Nhựt, Lai Văn Nhút và Bùi Hùng Vương (2018) báo cáo về “Ứng dụng phương pháp nội suy Cokriging để dự báo chỉ số chất lượng không khí cho nồng độ bụi TSP thành phố Đà Nẵng”. Báo cáo đã sử dụng nồng độ TSP được ghi nhận tại một số trạm quan sát ở thành phố Đà Nẵng, và áp dụng phương pháp nội suy Cokriging để tạo mô hình phù hợp để dự báo nồng độ TSP tại một số trạm không có dữ liệu quan trắc trong thành phố. Nhóm tác giả đã đóng góp để tìm kiếm các mô hình thống kê tốt theo một số tiêu chí, và tìm các mô hình có độ chính xác cao [7].

Phan Thị Thu Hồng (2020) so sánh một số phương pháp xử lý dữ liệu thiếu cho chuỗi dữ liệu thời gian một chiều. Bài viết đã giới thiệu các phương pháp xử lý dữ liệu thiếu và một framework cho phép điền đầy dữ liệu mất mát cho chuỗi 4 thời gian đơn biến được xây dựng. Cuối cùng, thực hiện so sánh hiệu suất của các phương pháp ước lượng giá trị thiếu trên ba chuỗi dữ liệu thời gian thực sử dụng bốn chỉ số đánh giá. Thông qua kết quả thử nghiệm, phương pháp DTWBI (Dynamic Time Warping-based imputation) và eDTWBI (là phương pháp mở rộng của phương pháp DTWBI) đạt được kết quả vượt trội hơn các phương pháp khác khi dữ liệu có tính chất mùa vụ và không có thành phần xu hướng.

Phương pháo na.interp (phương pháp nội suy na.interp, Hyndman & Khandakar, 2008) cho kết quả dự báo tốt hơn trong trường hợp dữ liệu vừa có tính chất mùa vụ và xu hướng [8]. Lê Đăng Nguyên và cộng sự (2022) đã có bài báo cáo về “Xây dựng mô hình để dự đoán từng chất ô nhiễm và đo hạt trên cơ sở hàng ngày và dự đoán chỉ số chất lượng không khí hàng giờ (AQI)”, nghiên cứu nhằm mục đích xây dựng các mô hình dự báo chất lượng không khí hàng ngày ở một địa phương cụ thể, sử dụng phương pháp tiếp cận máy học hiện có, cụ thể là, vectơ hỗ trợ và mạng noron nhân tạo [9]. Nguyễn Thành Phong (2022) thực hiện “Luận văn xây dựng ứng dụng dự báo chất lượng không khí đô thị”. Luận văn đã áp dụng hai thuật toán dự báo RNN-LSTM và RNN-GRU dựa trên bộ dữ liệu các chất gây ô nhiễm từ Sentinel- 5P và bộ dữ liệu bụi mịn PM2.5 để xây dựng mô hình dự báo [10].