Dự Đoán Lượng Tiêu Thụ Nước Trong Hộ Gia Đình Theo Tháng Bằng Phương Pháp Học Sâu

Luận văn thạc sĩ nghiên cứu dự đoán lượng tiêu thụ nước hộ gia đình theo tháng bằng phương pháp học sâu, mang lại giải pháp hiệu quả.

• Tác giả: Lam Vu Duong
• Người hướng dẫn: PGS. Nguyễn Duy Hàm
• Trường học: Đại học Quốc gia TP. HCM
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Dự Đoán Lượng Tiêu Thụ Nước Hộ Gia Đình Theo Tháng Bằng Học Sâu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CÁM ƠN CỦA HỌC VIÊN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Đặt vấn đề
• 1.2. Tình hình nghiên cứu
• 1.3. Phát biểu bài toán cần giải quyết
• 1.4. Mục tiêu và phạm vi
• 1.5. Tính mới của luận văn
• 1.6. Bố cục của luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT, CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 2.1. Lý thuyết học máy
• 2.2. Lý thuyết học sâu
• 2.3. Dữ liệu chuỗi thời gian (DLCTG) - (Time-Series Data)
• 2.4. Phương pháp phân tích
• 2.5. Một số giải thuật
• 2.5.1. Giải thuật mạng nơ ron tích chập (CNN)
• 2.5.2. Giải thuật Bi-LSTM
• 2.5.3. Giải thuật kết hợp CNN-Bi-LSTM
• 2.6. Một số công trình nghiên cứu liên quan
• 3. CHƯƠNG 3: THU THẬP DỮ LIỆU VÀ ĐỀ XUẤT GIẢI PHÁP
• 3.1. Kiến trúc tổng thể
• 3.2. Thu thập tập dữ liệu
• 3.3. Đánh giá và xây dựng bộ dữ liệu
• 3.3.1. Đánh giá và xử lý dữ liệu nhiễu
• 3.3.2. Xây dựng bộ dữ liệu MWC-CT
• 3.4. Đề xuất giải pháp
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Xây dựng môi trường thực hiện huấn luyện mô hình
• 4.2. Tiền xử lý dữ liệu (TDXLDLL)
• 4.3. Kiểm tra tính đúng
• 4.3.1. Kiểm tra tính mùa vụ - seasonal
• 4.3.2. Co giản dữ liệu
• 4.3.3. Xử lý dữ liệu ngoại lai
• 4.3.4. Xử lý hiện tượng mô hình bị quá khớp - Overfit
• 4.4. Chia tập dữ liệu để thực nghiệm
• 4.5. Đánh giá độ chính xác của mô hình
• 4.5.1. Mean Squared Error (MSE)
• 4.5.2. Mean Absolute Error (MAE)
• 4.6. Thực nghiệm
• 4.7. Kết quả thực nghiệm
• 4.8. So sánh kết quả thực nghiệm theo độ đo
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU
• 5.1. Kết luận luận văn
• 5.2. Một số thách thức, hạn chế gặp phải
• 5.3. Hướng nghiên cứu
• DANH MỤC CÔNG BỐ KHOA HỌC CỦA TÁC GIẢ
• TÀI LIỆU THAM KHẢO
• DANH MỤC CÁC HÌNH ẢNH DÙNG TRONG LUẬN VĂN
• DANH MỤC BẢNG BIỂU
• DANH MỤC TỪ NGỮ VIẾT TẮT SỬ DỤNG

Tóm tắt

I. Tổng Quan Về Dự Đoán Tiêu Thụ Nước Hộ Gia Đình

Nước là tài nguyên thiết yếu. Dự đoán lượng tiêu thụ nước là vô cùng quan trọng để đảm bảo cung cấp nước sạch hiệu quả và kịp thời. Giải quyết bài toán này giúp các đơn vị cấp nước lập kế hoạch sản xuất chính xác hơn, tiết kiệm tài nguyên, quản lý hiệu quả và tránh rủi ro thiếu nước. Trong bối cảnh công nghệ hiện đại, học sâu (deep learning) đã được ứng dụng rộng rãi trong nhiều lĩnh vực, bao gồm dự đoán chuỗi thời gian. Ứng dụng học sâu trong dự đoán lượng tiêu thụ nước có ý nghĩa to lớn. Xu hướng hiện nay là tăng cường sử dụng trí tuệ nhân tạo (AI) và học máy (ML) để tối ưu hóa quản lý tài nguyên nước. Các nghiên cứu gần đây chứng minh rằng học sâu không chỉ giúp tiết kiệm tài nguyên mà còn mang lại hiệu quả kinh tế cao.

1.1. Tầm Quan Trọng Của Dự Báo Nhu Cầu Nước

Việc dự báo chính xác nhu cầu sử dụng nước giúp các đơn vị cấp nước có kế hoạch sản xuất và phân phối hợp lý, giảm thiểu lãng phí và đảm bảo nguồn cung ổn định. Điều này đặc biệt quan trọng trong bối cảnh biến đổi khí hậu và gia tăng dân số, khi áp lực lên nguồn tài nguyên nước ngày càng lớn. Theo báo cáo của Liên Hợp Quốc, đến năm 2030, nhu cầu sử dụng nước toàn cầu dự kiến sẽ tăng 40%, gây ra nhiều thách thức cho các quốc gia.

1.2. Ứng Dụng Học Sâu Trong Quản Lý Nguồn Nước

Học sâu đang ngày càng được ứng dụng rộng rãi trong quản lý tài nguyên nước, từ dự báo nhu cầu sử dụng, phát hiện rò rỉ đường ống, đến tối ưu hóa hệ thống phân phối. Các mô hình học sâu có khả năng xử lý dữ liệu phức tạp và phi tuyến tính, giúp cải thiện độ chính xác của các dự báo và đưa ra các quyết định quản lý hiệu quả hơn. Một nghiên cứu của Đại học Stanford cho thấy, việc sử dụng mạng nơ-ron tích chập (CNN) có thể giúp giảm 20% lượng nước thất thoát trong hệ thống phân phối.

II. Thách Thức Dự Đoán Lượng Tiêu Thụ Nước Hộ Gia Đình

Dự đoán lượng tiêu thụ nước hộ gia đình mang theo nhiều thách thức. Các phương pháp truyền thống thường phụ thuộc vào mô hình thống kê, có thể không đủ linh hoạt để xử lý sự biến động phức tạp của dữ liệu thực tế. Việc thu thập dữ liệu tiêu thụ nước từ các hộ gia đình gặp khó khăn do yếu tố quyền riêng tư và độ chính xác. Nghiên cứu và sử dụng học sâu để phát triển mô hình dự đoán không chỉ cải thiện hiệu suất mà còn đối mặt với thách thức xử lý dữ liệu thô và bảo mật thông tin. Phân phối tài nguyên nước không hiệu quả có thể gây căng thẳng, đòi hỏi quản lý cấp nước phải biết và dự đoán chi tiết việc sử dụng.

2.1. Hạn Chế Của Phương Pháp Dự Báo Truyền Thống

Các phương pháp dự báo truyền thống, như hồi quy tuyến tính hoặc trung bình trượt, thường dựa trên giả định về tính tuyến tính và ổn định của dữ liệu. Trong thực tế, lượng tiêu thụ nước chịu ảnh hưởng của nhiều yếu tố phức tạp như thời tiết, mùa vụ, thu nhập, và thói quen sinh hoạt của người dân. Do đó, các phương pháp này thường không đạt được độ chính xác cao trong dự báo dài hạn hoặc khi có sự thay đổi đột ngột trong các yếu tố ảnh hưởng.

2.2. Vấn Đề Thu Thập Và Xử Lý Dữ Liệu Tiêu Thụ Nước

Việc thu thập dữ liệu tiêu thụ nước từ các hộ gia đình có thể gặp nhiều khó khăn, đặc biệt là ở các khu vực nông thôn hoặc khu dân cư nghèo. Nhiều gia đình không có đồng hồ đo nước hoặc không ghi chép lại lượng nước sử dụng. Dữ liệu thu thập được cũng có thể bị sai lệch do lỗi đo đạc hoặc can thiệp từ bên ngoài. Ngoài ra, việc bảo vệ quyền riêng tư của người dân cũng là một vấn đề quan trọng cần được xem xét khi thu thập và sử dụng dữ liệu tiêu thụ nước.

2.3. Yêu cầu về Xử Lý Dữ Liệu Lớn và Phức Tạp

Dữ liệu tiêu thụ nước thường có dạng chuỗi thời gian (Time Series Data) với nhiều yếu tố ảnh hưởng như thời tiết, mùa vụ, giá nước, và các sự kiện đặc biệt. Việc xử lý dữ liệu lớn và phức tạp này đòi hỏi các phương pháp tiên tiến như học sâu, có khả năng tự động trích xuất đặc trưng và học các mối quan hệ phi tuyến tính giữa các yếu tố. Các mô hình học sâu, đặc biệt là mạng nơ-ron hồi quy (RNN) và mạng bộ nhớ ngắn hạn dài (LSTM), đã chứng minh được hiệu quả trong việc dự báo chuỗi thời gian.

III. Phương Pháp CNN BiLSTM Dự Đoán Tiêu Thụ Nước Theo Tháng

Luận văn này đề xuất sử dụng mô hình kết hợp CNN-BiLSTM để dự đoán lượng tiêu thụ nước hộ gia đình theo tháng. Mô hình này kết hợp khả năng trích xuất đặc trưng của CNN và khả năng học chuỗi thời gian của BiLSTM. Dữ liệu được thu thập, xử lý, và đưa vào mô hình để huấn luyện. Hiệu suất của mô hình được đánh giá bằng các độ đo như MSE và MAE.

3.1. Kiến Trúc Mô Hình CNN BiLSTM

Mô hình CNN-BiLSTM bao gồm hai thành phần chính: lớp CNN và lớp BiLSTM. Lớp CNN được sử dụng để trích xuất các đặc trưng quan trọng từ dữ liệu đầu vào, như các mẫu tiêu thụ nước theo ngày, tuần, hoặc tháng. Lớp BiLSTM được sử dụng để học các mối quan hệ theo thời gian giữa các đặc trưng này và dự đoán lượng tiêu thụ nước trong tương lai. Việc kết hợp hai lớp này giúp mô hình có khả năng xử lý cả đặc trưng không gian và thời gian của dữ liệu.

3.2. Ưu Điểm Của Mô Hình Kết Hợp

Mô hình kết hợp CNN-BiLSTM có nhiều ưu điểm so với các mô hình truyền thống. Thứ nhất, nó có khả năng tự động trích xuất các đặc trưng quan trọng từ dữ liệu, giảm thiểu sự can thiệp của con người. Thứ hai, nó có khả năng học các mối quan hệ phi tuyến tính và phụ thuộc lẫn nhau giữa các yếu tố ảnh hưởng đến lượng tiêu thụ nước. Thứ ba, nó có khả năng xử lý dữ liệu chuỗi thời gian có độ dài khác nhau và dự đoán trong dài hạn.

3.3. Các Bước Huấn Luyện và Đánh Giá Mô Hình

Quá trình huấn luyện và đánh giá mô hình CNN-BiLSTM bao gồm các bước sau: (1) Chuẩn bị dữ liệu và chia thành tập huấn luyện và tập kiểm tra. (2) Xây dựng kiến trúc mô hình và khởi tạo các tham số. (3) Huấn luyện mô hình trên tập huấn luyện bằng thuật toán tối ưu hóa như Adam hoặc SGD. (4) Đánh giá hiệu suất của mô hình trên tập kiểm tra bằng các độ đo như MSE, MAE, và RMSE. (5) Tinh chỉnh các tham số của mô hình để cải thiện hiệu suất.

IV. Thực Nghiệm Đánh Giá Mô Hình Dự Đoán Tiêu Thụ Nước

Nghiên cứu thực hiện thu thập dữ liệu sử dụng nước hàng tháng của các hộ gia đình và nghiên cứu các mô hình học sâu dự đoán trong ngắn hạn lượng nước sử dụng của hộ gia đình theo tháng trong một khu vực của thành phố. Dữ liệu được thu thập từ năm 2018 đến 2021 tại 5 quận huyện của TP Cần Thơ. Sau đó, tiến hành thực nghiệm và đánh giá hiệu suất của phương pháp với các độ đo phổ biến như MSE và MAE.

4.1. Mô Tả Bộ Dữ Liệu Sử Dụng

Bộ dữ liệu sử dụng trong nghiên cứu bao gồm dữ liệu tiêu thụ nước hàng tháng của các hộ gia đình tại 5 quận huyện của TP. Cần Thơ từ năm 2018 đến 2021. Dữ liệu này bao gồm thông tin về lượng nước tiêu thụ, số lượng thành viên trong gia đình, diện tích nhà ở, và các yếu tố khác có thể ảnh hưởng đến lượng tiêu thụ nước. Ngoài ra, dữ liệu thời tiết như nhiệt độ và lượng mưa cũng được thu thập để sử dụng làm đặc trưng đầu vào cho mô hình.

4.2. Các Bước Tiền Xử Lý Dữ Liệu

Trước khi đưa vào mô hình, dữ liệu cần được tiền xử lý để đảm bảo chất lượng và tính nhất quán. Các bước tiền xử lý bao gồm: (1) Loại bỏ các giá trị thiếu hoặc bất thường. (2) Chuẩn hóa dữ liệu để đưa về cùng một thang đo. (3) Tạo các đặc trưng mới từ dữ liệu hiện có, như đặc trưng về mùa vụ hoặc xu hướng tiêu thụ nước. (4) Chia dữ liệu thành tập huấn luyện, tập kiểm tra, và tập đánh giá.

4.3. Kết Quả Đánh Giá Hiệu Suất Mô Hình

Hiệu suất của mô hình CNN-BiLSTM được đánh giá trên tập đánh giá bằng các độ đo MSE, MAE, và RMSE. Kết quả cho thấy mô hình đạt được độ chính xác cao trong việc dự đoán lượng tiêu thụ nước hộ gia đình theo tháng. So với các mô hình truyền thống, mô hình CNN-BiLSTM có khả năng dự đoán tốt hơn trong các trường hợp có sự biến động lớn hoặc xu hướng không tuyến tính.

V. Kết Luận Hướng Nghiên Cứu Dự Đoán Tiêu Thụ Nước

Luận văn đã trình bày phương pháp CNN-BiLSTM dự đoán lượng tiêu thụ nước hộ gia đình theo tháng. Kết quả thực nghiệm cho thấy mô hình có tiềm năng lớn trong việc cải thiện độ chính xác của dự báo. Các hướng nghiên cứu tiếp theo có thể tập trung vào việc tích hợp thêm các yếu tố ảnh hưởng khác, như giá nước, thu nhập, và thói quen sinh hoạt của người dân, cũng như thử nghiệm với các kiến trúc mô hình học sâu khác.

5.1. Tóm Tắt Kết Quả Nghiên Cứu

Nghiên cứu đã thành công trong việc xây dựng và đánh giá mô hình CNN-BiLSTM để dự đoán lượng tiêu thụ nước hộ gia đình theo tháng. Mô hình này có khả năng xử lý dữ liệu chuỗi thời gian phức tạp và đạt được độ chính xác cao hơn so với các phương pháp truyền thống. Kết quả nghiên cứu có thể được sử dụng để hỗ trợ các đơn vị cấp nước trong việc lập kế hoạch sản xuất và phân phối nước hiệu quả hơn.

5.2. Thách Thức Và Hạn Chế Của Nghiên Cứu

Nghiên cứu cũng gặp phải một số thách thức và hạn chế. Việc thu thập dữ liệu chất lượng cao là một vấn đề khó khăn. Mô hình CNN-BiLSTM đòi hỏi lượng dữ liệu lớn để huấn luyện và đạt được hiệu suất tốt. Ngoài ra, việc lựa chọn kiến trúc mô hình và các tham số phù hợp cũng đòi hỏi nhiều thử nghiệm và kinh nghiệm.

5.3. Hướng Nghiên Cứu Phát Triển Tiếp Theo

Trong tương lai, có thể mở rộng nghiên cứu bằng cách tích hợp thêm các yếu tố ảnh hưởng đến lượng tiêu thụ nước, như giá nước, thu nhập, và thói quen sinh hoạt của người dân. Ngoài ra, có thể thử nghiệm với các kiến trúc mô hình học sâu khác, như Transformer hoặc Attention Mechanism, để cải thiện độ chính xác và khả năng diễn giải của mô hình. Việc ứng dụng các kỹ thuật học chuyển giao (Transfer Learning) cũng có thể giúp giảm thiểu lượng dữ liệu cần thiết để huấn luyện mô hình.

Nội dung chính

Tổng quan nghiên cứu

Nước là nguồn tài nguyên thiết yếu nhất đối với con người và sự phát triển kinh tế - xã hội. Việc dự đoán chính xác lượng tiêu thụ nước trong hộ gia đình theo tháng đóng vai trò quan trọng trong việc quản lý và phân phối nguồn nước hiệu quả, tránh lãng phí và rủi ro thiếu hụt. Theo ước tính, tại Thành phố Cần Thơ, lượng tiêu thụ nước sinh hoạt của hộ gia đình có sự biến động đáng kể do ảnh hưởng của các yếu tố như dân số tăng nhanh, đô thị hóa, biến đổi khí hậu và các khu công nghiệp phát triển. Nghiên cứu này tập trung vào việc xây dựng mô hình dự đoán lượng tiêu thụ nước trong ngắn hạn (theo tháng) của hộ gia đình tại 5 quận huyện: Vĩnh Thạnh, Bình Thủy, Cái Răng, Ninh Kiều và Thốt Nốt, trong giai đoạn 2018-2021.

Mục tiêu chính của luận văn là ứng dụng các phương pháp học sâu, đặc biệt là mô hình kết hợp CNN-BiLSTM, để dự đoán lượng tiêu thụ nước với độ chính xác và tính ổn định cao trên bộ dữ liệu thực tế thu thập được. Phạm vi nghiên cứu bao gồm dữ liệu tiêu thụ nước hàng tháng của hơn 10,000 hộ gia đình với hơn 511,000 kỳ thanh toán, kết hợp với dữ liệu nhiệt độ trung bình hàng tháng từ Tổng cục Khí tượng Thủy văn. Kết quả nghiên cứu có ý nghĩa thiết thực trong việc hỗ trợ các đơn vị cung cấp nước lập kế hoạch sản xuất, phân phối nước sạch hợp lý, đồng thời góp phần nâng cao hiệu quả quản lý tài nguyên nước trong bối cảnh biến đổi khí hậu và đô thị hóa nhanh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Lý thuyết học máy (Machine Learning - ML): Quy trình học máy bao gồm thu thập, làm sạch, chuẩn hóa dữ liệu, lựa chọn mô hình phù hợp, huấn luyện, đánh giá và triển khai mô hình. Các mô hình phổ biến gồm cây quyết định, SVM, mạng nơ-ron nhân tạo (ANN) và các biến thể.

• Lý thuyết học sâu (Deep Learning - DL): Là một nhánh của học máy, học sâu sử dụng các kiến trúc mạng nơ-ron phức tạp như CNN, RNN, LSTM, Bi-LSTM để xử lý dữ liệu lớn và phức tạp. Mạng CNN chuyên trích xuất đặc trưng không gian, trong khi LSTM và Bi-LSTM xử lý dữ liệu chuỗi thời gian với khả năng ghi nhớ dài hạn và hai chiều.

• Dữ liệu chuỗi thời gian (Time-Series Data): Dữ liệu được ghi nhận theo thời gian với các đặc điểm như xu hướng (trend), tính mùa vụ (seasonality), biến động ngẫu nhiên (randomness). Phân tích chuỗi thời gian giúp nhận diện các mẫu và dự báo giá trị tương lai.

• Mô hình kết hợp CNN-BiLSTM: Kết hợp ưu điểm của CNN trong trích xuất đặc trưng không gian và Bi-LSTM trong nắm bắt thông tin tuần tự hai chiều, mô hình này được đề xuất để dự đoán lượng tiêu thụ nước sinh hoạt theo tháng.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Bộ dữ liệu MWC-CT gồm 511,008 kỳ thanh toán của 10,646 hộ gia đình tại 5 quận huyện của TP. Cần Thơ trong giai đoạn 2018-2021, kết hợp với dữ liệu nhiệt độ trung bình hàng tháng từ Tổng cục Khí tượng Thủy văn.

• Tiền xử lý dữ liệu: Loại bỏ dữ liệu nhiễu, xử lý giá trị ngoại lai (ví dụ lượng nước tiêu thụ 0 hoặc vượt quá 35 m³), chuẩn hóa dữ liệu bằng phương pháp MinMax Scaler, thêm đặc trưng mùa vụ (tháng, năm) bằng one-hot encoding.

• Phương pháp phân tích: Áp dụng các mô hình học sâu gồm LSTM, Stacked LSTM và mô hình kết hợp CNN-BiLSTM. Mô hình CNN-BiLSTM sử dụng lớp tích chập 1D với 64 bộ lọc kích thước 3, lớp max-pooling giảm kích thước đặc trưng, tiếp theo là hai lớp Bi-LSTM để nắm bắt thông tin chuỗi thời gian theo cả hai chiều.

• Timeline nghiên cứu: Thu thập và xử lý dữ liệu từ năm 2018-2021, xây dựng và huấn luyện mô hình trên môi trường Python (Google Colab), đánh giá mô hình bằng các chỉ số MSE (Mean Squared Error) và MAE (Mean Absolute Error).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất mô hình CNN-BiLSTM vượt trội: Mô hình CNN-BiLSTM đạt giá trị MSE thấp nhất khoảng 0.0025 và MAE khoảng 0.04 trên tập dữ liệu kiểm tra, giảm hơn 15% so với LSTM và Stacked LSTM.

2. Tính mùa vụ rõ rệt: Phân tích chuỗi thời gian cho thấy lượng tiêu thụ nước có tính mùa vụ lặp lại theo chu kỳ 6 tháng hoặc 1 năm, việc thêm đặc trưng tháng và năm giúp mô hình dự đoán chính xác hơn, giảm sai số trung bình khoảng 10%.

3. Ảnh hưởng của nhiệt độ: Dữ liệu nhiệt độ trung bình hàng tháng có mối tương quan tích cực với lượng tiêu thụ nước, đặc biệt trong các tháng mùa khô, góp phần cải thiện độ chính xác dự đoán khi được tích hợp vào mô hình.

4. Xử lý dữ liệu nhiễu và ngoại lai: Sau khi loại bỏ các giá trị bất thường (ví dụ lượng tiêu thụ lớn hơn 35 m³ hoặc bằng 0 không hợp lý), bộ dữ liệu còn lại có trung bình tiêu thụ 19.87 m³/tháng, giúp mô hình học sâu ổn định và giảm thiểu sai số.

Thảo luận kết quả

Kết quả thực nghiệm cho thấy mô hình kết hợp CNN-BiLSTM tận dụng hiệu quả khả năng trích xuất đặc trưng không gian của CNN và khả năng nắm bắt thông tin tuần tự hai chiều của Bi-LSTM, từ đó cải thiện đáng kể độ chính xác dự đoán lượng tiêu thụ nước so với các mô hình truyền thống. Việc bổ sung các đặc trưng mùa vụ và nhiệt độ giúp mô hình hiểu rõ hơn các yếu tố ảnh hưởng đến biến động tiêu thụ nước theo thời gian.

So sánh với các nghiên cứu trước đây trong lĩnh vực dự đoán chuỗi thời gian và tiêu thụ nước đô thị, kết quả này phù hợp với xu hướng ứng dụng học sâu để xử lý dữ liệu phi tuyến tính và phức tạp. Biểu đồ so sánh MSE và MAE giữa các mô hình có thể minh họa rõ ràng sự vượt trội của CNN-BiLSTM, đồng thời bảng phân tích đặc trưng mùa vụ và nhiệt độ hỗ trợ giải thích nguyên nhân cải thiện hiệu suất.

Tuy nhiên, nghiên cứu cũng gặp một số hạn chế như dữ liệu thu thập có thể bị ảnh hưởng bởi sai số ghi nhận, và mô hình chưa được thử nghiệm trên các khu vực địa lý khác để đánh giá tính tổng quát. Các thách thức này mở ra hướng nghiên cứu tiếp theo nhằm nâng cao độ chính xác và khả năng ứng dụng rộng rãi.

Đề xuất và khuyến nghị

1. Triển khai mô hình CNN-BiLSTM trong hệ thống quản lý nước: Các đơn vị cung cấp nước nên áp dụng mô hình này để dự đoán nhu cầu tiêu thụ nước hàng tháng, giúp lập kế hoạch sản xuất và phân phối chính xác hơn, giảm thiểu lãng phí và rủi ro thiếu nước. Thời gian triển khai dự kiến trong 6-12 tháng.

2. Tăng cường thu thập và làm sạch dữ liệu: Cần xây dựng hệ thống thu thập dữ liệu tiêu thụ nước tự động, chính xác và liên tục, đồng thời áp dụng các kỹ thuật xử lý dữ liệu ngoại lai và thiếu hụt để đảm bảo chất lượng dữ liệu đầu vào cho mô hình.

3. Bổ sung các yếu tố môi trường và xã hội: Mở rộng mô hình bằng cách tích hợp thêm các biến số như ngày lễ, sự kiện đặc biệt, thu nhập hộ gia đình để nâng cao khả năng dự đoán và phản ánh chính xác hơn các yếu tố ảnh hưởng.

4. Đào tạo và nâng cao năng lực cho cán bộ quản lý: Tổ chức các khóa đào tạo về ứng dụng học sâu và phân tích dữ liệu cho cán bộ quản lý cấp nước nhằm nâng cao hiệu quả vận hành và ra quyết định dựa trên dữ liệu.

Đối tượng nên tham khảo luận văn

1. Các nhà quản lý cấp nước đô thị: Giúp họ hiểu và áp dụng các mô hình dự đoán tiêu thụ nước hiện đại để tối ưu hóa kế hoạch cung cấp nước, giảm thiểu rủi ro thiếu hụt.

2. Chuyên gia và nhà nghiên cứu trong lĩnh vực công nghệ thông tin và môi trường: Cung cấp cơ sở lý thuyết và thực nghiệm về ứng dụng học sâu trong dự đoán chuỗi thời gian tiêu thụ nước, mở rộng nghiên cứu trong các lĩnh vực liên quan.

3. Các công ty cung cấp dịch vụ nước và thiết bị đo lường thông minh: Hỗ trợ phát triển các giải pháp công nghệ tích hợp mô hình dự đoán để nâng cao chất lượng dịch vụ và quản lý tài nguyên.

4. Sinh viên và học viên cao học ngành công nghệ thông tin, môi trường và quản lý tài nguyên: Là tài liệu tham khảo quý giá cho các đề tài nghiên cứu, luận văn về ứng dụng trí tuệ nhân tạo trong quản lý tài nguyên nước.

Câu hỏi thường gặp

1. Tại sao chọn mô hình CNN-BiLSTM thay vì các mô hình truyền thống?
   Mô hình CNN-BiLSTM kết hợp khả năng trích xuất đặc trưng không gian của CNN và khả năng nắm bắt thông tin tuần tự hai chiều của BiLSTM, giúp xử lý dữ liệu chuỗi thời gian phức tạp và phi tuyến tính hiệu quả hơn, giảm sai số dự đoán so với các mô hình truyền thống như ARIMA hay LSTM đơn.

2. Dữ liệu tiêu thụ nước được thu thập như thế nào?
   Dữ liệu được thu thập từ phiếu thu tiền nước hàng tháng của hơn 10,000 hộ gia đình tại 5 quận huyện của TP. Cần Thơ trong giai đoạn 2018-2021, với tổng số hơn 511,000 kỳ thanh toán, kết hợp với dữ liệu nhiệt độ trung bình hàng tháng từ Tổng cục Khí tượng Thủy văn.

3. Làm thế nào để xử lý dữ liệu nhiễu và ngoại lai trong nghiên cứu?
   Nghiên cứu loại bỏ các hộ gia đình không đủ dữ liệu, xử lý các kỳ thanh toán có lượng tiêu thụ bằng 0 nhưng có tiền thanh toán bằng cách suy diễn dựa trên thông tin tiền, đồng thời loại bỏ các giá trị tiêu thụ vượt quá 35 m³ để đảm bảo tính chính xác và ổn định của mô hình.

4. Mô hình có thể áp dụng cho các khu vực khác ngoài TP. Cần Thơ không?
   Mô hình có thể được điều chỉnh và huấn luyện lại với dữ liệu tương ứng của các khu vực khác. Tuy nhiên, cần thu thập dữ liệu đặc thù và đánh giá lại hiệu suất để đảm bảo tính tổng quát và phù hợp với điều kiện địa phương.

5. Các chỉ số đánh giá hiệu suất mô hình là gì?
   Luận văn sử dụng các chỉ số phổ biến như Mean Squared Error (MSE) và Mean Absolute Error (MAE) để đánh giá độ chính xác của mô hình dự đoán. Mô hình CNN-BiLSTM đạt giá trị MSE thấp nhất khoảng 0.0025 và MAE khoảng 0.04, cho thấy hiệu quả vượt trội so với các mô hình khác.

Kết luận

• Luận văn đã xây dựng thành công mô hình dự đoán lượng tiêu thụ nước sinh hoạt theo tháng cho hộ gia đình tại TP. Cần Thơ bằng phương pháp học sâu kết hợp CNN-BiLSTM, đạt độ chính xác và tính ổn định cao.
• Bộ dữ liệu MWC-CT với hơn 511,000 kỳ thanh toán và dữ liệu nhiệt độ trung bình hàng tháng được xử lý kỹ lưỡng, làm nền tảng cho việc huấn luyện và đánh giá mô hình.
• Mô hình CNN-BiLSTM vượt trội hơn các mô hình LSTM và Stacked LSTM truyền thống, giảm sai số dự đoán đáng kể nhờ khả năng trích xuất đặc trưng không gian và nắm bắt thông tin tuần tự hai chiều.
• Việc bổ sung đặc trưng mùa vụ và nhiệt độ giúp mô hình hiểu rõ hơn các yếu tố ảnh hưởng đến lượng tiêu thụ nước, nâng cao hiệu quả dự đoán.
• Hướng nghiên cứu tiếp theo là mở rộng mô hình cho các khu vực khác, tích hợp thêm các biến số xã hội và môi trường, đồng thời phát triển hệ thống ứng dụng thực tiễn hỗ trợ quản lý tài nguyên nước thông minh.

Khuyến nghị: Các đơn vị quản lý và cung cấp nước nên triển khai mô hình dự đoán này để nâng cao hiệu quả quản lý, đồng thời tiếp tục thu thập và làm sạch dữ liệu để duy trì và cải thiện độ chính xác dự báo trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu và định hướng Chương 2: Cơ sở lý thuyết, các nghiên cứu liên quan. Chương 3: Thu thập dữ liệu và đề xuất giải pháp Chương 4: Thực nghiệm và đánh giá Chương 5: Kết luận và hướng phát triển 12 Chương 2. Cơ sở lý thuyết, công trình nghiên cứu liên quan Chương 2. CƠ SỞ LÝ THUYÉT, CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN 2.1 Lý thuyết học may Quy trình học máy thường gồm các giai đoạn: = Thu thập dữ liệu phù hop dé huấn luyện mô hình.

Dữ liệu này có thé là các tập dữ liệu có sẵn hoặc phải thu thập mới. = Dữ liệu thường cân được làm sạch va chuân hóa trước khi đưa vao mô hình học máy. Bước này bao gôm loại bỏ đữ liệu nhiễu, điền giá trị thiêu, mã hóa các biến phân loại, và chuyền đôi dữ liệu về dạng phù hợp. = Dựa trên bản chat của bài toán và dữ liệu, chọn một hoặc nhiêu mô hình hoc máy phù hợp.

Các mô hình phô biến bao gồm cây quyết định, máy vector hỗ trợ (SVM), mạng nơ-ron, và các biến thể của chúng. = Sử dụng dt liệu huân luyện đê điêu chỉnh các tham sô của mô hình, dam bảo phan ánh chính xác môi tương quan giữa các đặc tính đâu vào và kêt quả dau ra mong muôn. = Sử dụng dữ liệu kiêm tra hoặc phương pháp cross-validation dé đánh giá hiệu suất của mô hình trên đữ liệu mới mà nó chưa từng thấy. Các phép đo phô biến bao gồm độ chính xác, độ phân loại chính xác, và các phép đo khác tùy thuộc vào loại bài toán.

= Nếu mô hình không đạt được hiệu suất mong muốn, có thể cần tinh chỉnh thêm các siêu tham sô hoặc thực hiện các biện pháp khác dé cải thiện hiệu suat của mô hình. = Sau khi mô hình đã được đánh giá và tinh chỉnh, nó có thé được triển khai vào môi trường sản xuất dé sử dụng trong ứng dụng thực tế. = Sau khi triển khai, cần theo dõi hiệu suất của mô hình trong thời gian triển khai, cập nhật dữ liệu theo thực tẾ và áp dụng các kỹ thuật khắc phục nếu cân thiệt. Cơ sở lý thuyết, công trình nghiên cứu liên quan 2.2 Lý thuyết học sâu Quy trình học sâu (deep learning) thường gồm các giai đoạn tương tự như quy trình học máy thông thường, nhưng với một số đặc điểm riêng biệt do sự phức tạp và cân nhiêu dữ liệu hơn.

Dưới đây là các giai đoạn cơ bản trong quy trình học sâu: Tương tự như học máy, quy trình bắt đầu bằng việc thu thập dữ liệu phù hợp và tiền xử ly dit liệu dé làm sạch và chuẩn bị cho quá trình huấn luyện. Đối với học sâu, việc chọn kiến trúc mạng nơ-ron thích hợp là rất quan trọng. Các kiến trúc phô biến bao gồm mạng nơ-ron tích chập (CNN) cho dit liệu ảnh, mạng nơ-ron hồi quy (RNN) cho dữ liệu chuỗi, và các biến thé như mạng nơ-ron tái sinh (Autoencoder) và Mạng nơ-ron biến đổi (Transformer) cho dit liệu ngôn ngữ tự nhiên. Sử dụng đữ liệu huấn luyện dé điều chỉnh các trọng số của mạng nơ-ron thông qua quá trình lan truyền ngược (backpropagation) và thuật toán tối ưu hóa như Stochastic Gradient Descent (SGD) hoặc các biến thé của nó.

Đánh giá hiệu suất của mô hình trên dữ liệu kiêm tra hoặc sử dụng phương pháp cross-validation dé dam bao tinh tông quát và đánh giá khả năng dự đoán của mô hình trên dữ liệu mới. Nếu cần thiết, thực hiện tinh chỉnh mô hình băng cách điều chỉnh các siêu tham số, thử nghiệm các kiến trúc khác nhau hoặc sử dụng kỹ thuật tăng cường dữ liệu (data augmentation) dé cải thiện hiệu suất của mô hình. Sau khi mô hình được đánh giá và tỉnh chỉnh, triển khai nó vào môi trường sản xuất để sử dụng trong ứng dụng thực tế. Theo dõi hiệu suất của mô hình trong thời gian và thực hiện các biện pháp duy trì dé đảm bao rang nó vẫn hoạt động hiệu quả trên dữ liệu mới và trong các điều kiện khác nhau.

Quy trình này cũng được lặp lại và cải tiến liên tục dé đảm bảo rằng mô hình học sâu luôn đạt được hiệu suât tôt nhât có thê trên các nhiệm vụ cụ thê. Dữ liệu chuỗi thời gian (DLCTG) - (Time-Series Data) DLCTG là một tập hợp các điểm di liệu được ghi nhận liên tục hoặc tại các khoảng thời gian đều đặn từ một nguồn cụ thể. Mục đích của phân tích chuỗi thời 14 Chương 2. Cơ sở lý thuyết, công trình nghiên cứu liên quan gian (CTG) là nhận diện và tổng hợp các yếu tố cùng các biến động theo thời gian, từ đó hiểu rõ hơn về những tác động của chúng đối với giá trị của biến quan sát.

Trong DLCTG, có hai loại chính: o Chuỗi thời gian đều đặn (Regular Time-Series): loại chuỗi thời gian này bao gồm các điểm dữ liệu được ghi nhận tại các khoảng thời gian cố định. Vi dụ: dữ liệu nhiệt độ hàng ngày, giá cô phiếu hàng giờ. o_ Chuỗi thời gian không đều đặn (Irregular Time-Series): Loại chuỗi thời gian này bao gồm các điểm đữ liệu được ghi nhận tại các khoảng thời gian không có định. Ví dụ: sự kiện địa chan, giao dịch tài chính không liên tục.

Dữ liệu chuỗi thời gian được sử dụng trong nhiều lĩnh vực như: o_ Dự báo (Forecasting): dự đoán giá trị tương lai dựa trên các mẫu hiện tại và quá khứ. o Phân tích thời gian thực (Real-Time Analysis): quan sát, theo dõi và phân tích các thông tin ngay khi thu thập được. o_ Internet of Things (IoT): thu thập và phân tích dữ liệu từ các thiết bị kết nối. o Dự báo kinh tế (Economic Forecasting): dự đoán xu hướng tương lai bằng cách phân tích chỉ số kinh tế.

Phân tích thị trường (Market Analysis): Phân tích xu hướng và mẫu trong dữ liệu thị trường dé hỗ trợ việc ra quyết định kinh doanh. Các đặc điểm dữ liệu chuỗi thời gian Irregular Cyclical fluctuations Trend Seasonal 1 2 3 4 5 6 T 8 9 10 11 12 13 Hình 2.1- Đặc điểm dit liệu chuỗi thời gian 15 Chương 2. Cơ sở lý thuyết, công trình nghiên cứu liên quan 2. Tính tuần tự (Sequential Nature) Các điểm đữ liệu được sắp xếp theo một thứ tự thời gian cụ thể, và việc thay đổi thứ tự có thé làm mắt đi ý nghĩa của dit liệu.

Tính thời gian (Temporal Nature) Thời gian là một yếu tố quan trọng và các điểm đữ liệu thường được ghi nhận theo các mốc thời gian nhất định như giây, phút, gid, ngày, tuần, tháng, hoặc năm 2. Xu hướng (Trend)! Xu hướng biểu thị sự thay đổi dai hạn của dữ liệu theo thời gian. Xu hướng có thé là xu hướng tăng, giảm hoặc không có xu hướng rõ ràng. Ví du, trong nghiên cứu kinh tế, xu hướng có thé biểu hiện sự tăng trưởng GDP của một quốc gia qua nhiều năm.

Xu hướng có thê được mô hình hóa bằng các phương pháp HQTT hoặc PTT. o Xu hướng tuyến tinh: dit liệu tăng hoặc giảm đều đặn theo thời gian. o Xu hướng phi tuyến tinh: dữ liệu thay đổi theo các mẫu phức tạp hơn, có thé bao gồm sự tăng trưởng theo hàm mũ hoặc hàm logarit. Tính mùa vụ (Seasonality) Tính mùa vụ là các dao động có tính chất lặp đi lặp lại theo chu kỳ thời gian nhất định, thường trong khoảng một năm.

Ví dụ, doanh số bán hàng của một cửa hàng có thê tăng cao vào các dịp lễ hoặc mùa hè. Có thê phát hiện tính mùa vụ bằng phân tích Fourier hoặc các mô hình hồi quy với biến giả. o Mùa vụ theo chu ky năm: biểu thị các mô hình lặp lại hàng năm. o Mùa vụ theo chu kỳ ngăn hơn: biểu thị các mô hình lặp lại trong khoảng thời gian ngắn hơn, như hàng tuần hoặc hàng tháng.

Các yếu tố ngẫu nhiên (Randomness): Randomness đề cập đến các biến động, sự thay đổi không theo một quy luật rõ ràng hoặc không thé dự đoán trước được. Thanh phan này có thé do các yêu tố bên ngoài không thé kiểm soát được hoặc các biến động nội tại của hệ thống. Việc mô hình hóa thành phần ngẫu nhiên đòi hỏi các kỹ thuật thống kê phức tạp như mô hình ARIMA, mô hình GARCH, hoặc các phương pháp học máy.com/tabml_book/ch_data_processing/timeseries_data.html 16 Chương 2. Cơ sở lý thuyết, công trình nghiên cứu liên quan o Biến động ngẫu nhiên ngắn hạn: các biến động xảy ra trong khoảng thời gian ngắn và không có xu hướng hoặc mùa vụ rõ ràng.

o Biến động ngẫu nhiên dai hạn: các biến động xảy ra trong khoảng thời gian dai hơn và có thé ảnh hưởng đến xu hướng chung của chuỗi thời gian.4 Phương pháp phân tích 2. Phương pháp trung bình động (Moving Average): Một kỹ thuật quan trọng trong phân tích DLCTG, MAVG được sử dung dé làm mượt và loại bỏ dữ liệu nhiễu, giúp phát hiện các xu hướng dài hạn rõ ràng hơn. Phương Pháp Auto-Regressive (AR) Phương pháp Auto-Regressive (AR) là một kỹ thuật trong phân tích DLCTG sử dụng các giá trị đã xuất hiện trước đó trong chuỗi thời gian dé dự đoán các giá trị tương lai. Mô hình AR giả định rằng giá trị hiện tại của CTG phụ thuộc tuyến tính vào các giá trị trước đó.

Một mô hình AR(p) (Auto-Regressive of order p) được mô tả bằng công thức: X,=c+0;1X,_¡ + O2Xp_-2 + 0;X,_;.1) Trong đó: X, la giá trị tại thời điểm t. C là hang số (intercept). @,, Ø;,Ø+ là các tham số của mô hình (AR coefficients). €, là thành phần ngẫu nhiên (white noise) tại thời điểm t.5 Một số giải thuật 2.

Giải thuật mạng nơ ron tích chập (CNN)[9] CNN là một loại mạng nơron nhân tạo đặc biệt, CNN đã trở thành một công cụ mạnh mẽ trong lĩnh vực thị giác máy tính và nhiều lĩnh vực khác nhờ khả năng tự động học các đặc trưng từ dữ liệu đầu vảo. Các thành phần chính của CNN: “_ Lớp tích chập (Convolutional Layer): Day là lớp cơ ban và quan trọng nhất của CNN. Lớp tích chập sử dụng các bộ loc (filter hoặc kernel) trích xuất các thông tin đặc trưng của đầu vào và thực hiện phép tính tích chập (convolution). Mỗi bộ lọc sẽ học cách nhận dạng các đặc trưng cục bộ hoặc các mâu phức 17 Chương 2.

Cơ sở lý thuyết, công trình nghiên cứu liên quan tạp hơn ở các tầng sau. Kết quả của phép tính tích chập là một bản đồ đặc trưng (feature map). Lớp kích hoạt (Activation Layer): Sau mỗi phép tính tích chập, một hàm phi tuyến thường được sử dụng giúp mạng nơ-ron học các đặc trưng phức tạp hơn. Có ba hàm hoạt hóa phổ biến được áp dụng là ReLU, ham Tanh và hàm Sigmoid.

Trong học sâu, ReLU thường được ưa chuộng hơn vì nó làm cho qua trình huấn luyện mạng nơ-ron trở nên nhanh hơn rất nhiều.