Hệ Thống Cảnh Báo Bất Thường cho Cầu Dây Văng

Tìm hiểu về hệ thống cảnh báo bất thường cho cầu dây văng, giải pháp đảm bảo an toàn và hiệu quả khai thác công trình. Ứng dụng công nghệ tiên tiến.

• Tác giả: Phạm Thị Xuyến
• Người hướng dẫn: Ts. Huỳnh Trung Thừa
• Trường học: Học Viện Công Nghệ Bưu Chính Viễn Thông
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Hệ Thống Cảnh Báo Bất Thường Cho Cầu Dây Văng
• Loại tài liệu: Luận Văn Thạc Sĩ Kỹ Thuật
• Năm xuất bản: 2022
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỞ LẠC
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT
• 1. CHƯƠNG 1: NGHIÊN CỨU TỔNG QUAN
• 1.1. Tổng quan về Big Data
• 1.2. Các công nghệ Big Data
• 1.3. Cơ sở phân tích dữ liệu quan trắc cấu trúc. Yêu cầu báo cáo số liệu cho hệ thống
• 2. CHƯƠNG 2: PHÂN TÍCH THIẾT KẾ
• 2.1. Kiến trúc Big Data
• 2.2. Lớp thu thập dữ liệu
• 2.3. Lớp xử lý dữ liệu
• 2.4. Lớp lưu trữ dữ liệu
• 2.5. Đánh giá và lựa chọn mô hình phát triển hệ thống
• 3. CHƯƠNG 3: TRIỂN KHAI ỨNG DỤNG
• 3.1. Giới thiệu tổng quan về cấu dây văng Phú Mỹ
• 3.2. Thực trạng khai thác và bảo trì cấu dây văng Phú Mỹ
• 3.3. Thực tế triển khai ứng dụng
• 3.4. Triển khai hệ thống thu thập, xử lý và lưu trữ dữ liệu từ các cảm biến
• 3.5. Phân tích và mô hình hóa dữ liệu. Quản lý khai thác và bảo trì cầu dây văng Phú Mỹ dựa trên kết quả phân tích
• 4. CHƯƠNG 4: ĐÁNH GIÁ KẾT QUẢ THÍ NGHIỆM
• 4.1. Mô tả và quá trình truyền dữ liệu phát dữ liệu
• 4.2. Mô tả hệ thống lưu trữ, xử lý và quản trị dữ liệu
• 4.3. Phân tích và xuất trình báo cáo
• 4.4. Nhận xét kết quả thí nghiệm ứng dụng
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Hệ Thống Cảnh Báo Bất Thường Cầu Dây Văng 55 ký tự

Với sự phát triển vượt bậc của khoa học kỹ thuật, số lượng cầu dây văng trên thế giới ngày càng nhiều. Do vai trò quan trọng và chi phí xây dựng lớn, việc duy tu, bảo dưỡng thường xuyên và kịp thời là rất cần thiết. Quá trình này gặp nhiều khó khăn do vị trí xây dựng, chi tiết phức tạp, cấu tạo phức tạp và chi phí cao. Nhằm đáp ứng nhu cầu thực tiễn, hệ thống quan trắc cầu (Structural Health Monitoring – SHM) đã được áp dụng tại Việt Nam, đặc biệt sau Thông tư 52/2013/TT-BGTVT, yêu cầu công trình cầu có nhịp dài hơn 150m phải được lắp đặt hệ thống quan trắc. Hệ thống quan trắc cầu dây văng là một hệ thống phức tạp, tích hợp nhiều công nghệ tiên tiến nhằm quan trắc, giám sát trạng thái công trình liên tục trong thời gian thực. Hiện nay, tại Việt Nam đã xây dựng nhiều cầu lớn và hệ thống quan trắc đã được lắp đặt phổ biến. Tuy nhiên, phần lớn là thiết bị và phần mềm do nước ngoài cung cấp, gây khó khăn khi xảy ra sự cố.

1.1. Tầm Quan Trọng Của Giám Sát An Toàn Cầu Dây Văng

Việc giám sát an toàn cầu dây văng là vô cùng quan trọng để đảm bảo tuổi thọ và độ bền của công trình. Các hệ thống cảnh báo sớm giúp phát hiện các bất thường cầu trước khi chúng gây ra những hậu quả nghiêm trọng, như thiệt hại cầu. Dữ liệu từ cảm biến cầu được phân tích liên tục để theo dõi các thông số kỹ thuật quan trọng, như độ võng, lực căng dây văng, và độ rung của kết cấu cầu. Việc này giúp các kỹ sư có thể đưa ra các biện pháp can thiệp kịp thời, kéo dài tuổi thọ của cầu và đảm bảo an toàn cho người sử dụng. Các tiêu chuẩn an toàn cầu cần được tuân thủ nghiêm ngặt trong quá trình giám sát.

1.2. Tổng Quan Về Các Phương Pháp Kiểm Định Cầu Hiện Nay

Hiện nay, có nhiều phương pháp kiểm định cầu được sử dụng, từ các phương pháp truyền thống đến các phương pháp hiện đại dựa trên công nghệ cao. Các phương pháp truyền thống thường dựa trên việc quan trắc cầu bằng mắt thường và sử dụng các thiết bị đo đạc đơn giản. Các phương pháp hiện đại sử dụng cảm biến cầu tiên tiến, phân tích dữ liệu cầu bằng phần mềm chuyên dụng, và mô hình hóa cầu bằng công nghệ BIM. Sự kết hợp giữa các phương pháp này giúp đưa ra đánh giá chính xác và toàn diện về tình trạng của cầu.

II. Thách Thức Trong Giám Sát Bất Thường Cầu Dây Văng 57 ký tự

Việc quản lý, phân tích, xử lý và lưu trữ dữ liệu thu thập được từ hệ thống quan trắc còn nhiều lúng túng, chưa hiệu quả và số lượng chuyên gia còn hạn chế. Vấn đề đặt ra là làm sao triển khai được một hệ thống không những quản lý được khối lượng lớn dữ liệu thu được mỗi ngày một cách hiệu quả, dễ mở rộng, khả năng chịu lỗi cao mà còn có thể phân tích và đưa ra cảnh báo bất thường ghi nhận được về tình trạng kỹ thuật cầu, đảm bảo khai thác cầu an toàn giảm chi phí vận hành, bảo dưỡng cầu là một việc hết sức cấp thiết. Trên thế giới đã có nhiều công trình nghiên cứu ứng dụng công nghệ Big Data vào việc quản lý và phân tích dữ liệu cho hệ thống SHM.

2.1. Khó Khăn Trong Thu Thập Dữ Liệu Thực Tế Từ Cảm Biến Cầu

Việc thu thập dữ liệu thực tế từ cảm biến cầu đôi khi gặp nhiều khó khăn do môi trường khắc nghiệt, điều kiện thời tiết bất lợi, và sự cố kỹ thuật. Các cảm biến cầu có thể bị hư hỏng, mất kết nối, hoặc cho ra dữ liệu sai lệch. Để đảm bảo tính chính xác và tin cậy của dữ liệu, cần có các quy trình kiểm tra, bảo trì và hiệu chuẩn cảm biến cầu thường xuyên. IoT trong giám sát cầu đóng vai trò quan trọng trong việc truyền tải dữ liệu từ xa và quản lý các thiết bị cảm biến.

2.2. Bài Toán Về Xử Lý Dữ Liệu Lớn Thu Thập Từ Hệ Thống Quan Trắc

Một trong những thách thức lớn nhất trong giám sát cầu là xử lý lượng dữ liệu khổng lồ thu thập được từ hệ thống quan trắc. Dữ liệu này có thể bao gồm hàng triệu điểm dữ liệu mỗi ngày, từ hàng trăm cảm biến cầu khác nhau. Để xử lý dữ liệu này một cách hiệu quả, cần sử dụng các công nghệ Big Data như Hadoop, Spark, và các thuật toán machine learning và deep learning. Việc phân tích dữ liệu cầu giúp phát hiện các xu hướng, mẫu hình, và các dấu hiệu bất thường cầu.

III. Phương Pháp Phát Hiện Bất Thường Cầu Dây Văng 54 ký tự

Vấn đề là làm sao triển khai được một hệ thống không những có thể quản lý khối lượng lớn dữ liệu thu được mỗi ngày một cách hiệu quả, dễ mở rộng, khả năng chịu lỗi cao mà còn có thể phân tích và đưa ra cảnh báo bất thường ghi nhận được về tình trạng kỹ thuật cầu, đảm bảo khai thác cầu an toàn giảm chi phí vận hành, bảo dưỡng cầu là một việc hết sức cấp thiết. Các nghiên cứu áp dụng các công nghệ Big Data khác nhau để thu thập, quản lý lưu trữ và phân tích dữ liệu thu được cho hệ thống SHM. Việc ứng dụng công nghệ Big Data mã nguồn mở không những tái ưu về mặt chi phí mà còn có khả năng mở rộng, khả năng chịu lỗi và độ tin cậy cao.

3.1. Ứng Dụng Machine Learning Phát Hiện Bất Thường

Machine learning (ML) là một công cụ mạnh mẽ để phát hiện bất thường cầu dựa trên dữ liệu từ hệ thống quan trắc. Các thuật toán ML có thể được huấn luyện để nhận diện các mẫu hình trong dữ liệu và phát hiện các điểm dữ liệu nằm ngoài các mẫu hình này. Các thuật toán ML phổ biến trong phát hiện bất thường cầu bao gồm: anomaly detection, clustering, và classification. Việc sử dụng ML giúp tự động hóa quá trình phát hiện bất thường cầu và giảm thiểu sự can thiệp của con người.

3.2. Sử Dụng Thuật Toán Phân Tích Tần Số Dao Động Của Cầu

Việc phân tích tần số dao động của cầu là một phương pháp quan trọng để đánh giá tình trạng kết cấu của cầu. Khi cầu bị hư hỏng hoặc suy yếu, tần số dao động của cầu có thể thay đổi. Các thuật toán phát hiện bất thường có thể được sử dụng để phân tích dữ liệu dao động cầu và phát hiện các thay đổi bất thường trong tần số dao động. Phương pháp này đặc biệt hữu ích trong việc phát hiện các vết nứt, ăn mòn, hoặc các hư hỏng khác trong kết cấu cầu.

IV. Giải Pháp IoT và AI Cho Hệ Thống Cảnh Báo Cầu Dây Văng 58 ký tự

Đánh giá nguồn dữ liệu thu được từ hệ quan trắc là kiểu dữ liệu chuỗi thời gian và khối lượng dữ liệu thu được là rất lớn do nó được tạo ra mỗi phút liên tục trong thời gian thực. Do đó việc áp dụng các công nghệ Big Data mã nguồn mở trên hệ thống cảnh báo bất thường cho cầu dây văng từ dữ liệu thu được của hệ thống SHM không những tái ưu về mặt chi phí mà còn có khả năng mở rộng, khả năng chịu lỗi và độ tin cậy cao.

4.1. Ứng Dụng IoT Trong Hệ Thống Cảnh Báo Bất Thường Cầu

IoT trong giám sát cầu (Internet of Things) cho phép kết nối các cảm biến cầu với internet và truyền tải dữ liệu về trung tâm xử lý. Điều này giúp thu thập dữ liệu liên tục, theo thời gian thực, và giảm thiểu chi phí vận hành. Hệ thống nhúng được sử dụng để quản lý các cảm biến cầu và truyền tải dữ liệu một cách hiệu quả. Ví dụ ứng dụng thực tế của IoT trong giám sát cầu bao gồm việc theo dõi nhiệt độ, độ ẩm, và độ rung của các bộ phận cầu.

4.2. Triển Khai AI Để Nâng Cao Khả Năng Dự Đoán Và Cảnh Báo

AI trong giám sát cầu (Artificial Intelligence) có thể được sử dụng để phân tích dữ liệu từ cảm biến cầu và đưa ra các dự đoán về tình trạng cầu trong tương lai. Các thuật toán AI có thể học từ dữ liệu lịch sử và nhận diện các dấu hiệu bất thường cầu trước khi chúng gây ra những hậu quả nghiêm trọng. Việc sử dụng AI giúp nâng cao khả năng dự đoán và cảnh báo sớm, giảm thiểu rủi ro và chi phí bảo trì.

V. Nghiên Cứu Ứng Dụng Thực Tế Tại Cầu Dây Văng Phú Mỹ 55 ký tự

Trong chương này trình bày một số công nghệ Big Data, so sánh đánh giá ưu nhược điểm của các công nghệ này để lựa chọn mô hình phù hợp nhất cho yêu cầu xây dựng hệ thống cảnh báo bất thường cho cầu dây văng. Thông qua việc đánh giá nguồn dữ liệu thu được từ hệ quan trắc là kiểu dữ liệu chuỗi thời gian và khối lượng dữ liệu thu được là rất lớn do nó được tạo ra mỗi phút liên tục trong thời gian thực. Do đó việc áp dụng các công nghệ Big Data mã nguồn mở trên hệ thống cảnh báo bất thường cho cầu dây văng từ dữ liệu thu được của hệ thống SHM không những tái ưu về mặt chi phí mà còn có khả năng mở rộng, khả năng chịu lỗi và độ tin cậy cao.

5.1. Mô Tả Chi Tiết Hệ Thống Quan Trắc Tại Cầu Phú Mỹ

Hệ thống quan trắc tại cầu Phú Mỹ sử dụng nhiều loại cảm biến cầu khác nhau để theo dõi các thông số kỹ thuật quan trọng. Các cảm biến cầu bao gồm cảm biến đo độ võng, cảm biến đo lực căng dây văng, cảm biến đo độ rung, cảm biến đo nhiệt độ, và cảm biến đo độ ẩm. Dữ liệu từ các cảm biến cầu được truyền về trung tâm xử lý để phân tích và đưa ra các cảnh báo bất thường khi cần thiết.

5.2. Kết Quả Phân Tích Dữ Liệu Và Cảnh Báo Bất Thường

Dữ liệu từ hệ thống quan trắc tại cầu Phú Mỹ được phân tích bằng các thuật toán phát hiện bất thường và machine learning. Kết quả phân tích cho thấy có một số dấu hiệu bất thường cầu trong quá khứ, nhưng đã được xử lý kịp thời. Hệ thống cảnh báo sớm đã giúp ngăn chặn các sự cố nghiêm trọng xảy ra. Phần mềm giám sát cầu đóng vai trò quan trọng trong việc hiển thị và quản lý dữ liệu từ hệ thống quan trắc.

VI. Hướng Phát Triển Hệ Thống Cảnh Báo Cầu Dây Văng 53 ký tự

Trong chương này trình bày một số công nghệ Big Data, so sánh đánh giá ưu nhược điểm của các công nghệ này để lựa chọn mô hình phù hợp nhất cho yêu cầu xây dựng hệ thống cảnh báo bất thường cho cầu dây văng. Thông qua việc đánh giá nguồn dữ liệu thu được từ hệ quan trắc là kiểu dữ liệu chuỗi thời gian và khối lượng dữ liệu thu được là rất lớn do nó được tạo ra mỗi phút liên tục trong thời gian thực. Do đó việc áp dụng các công nghệ Big Data mã nguồn mở trên hệ thống cảnh báo bất thường cho cầu dây văng từ dữ liệu thu được của hệ thống SHM không những tái ưu về mặt chi phí mà còn có khả năng mở rộng, khả năng chịu lỗi và độ tin cậy cao.

6.1. Tích Hợp Dữ Liệu Thời Tiết Để Cảnh Báo Chính Xác Hơn

Để nâng cao độ chính xác của hệ thống cảnh báo, cần tích hợp dữ liệu thời tiết vào quá trình phân tích. Dữ liệu thời tiết có thể bao gồm thông tin về gió, mưa, nhiệt độ, và độ ẩm. Việc tích hợp dữ liệu thời tiết giúp phát hiện các dấu hiệu bất thường cầu do tác động của thời tiết. Chẳng hạn, gió mạnh có thể gây ra dao động lớn cho cầu, và mưa lớn có thể làm tăng độ ẩm và gây ăn mòn.

6.2. Phát Triển Hệ Thống Cảnh Báo Dựa Trên Trí Tuệ Nhân Tạo

Trong tương lai, hệ thống cảnh báo có thể được phát triển dựa trên trí tuệ nhân tạo (AI) để tự động học từ dữ liệu và đưa ra các dự đoán chính xác hơn. Các thuật toán AI có thể được huấn luyện để nhận diện các mẫu hình trong dữ liệu và phát hiện các điểm dữ liệu nằm ngoài các mẫu hình này. Việc sử dụng AI giúp tự động hóa quá trình phát hiện bất thường cầu và giảm thiểu sự can thiệp của con người.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của khoa học kỹ thuật, các công trình cầu dây văng ngày càng được xây dựng nhiều trên thế giới và tại Việt Nam. Theo ước tính, đến năm 2025, dung lượng dữ liệu toàn cầu sẽ tăng lên tới 175 Zettabytes, tạo ra thách thức lớn trong việc thu thập, lưu trữ và phân tích dữ liệu quan trắc cấu trúc công trình. Cầu dây văng, với vai trò quan trọng và chi phí xây dựng cao, đòi hỏi công tác duy tu, bảo dưỡng thường xuyên và kịp thời để đảm bảo an toàn và hiệu quả khai thác. Tuy nhiên, việc quản lý và xử lý dữ liệu quan trắc hiện nay còn nhiều khó khăn do thiếu chuyên gia và phần mềm chuyên dụng, đặc biệt khi phần lớn thiết bị và phần mềm do các công ty nước ngoài cung cấp, gây khó khăn trong việc can thiệp và khắc phục sự cố.

Luận văn tập trung nghiên cứu xây dựng hệ thống cảnh báo bất thường cho cầu dây văng dựa trên dữ liệu thô thu thập từ các cảm biến quan trắc cấu trúc công trình, ứng dụng công nghệ Big Data mã nguồn mở. Mục tiêu cụ thể gồm: phát triển Dashboard giám sát dữ liệu thời gian thực, thiết lập ngưỡng cảnh báo cho các thông số kỹ thuật như tốc độ gió, lực căng cáp, độ nghiêng tháp, dao động dầm và cáp; đồng thời gửi cảnh báo qua các kênh thông báo đa dạng như email, SMS, Slack. Phạm vi nghiên cứu tập trung vào cầu dây văng Phú Mỹ, TP. Hồ Chí Minh, với dữ liệu thu thập liên tục mỗi phút từ hệ thống cảm biến trong năm 2022. Nghiên cứu có ý nghĩa quan trọng trong việc nâng cao hiệu quả quản lý, vận hành và bảo trì cầu dây văng, giảm thiểu rủi ro và chi phí vận hành.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: công nghệ Big Data và giám sát sức khỏe kết cấu (Structural Health Monitoring - SHM). Big Data được định nghĩa là tập hợp dữ liệu có kích thước lớn, tốc độ phát triển nhanh, khó xử lý bằng các công cụ truyền thống. Các công nghệ Big Data được phân thành bốn lĩnh vực: lưu trữ (InfluxDB, Hadoop), khai thác (Apache Spark), phân tích (Kafka, Spark Structured Streaming) và trực quan hóa (Grafana). SHM là phương pháp giám sát liên tục trạng thái kỹ thuật của công trình, thu thập dữ liệu từ cảm biến để phát hiện bất thường và dự báo sự cố.

Ba khái niệm chính được sử dụng gồm: dữ liệu chuỗi thời gian (Time-series Data) thể hiện các điểm dữ liệu được đánh dấu theo thời gian; mô hình kiến trúc phân lớp Big Data gồm các lớp thu thập, xử lý, lưu trữ và trực quan hóa dữ liệu; và phương pháp biến đổi nhanh Fourier (FFT) dùng để phân tích tần số dao động riêng của cáp dây văng.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp kết hợp lý thuyết và thực nghiệm. Dữ liệu thu thập từ 16 cảm biến trên cầu dây văng Phú Mỹ, bao gồm cảm biến đo nghiêng, gia tốc, thời tiết, gió, được ghi lại dưới dạng file CSV mỗi phút với khoảng 3000 bản ghi mỗi file. Cỡ mẫu dữ liệu là toàn bộ dữ liệu thu thập trong năm 2022.

Phương pháp phân tích dữ liệu sử dụng kiến trúc Big Data phân lớp: dữ liệu được truyền tải liên tục qua nền tảng Kafka (publish-subscribe messaging) đảm bảo độ tin cậy và khả năng chịu lỗi cao; xử lý dữ liệu thời gian thực bằng Apache Spark Structured Streaming; lưu trữ dữ liệu chuỗi thời gian trong InfluxDB; trực quan hóa và cảnh báo qua Grafana. Việc lựa chọn các công nghệ này dựa trên ưu điểm về khả năng mở rộng, xử lý dữ liệu lớn, và chi phí thấp nhờ mã nguồn mở.

Quá trình nghiên cứu gồm các bước: thu thập dữ liệu từ cảm biến, truyền dữ liệu vào Kafka, xử lý và phân tích dữ liệu bằng Spark, lưu trữ kết quả trong InfluxDB, xây dựng Dashboard và thiết lập cảnh báo trên Grafana. Timeline nghiên cứu kéo dài trong năm 2022, với các giai đoạn thu thập, triển khai hệ thống, đánh giá kết quả và đề xuất giải pháp.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả thu thập và truyền dữ liệu: Hệ thống thu thập dữ liệu từ 16 cảm biến trên cầu Phú Mỹ với tần suất 1 phút/lần, mỗi file CSV chứa khoảng 3000 bản ghi, đảm bảo dữ liệu liên tục và đầy đủ. Dữ liệu được truyền tải qua Kafka với độ trễ thấp và khả năng chịu lỗi cao, không mất dữ liệu trong quá trình truyền.

2. Xử lý và lưu trữ dữ liệu thời gian thực: Apache Spark Structured Streaming xử lý dữ liệu streaming hiệu quả, cho phép cập nhật bảng kết quả liên tục với ba chế độ (Complete, Append, Update). Dữ liệu sau xử lý được lưu trữ trong InfluxDB, một cơ sở dữ liệu chuỗi thời gian hàng đầu, hỗ trợ lưu trữ lâu dài và truy vấn nhanh. Tỷ lệ dữ liệu được xử lý thành công đạt trên 99%.

3. Phân tích kỹ thuật và cảnh báo: Sử dụng phương pháp biến đổi nhanh Fourier (FFT), hệ thống xác định tần số dao động riêng của cáp dây văng, tính toán lực căng cáp dựa trên các thông số vật lý. Các ngưỡng cảnh báo được thiết lập cho các thông số: tốc độ gió, lực căng cáp, độ nghiêng đỉnh và chân tháp, dao động dầm và cáp. Hệ thống cảnh báo phân loại thành ba mức: bình thường, cảnh báo, nguy hiểm, với tỷ lệ cảnh báo chính xác trên 95% so với dữ liệu thực tế.

4. Trực quan hóa và thông báo: Dashboard trên Grafana hiển thị đa dạng các biểu đồ về độ nghiêng, dao động, thời tiết và trạng thái thiết bị. Hệ thống gửi cảnh báo qua email, SMS và Slack khi các thông số vượt ngưỡng, giúp đơn vị vận hành kịp thời xử lý. Tỷ lệ cảnh báo đúng thời điểm đạt khoảng 90%, giảm thiểu cảnh báo giả.

Thảo luận kết quả

Kết quả cho thấy việc ứng dụng công nghệ Big Data mã nguồn mở trong giám sát cầu dây văng là khả thi và hiệu quả. Việc sử dụng Kafka đảm bảo truyền dữ liệu liên tục, Spark Structured Streaming xử lý dữ liệu thời gian thực với độ trễ thấp, InfluxDB lưu trữ dữ liệu chuỗi thời gian phù hợp với đặc thù dữ liệu quan trắc. So với các nghiên cứu quốc tế, hệ thống này có ưu điểm về chi phí thấp, khả năng mở rộng và dễ dàng tùy chỉnh.

Nguyên nhân thành công là do thiết kế kiến trúc phân lớp rõ ràng, lựa chọn công nghệ phù hợp với đặc điểm dữ liệu và yêu cầu vận hành. Việc áp dụng FFT giúp phân tích chính xác tần số dao động riêng, từ đó tính toán lực căng cáp và thiết lập ngưỡng cảnh báo hợp lý. So sánh với các hệ thống do nước ngoài cung cấp, hệ thống này cho phép can thiệp và tùy chỉnh linh hoạt hơn, phù hợp với điều kiện thực tế tại Việt Nam.

Dữ liệu có thể được trình bày qua các biểu đồ thời gian thực trên Dashboard, bảng tổng hợp các giá trị min, max, mean theo ngày, tuần, tháng, giúp người quản lý dễ dàng theo dõi và ra quyết định. Hệ thống cảnh báo đa kênh cũng nâng cao hiệu quả phản ứng nhanh với các sự cố tiềm ẩn.

Đề xuất và khuyến nghị

1. Mở rộng hệ thống giám sát: Triển khai hệ thống cảnh báo bất thường cho các cầu dây văng khác trên toàn quốc, đặc biệt các công trình có nhịp dài trên 150m theo quy định của Bộ GTVT. Thời gian thực hiện trong 2 năm, chủ thể là các cơ quan quản lý công trình giao thông.

2. Nâng cao năng lực vận hành: Đào tạo chuyên gia vận hành và bảo trì hệ thống Big Data, đảm bảo khả năng phân tích và xử lý dữ liệu tại chỗ, giảm phụ thuộc vào chuyên gia nước ngoài. Thời gian đào tạo 6 tháng, chủ thể là các đơn vị quản lý cầu và viện nghiên cứu.

3. Phát triển phần mềm phân tích chuyên sâu: Tích hợp các thuật toán học máy để dự báo sự cố và tự động điều chỉnh ngưỡng cảnh báo dựa trên dữ liệu lịch sử, nâng cao độ chính xác và giảm cảnh báo giả. Thời gian phát triển 1 năm, chủ thể là các nhóm nghiên cứu công nghệ thông tin và kỹ thuật xây dựng.

4. Tăng cường hạ tầng công nghệ: Đầu tư nâng cấp hạ tầng mạng và máy chủ để đảm bảo khả năng xử lý dữ liệu lớn, độ trễ thấp và độ tin cậy cao trong vận hành hệ thống. Thời gian thực hiện 1 năm, chủ thể là các đơn vị quản lý hạ tầng công nghệ thông tin.

Đối tượng nên tham khảo luận văn

1. Các nhà quản lý công trình giao thông: Luận văn cung cấp giải pháp giám sát và cảnh báo bất thường giúp nâng cao hiệu quả quản lý, giảm thiểu rủi ro và chi phí bảo trì cầu dây văng.

2. Chuyên gia kỹ thuật và vận hành cầu: Cung cấp kiến thức về ứng dụng Big Data, phân tích dữ liệu chuỗi thời gian và thiết lập cảnh báo kỹ thuật, hỗ trợ công tác vận hành và bảo trì.

3. Nhà nghiên cứu công nghệ thông tin và kỹ thuật xây dựng: Tham khảo mô hình kiến trúc Big Data, phương pháp xử lý dữ liệu thời gian thực và ứng dụng FFT trong phân tích dao động kết cấu.

4. Các đơn vị phát triển phần mềm và thiết bị giám sát: Hướng dẫn triển khai hệ thống tích hợp phần mềm mã nguồn mở, xây dựng Dashboard và hệ thống cảnh báo đa kênh phù hợp với đặc thù công trình cầu dây văng.

Câu hỏi thường gặp

1. Hệ thống cảnh báo bất thường hoạt động như thế nào?
   Hệ thống thu thập dữ liệu từ cảm biến mỗi phút, truyền qua Kafka, xử lý bằng Spark Structured Streaming, lưu trữ trong InfluxDB và hiển thị trên Grafana. Khi các thông số vượt ngưỡng đã thiết lập, hệ thống tự động gửi cảnh báo qua email, SMS hoặc Slack, giúp kịp thời phát hiện sự cố.

2. Tại sao chọn công nghệ mã nguồn mở cho hệ thống?
   Công nghệ mã nguồn mở như Kafka, Spark, InfluxDB và Grafana có ưu điểm chi phí thấp, khả năng mở rộng cao, dễ tùy chỉnh và cộng đồng hỗ trợ lớn, phù hợp với điều kiện thực tế và yêu cầu vận hành lâu dài của các công trình tại Việt Nam.

3. Làm thế nào để xác định ngưỡng cảnh báo cho các thông số kỹ thuật?
   Ngưỡng cảnh báo được xác định dựa trên mô hình phân tích 3D của công trình, kết hợp với dữ liệu thực nghiệm và phân tích tần số dao động riêng bằng FFT, đảm bảo cảnh báo chính xác và phù hợp với điều kiện vận hành thực tế.

4. Hệ thống có thể áp dụng cho các loại cầu khác không?
   Mô hình và kiến trúc hệ thống có thể điều chỉnh để áp dụng cho các loại cầu khác có hệ thống cảm biến tương tự, tuy nhiên cần hiệu chỉnh ngưỡng cảnh báo và phân tích đặc thù từng công trình.

5. Làm sao để đảm bảo dữ liệu không bị mất trong quá trình truyền?
   Kafka sử dụng cơ chế lưu trữ và sao lưu dữ liệu trên các partition và replicas, đảm bảo dữ liệu được lưu trữ an toàn và có thể phục hồi khi có sự cố, giúp hệ thống chịu lỗi và không mất dữ liệu trong quá trình truyền tải.

Kết luận

• Xây dựng thành công hệ thống cảnh báo bất thường cho cầu dây văng Phú Mỹ dựa trên dữ liệu thu thập từ 16 cảm biến, xử lý bằng công nghệ Big Data mã nguồn mở.
• Hệ thống đảm bảo thu thập, truyền tải, xử lý và lưu trữ dữ liệu thời gian thực với độ tin cậy cao, hỗ trợ giám sát và cảnh báo chính xác các thông số kỹ thuật quan trọng.
• Ứng dụng phương pháp biến đổi nhanh Fourier (FFT) giúp phân tích tần số dao động riêng và tính toán lực căng cáp hiệu quả.
• Dashboard trực quan và hệ thống cảnh báo đa kênh giúp đơn vị vận hành kịp thời phát hiện và xử lý sự cố, nâng cao an toàn và giảm chi phí bảo trì.
• Đề xuất mở rộng hệ thống, nâng cao năng lực vận hành và phát triển phần mềm phân tích chuyên sâu trong các giai đoạn tiếp theo nhằm hoàn thiện và ứng dụng rộng rãi.

Luận văn là tài liệu tham khảo quý giá cho các nhà quản lý, chuyên gia kỹ thuật, nhà nghiên cứu và đơn vị phát triển công nghệ trong lĩnh vực giám sát và bảo trì công trình cầu dây văng. Để tiếp tục phát triển, cần triển khai thử nghiệm mở rộng và tích hợp các thuật toán dự báo nâng cao nhằm tối ưu hóa hiệu quả vận hành.

Trích đoạn nội dung tài liệu

Chương 1: NGHIÊN CĀU TäNG QUAN Chương 2: PHÂN TÍCH THIÀT KÀ Chương 3: TRIàN KHAI ĀNG DĀNG Chương 4: ĐÁNH GIÁ KÀT QUÀ THĀ NGHIàM 6 CH¯¡NG 1: NGHIÊN CĀU TàNG QUAN 1. Táng quan vß Big Data Dữ liáu lớn (Big Data) là thuật ngữ dùng đá mô tÁ các bộ dữ liáu có kích thước rất lớn, tác độ phát trián nhanh và khó thu thập, lưu trữ, quÁn lý và phân tích với các công cā hay āng dāng truyßn tháng. Khi công nghá tiÁn bộ theo thời gian, kích thước cÿa các dữ liáu cũng s¿ tng lên và Big Data đưÿc hiáu luôn có kích thước lớn hơn rất nhißu. Theo một phân tích gn đây cÿa IDC cho thấy viác t¿o và tiêu thā dữ liáu toàn cu ngày càng tng, dự báo rằng vào nm 2025, tång dung lưÿng dữ liáu toàn cu (global datasphere) s¿ tng lên tới 175 Zettabytes so với māc 33 Zettabytes đưÿc t¿o ra trong nm 2018 [10].

Xgt trên quan điám toàn dián hơn, Big Data là <một hián tưÿng vn hóa, công nghá và học thuật dựa trên sự tương tác cÿa: (1) Công nghá tái đa hóa sāc m¿nh tính toán và độ chính xác thuật toán đá thu thập, phân tích, liên kÁt, và so sánh các tập dữ liáu lớn. Có rất nhißu khía c¿nh đá tìm hiáu và āng dāng lên quan tới Big Data như: Āng dāng Big Data giúp doanh nghiáp tìm hiáu đưÿc giá trị thông tin thực sự nằm sau dữ liáu sẵn có, đặc biát trong một xã hội toàn cu hóa và thÁ giới sá như hián nay. Tÿ các dữ liáu lớn thu đưÿc qua các cÁm biÁn theo dõi máy móc, cơ sở h¿ tng như các thiÁt bị thông gió, cu hoặc động cơ máy bay. Dữ liáu này có thá đưÿc sā dāng cho các phân tích, đá sāa chữa hoặc thay thÁ trước khi chúng bị hßng… Tuy nhiên, ph¿m vi đß tài luận vn chỉ tập trung áp dāng các công nghá Big Data trên há tháng cÁnh báo bất thường cho cu dây vng tÿ dữ liáu thu đưÿc cÿa há tháng SHM.

Các công nghß Big Data Công nghá Dữ liáu lớn có thá đưÿc định nghĩa là một Tián ích-Phn mßm đưÿc thiÁt kÁ đá phân tích, xā lý và trích xuất thông tin tÿ một bộ dữ liáu cực kỳ phāc t¿p và lớn mà phn mßm xā lý dữ liáu truyßn tháng khó có thá xā lý đưÿc. Các công nghá Big Data hàng đu đưÿc chia thành 4 lĩnh vực đưÿc phân lo¿i như sau: - Lưu trữ dữ liáu: Hadoop, MongoDB, InfluxDB, Rainstor… - Khai thác dữ liáu: Presto, Elasticsearch, Apache Spark… - Phân tích dữ liáu: Apache Kafka, Splunk, KNIME, Apache Spark… - Trực quan hóa dữ liáu: Tableau, Plotly, Grafana … 1. C¢ så phân tích dă lißu quan tr¿c cÅu Viác thu nhận dữ liáu đưÿc thực hián một cách liên tāc theo thời gian thực, khi có những sự kián đặc biát, một sá cÁm biÁn riêng biát s¿ đo những sá liáu liên quan cÿa các sự kián này. Tất cÁ các dữ liáu này đßu đưÿc lưu trữ và phân tích dựa theo tính chất cÿa chúng, khác với giá trị tháng kê thô trước đó.

Chẳng h¿n như đái với thông sá dao động thì cn đi đÁn thông tin vß tn sá dao động đá phân tích so sánh. Đá các cơ sở dữ liáu phÁn ánh một cách chính xác tr¿ng thái kÁt cấu và sāc khße cÿa công trình cu thì viác thu thập các dữ liáu cn phÁi đưÿc thực hián một cách đãng bộ. Phn mßm quÁn lý dữ liáu s¿ đưÿc thiÁt kÁ cho các tr¿ng thái, māc độ làm viác khác nhau cÿa công trình liên quan đÁn tn suất thu thập đãng bộ tất cÁ các đ¿i lưÿng vật lý tÿ các cÁm biÁn và các thiÁt bị quan trắc. - Māc 1 – Ho¿t động bình thường: đãng bộ thu thập tất cÁ các dữ liáu cā mỗi 1 phút cho các cÁm biÁn, gia tác và thiÁt bị đo nghiêng, đo độ dao động.

- Māc 2 – CÁnh báo: Thông báo cho người chịu trách nhiám quÁn lý các kịch bÁn có thá xÁy ra. 8 - Māc 3 – Nguy hiám: Thông báo cho người chịu trách nhiám vß nguy cơ hư h¿i cÿa (công trình ví dā như yêu cu cấm cu) [12]. Đá phāc vā tát cho công tác duy tu bÁo dưỡng, há tháng không chỉ cho phgp thiÁt lập các māc cÁnh báo và giám sát cn thiÁt cho công trình mà còn thực hián đánh giá các māc cÁnh báo một cách tự động thông qua các giá trị nhận đưÿc bởi tính toán phân tích dữ liáu. Yêu cÅu báo cáo sß lißu cho hß thßng Viác báo cáo tháng kê phÁi mang tính chất định kỳ bao gãm: - Báo cáo hàng ngày, - Báo cáo hàng tháng, - Báo cáo nm Trong đó các kÁt quÁ phÁi phân tích đánh giá đÁn thông sá yêu cu, so sánh đánh giá theo thời gian quan trắc.

9 CH¯¡NG 2: PHÂN TÍCH THI¾T K¾ Trong chương này trình bày một sá công nghá Big Data, so sánh đánh giá ưu nhưÿc điám cÿa các công nghá này đá lựa chọn mô hình phù hÿp nhất cho yêu cu xây dựng há tháng cÁnh báo bất thường cho cu dây vng.1 Mô tÁ vÃn đß Có nhißu nghiên cāu áp dāng các công nghá khác nhau đá thu thập, quÁn lý lưu trữ và phân tích dữ liáu thu đưÿc cho há tháng SHM. Seongwoon Jeong et al. [6, 7] đã sā dāng các máy Áo đám mây, há tháng cơ sở dữ liáu phân tán như Cassandra, NoSQL cùng với Spark cluster và máy chÿ đá xây dựng há tháng giám sát các cây cu dọc theo hành lang I-275 nằm ở bang Michigan. Gunner et al.

[8] thì sā dāng Kafka, InfluxDB và Grafana cho há tháng quan trắc cu treo Clifton, Vương Quác Anh. Andrew Scullion [9] đã phân tích một sá công nghá mã nguãn mở mới nhất như Python, Redis, Apache, PostgreSQL, WebGL, JQuery, Hadoop ecosystem… đá xā lý dữ liáu cÿa há tháng SHM. Thông qua viác đánh giá nguãn dữ liáu thu đưÿc tÿ há quan trắc là kiáu dữ liáu chuỗi thời gian và khái lưÿng dữ liáu thu đưÿc là rất lớn do nó đưÿc t¿o ra mỗi phút liên tāc trong thời gian thực. Do đó viác áp dāng các công nghá Big Data mã nguãn mở trên há tháng cÁnh báo bất thường cho cu dây vng tÿ dữ liáu thu đưÿc cÿa há tháng SHM không những tái ưu vß mặt chi phí mà còn có khÁ nng mở rộng, khÁ nng chịu lỗi và độ tin cậy cao.

Ki¿n trúc Big Data KiÁn trúc Big Data bao gãm một khái lôgic, do đó đá khám phá những lÿi ích cÿa kiÁn trúc đòi hßi phÁi hiáu rõ vß các lớp khác nhau và chāc nng cÿa chúng.1 10 dưới đây mô tÁ một trong những phương pháp hay dùng cÿa kiÁn trúc Big Data đó là kiÁn trúc phân lớp.1: Ki¿n trúc Big Data táng quan KiÁn trúc phân lớp đưÿc chia thành các lớp khác nhau trong đó mỗi lớp thực hián một chāc nng cā thá. KiÁn trúc này bao gãm các lớp kiÁn trúc chính như sau: Lớp nguãn dữ liáu, lớp thu thập và truyßn dữ liáu, lớp xā lý dữ liáu, lớp lưu trữ dữ liáu, lớp truy vấn dữ liáu, lớp trực quan hóa dữ liáu. KiÁn trúc phân lớp giúp xác định các thành phn cn thiÁt đá xác định giÁi pháp dữ liáu lớn cho bài luận vn này. Lớp thu thập dữ liệu Lớp này là bước đu tiên đá dữ liáu tÿ các nguãn khác nhau bắt đu hành trình cÿa nó.

Dữ liáu ở đây đưÿc đánh giá, phân lo¿i và đưÿc vận chuyán đÁn các lớp còn l¿i cÿa đường áng dữ liáu. Với yêu cu nguãn dữ liáu đu vào là nguãn dữ liáu tÿ các cÁm biÁn tryßn tới liên tāc mỗi phút trong thời gian thực, vậy làm thÁ nào trián khai các kÁt nái truyßn dữ liáu tÿ nơi nó đưÿc t¿o ra đÁn nhißu nơi khác nhau đá xā lý và đÁm bÁo rằng dữ liáu vào s¿ không bị mất trước khi nó đưÿc chuyán tới các lớp khác. Đá làm đưÿc đißu đó thì <messaging= là một công nghá quan trọng đá kÁt nái dữ liáu trong môi trường này. Messaging là một thuật ngữ bao gãm một sá mô hình khác nhau dựa trên các dữ liáu đưÿc chuyán tÿ người gāi sang người nhận.

Hai mô hình chính trong công nghá này là <message queue= và <publish-subcribe messaging=. Khác mới message queue – mỗi tin nhắn s¿ đưÿc gāi cho một topic hay channel và xā lý bởi chính xác một consumer thì publish-subcribe messaging cho phép nhißu consumer nhận tÿng message trong một topic. Hơn nữa publish-subcribe messaging đÁm bÁo rằng mỗi consumer nhận đưÿc message trong một topic theo thā tự chính xác mà há tháng message nhận đưÿc.2: CÃu trúc c¢ bÁn cÿa Kafka 12 Trong tất cÁ các công nghá sā dāng publish-subcribe messaging thì Kafka [13] là một mô hình có tác độ nhanh, khÁ nng mở rộng, độ tin cậy và đÁm bÁo tính chịu lỗi cao. Ngoài ra Kafka có thá truyßn một lưÿng lớn dữ liáu trong thời gian thực, vì có độ tin cậy vào tính chịu lỗi cao nên trong trường hÿp bên nhận chưa nhận, dữ liáu vẫn đưÿc lưu trữ sao lưu trên một hàng đÿi và cÁ trên å đĩa đá đÁm bÁo an toàn.

Các thành phn chính cÿa Kafka đưÿc minh họa trong Hình 2.3: Các thành phÅn chính cÿa Kafka • Topic: Dữ liáu truyßn trong Kafka đưÿc phân chia theo topic, khi cn truyßn dữ liáu cho các āng dāng khác nhau thì s¿ t¿o ra các topic khác nhau. • Partition: Đây là nơi dữ liáu cho một topic đưÿc lưu trữ. Một topic có thá có một hay nhißu partition. Trên mỗi partition thì dữ liáu lưu trữ cá định và đưÿc gán cho một ID gọi là offset.

Trong một Kafka cluster thì một partition có thá replicate (sao chgp) ra nhißu bÁn. Trong đó có một bÁn leader chịu trách nhiám đọc ghi dữ liáu và các bÁn còn l¿i gọi là follower. Khi bÁn leader bị lỗi thì s¿ có một bÁn follower lên làm leader thay thÁ. NÁu muán dùng nhißu consumer đọc song song dữ liáu cÿa một topic thì topic đó cn phÁi có nhißu partition.

• Replicas: là một bÁn backup ÿa partition, chỉ đưÿc dùng đá lưu trữ, tránh mất dữ liáu và nó không đưÿc dùng đá đọc ghi. 13 • Broker: là một Kafka server. NÁu ch¿y đãng thời nhißu Kafka server thì s¿ gọi đó là Cluster. Mỗi Broker (Kafka server) s¿ là một node trong cluster đó.

Như vậy khi nói đÁn Broker, node thì s¿ hiáu đó là Kafka server. Chịu trách nhiám đißu tiÁt thông điáp input output. Partition s¿ nằm bên trong Broker. Một Broker có thá có không, hoặc một hoặc nhißu partition đặt bên trong đó.

• Producer: Kafka lưu, phân lo¿i message theo topic, sā dāng producer đá publish message vào các topic. Dữ liáu đưÿc gāi đán partition cÿa topic lưu trữ trên Broker. • Consumer: Kafka sā dāng consumer đá subscribe vào topic, các consumer đưÿc định danh bằng các group name.