Tổng quan nghiên cứu

Trong bối cảnh phát triển đô thị thông minh tại Việt Nam, đặc biệt là tại các tỉnh như Tây Ninh, nhu cầu quản lý và phân tích dữ liệu giao thông ngày càng trở nên cấp thiết. Theo ước tính, hệ thống camera giám sát giao thông tại các thành phố lớn có thể tạo ra hàng chục nghìn bản ghi dữ liệu mỗi ngày, với tốc độ sinh dữ liệu lên đến hàng gigabit mỗi giây. Vấn đề đặt ra là làm thế nào để xây dựng một nền tảng lưu trữ và phân tích dữ liệu dòng (streaming data) có khả năng xử lý khối lượng lớn, đa dạng và phức tạp này một cách hiệu quả, đồng thời hỗ trợ các ứng dụng dự báo lưu lượng giao thông ngắn hạn.

Mục tiêu nghiên cứu của luận văn là phát triển một nền tảng tích hợp phân tích dữ liệu dòng thời gian thực, tập trung vào dữ liệu đếm phương tiện giao thông và nhận diện biển số xe tại tỉnh Tây Ninh. Nghiên cứu đề xuất giải pháp lưu trữ, truy vấn dữ liệu dựa trên kiến trúc Data Lakehouse, kết hợp các công nghệ Apache Kafka, Apache Spark và các Table Format như Delta Lake, Iceberg. Phạm vi nghiên cứu tập trung vào dữ liệu thu thập từ 21 trạm camera đếm phương tiện và 24 trạm camera nhận diện biển số, với tần suất sinh dữ liệu khoảng 36.000 đến 47.000 bản ghi mỗi ngày, trong khoảng thời gian từ tháng 5 năm 2022.

Ý nghĩa của nghiên cứu thể hiện qua việc cung cấp một giải pháp lưu trữ dữ liệu giao thông có khả năng mở rộng, cập nhật nhanh và truy vấn hiệu quả, hỗ trợ các ứng dụng giám sát, phân tích và dự báo lưu lượng giao thông. Nền tảng này góp phần nâng cao hiệu quả quản lý giao thông đô thị, giảm thiểu ùn tắc và tai nạn, đồng thời thúc đẩy phát triển các thành phố thông minh tại Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

  • Kiến trúc Data Lakehouse: Kết hợp ưu điểm của Data Lake và Data Warehouse, cho phép lưu trữ dữ liệu thô với chi phí thấp đồng thời đảm bảo tính nhất quán, quản trị dữ liệu và hỗ trợ truy vấn hiệu quả. Data Lakehouse sử dụng các Table Format như Delta Lake và Iceberg để quản lý metadata, hỗ trợ ACID transaction và indexing.

  • Mô hình xử lý dữ liệu dòng Apache Kafka: Kafka cung cấp nền tảng pub/sub phân tán, hỗ trợ lưu trữ lâu dài, phân vùng dữ liệu và khả năng mở rộng theo chiều ngang. Kafka đảm bảo tính bền vững và độ trễ thấp trong truyền tải dữ liệu thời gian thực.

  • Framework xử lý phân tán Apache Spark: Spark hỗ trợ xử lý dữ liệu lớn với tốc độ nhanh nhờ Resilient Distributed Datasets (RDDs), xử lý theo thời gian thực qua Spark Streaming, và tích hợp các thư viện học máy MLlib. Spark có thể chạy trên nhiều cluster manager như YARN, Mesos, Kubernetes.

  • Thuật toán Support Vector Regression (SVR): Áp dụng cho bài toán dự báo lưu lượng giao thông ngắn hạn, SVR xử lý tốt các dữ liệu có chiều cao, đa cộng tuyến và phi tuyến tính, giúp nâng cao độ chính xác dự báo.

Các khái niệm chính bao gồm: 5V của dữ liệu lớn (Volume, Variety, Velocity, Veracity, Value), ACID transaction trong quản trị dữ liệu, Table Format, kiến trúc master-worker của Spark, và mô hình pub/sub của Kafka.

Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ hệ thống camera giám sát giao thông tại tỉnh Tây Ninh, gồm:

  • Dữ liệu đếm phương tiện: 21 trạm, khoảng 36.000 bản ghi/ngày, định dạng JSON với thông tin loại phương tiện và số lượng.

  • Dữ liệu nhận diện biển số: 24 trạm, khoảng 47.000 bản ghi/ngày, định dạng JSON chứa thông tin biển số và loại phương tiện.

Phương pháp phân tích bao gồm:

  • Xây dựng kiến trúc lưu trữ dữ liệu theo mô hình Data Lakehouse, sử dụng Delta Lake kết hợp với hệ thống lưu trữ phân tán HDFS và MinIO.

  • Triển khai hệ thống xử lý dữ liệu dòng thời gian thực bằng Apache Kafka và Apache Spark, thực hiện các tác vụ ETL/ELT.

  • Áp dụng thuật toán Support Vector Regression để dự báo lưu lượng giao thông ngắn hạn, sử dụng bộ dữ liệu 26.199 mẫu, phân chia theo tỷ lệ 60% training, 20% validating, 20% testing.

  • Đánh giá hiệu năng hệ thống lưu trữ và truy vấn thông qua các chỉ số thời gian đáp ứng và khả năng mở rộng.

Timeline nghiên cứu kéo dài từ đầu năm 2022 đến cuối năm 2023, bao gồm các giai đoạn thu thập dữ liệu, thiết kế kiến trúc, triển khai thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Khả năng lưu trữ và mở rộng dữ liệu: Hệ thống lưu trữ dựa trên Delta Lake kết hợp MinIO cho thấy khả năng mở rộng linh hoạt, đáp ứng lưu trữ hàng triệu bản ghi dữ liệu giao thông với tốc độ sinh dữ liệu khoảng 83.000 bản ghi/ngày. So với HDFS truyền thống, MinIO giảm thiểu lỗi IO và tăng hiệu suất đọc dữ liệu.

  2. Hiệu năng truy vấn dữ liệu: Sử dụng Trino kết hợp Iceberg Table Format cải thiện thời gian truy vấn dữ liệu lớn, giảm độ trễ truy vấn xuống dưới 2 giây cho các truy vấn phức tạp trên tập dữ liệu hàng triệu bản ghi, nhanh hơn khoảng 30% so với Spark SQL thuần túy.

  3. Độ chính xác dự báo lưu lượng giao thông: Mô hình Support Vector Regression đạt hệ số tương quan Pearson R2 trên 0.85 trong dự báo lưu lượng xe máy ngắn hạn, với dữ liệu huấn luyện 26.199 mẫu. Mô hình cho phép dự báo chính xác lưu lượng trong 5 bước thời gian tiếp theo, hỗ trợ hiệu quả cho công tác điều hành giao thông.

  4. Quản trị dữ liệu và tính nhất quán: Việc áp dụng Delta Lake đảm bảo tính ACID transaction, giúp tránh tình trạng dữ liệu dư thừa, sai lệch và hỗ trợ cập nhật dữ liệu thời gian thực nhanh chóng, đáp ứng yêu cầu giám sát giao thông trực tuyến.

Thảo luận kết quả

Nguyên nhân chính dẫn đến hiệu quả của hệ thống là sự kết hợp giữa kiến trúc Data Lakehouse với các Table Format hiện đại, tận dụng ưu điểm của cả Data Lake và Data Warehouse. Việc sử dụng MinIO thay thế HDFS giúp giảm thiểu các lỗi IO phổ biến trong môi trường lưu trữ phân tán, đồng thời tăng khả năng mở rộng theo hướng cloud-native.

So sánh với các nghiên cứu trước đây chủ yếu tập trung vào Data Warehouse hoặc Data Lake riêng lẻ, giải pháp tích hợp này mang lại sự linh hoạt và hiệu quả cao hơn trong xử lý dữ liệu giao thông đa dạng và tốc độ cao. Kết quả dự báo lưu lượng giao thông bằng SVR cũng vượt trội hơn các mô hình truyền thống như ARIMA về khả năng xử lý dữ liệu phi tuyến và đa chiều.

Dữ liệu có thể được trình bày qua các biểu đồ thời gian thực về lưu lượng xe theo loại phương tiện, bản đồ mật độ giao thông theo khu vực, và bảng so sánh hiệu năng truy vấn giữa các giải pháp lưu trữ. Các biểu đồ này giúp minh họa rõ ràng sự cải thiện về hiệu suất và độ chính xác của hệ thống.

Đề xuất và khuyến nghị

  1. Triển khai mở rộng hệ thống lưu trữ Data Lakehouse trên nền tảng cloud-native: Sử dụng MinIO kết hợp Delta Lake để đảm bảo khả năng mở rộng linh hoạt, giảm thiểu lỗi IO, và hỗ trợ cập nhật dữ liệu thời gian thực. Thời gian thực hiện: 6-12 tháng. Chủ thể: các cơ quan quản lý giao thông và đơn vị công nghệ thông tin.

  2. Tối ưu hóa truy vấn dữ liệu bằng công cụ Trino và Iceberg: Áp dụng Trino để nâng cao hiệu năng truy vấn dữ liệu lớn, giảm độ trễ truy vấn xuống dưới 2 giây, hỗ trợ các báo cáo thời gian thực. Thời gian thực hiện: 3-6 tháng. Chủ thể: đội ngũ phát triển hệ thống phân tích dữ liệu.

  3. Phát triển và tích hợp mô hình dự báo lưu lượng giao thông sử dụng Support Vector Regression: Mở rộng mô hình dự báo cho các loại phương tiện khác và khu vực khác nhau, nâng cao độ chính xác dự báo. Thời gian thực hiện: 6 tháng. Chủ thể: nhóm nghiên cứu khoa học dữ liệu và quản lý giao thông.

  4. Xây dựng hệ thống quản trị dữ liệu tập trung với tính năng ACID transaction: Đảm bảo tính nhất quán, tránh sai lệch dữ liệu trong quá trình cập nhật và truy vấn, hỗ trợ các ứng dụng giám sát và phân tích nâng cao. Thời gian thực hiện: 6 tháng. Chủ thể: bộ phận quản trị dữ liệu và phát triển hệ thống.

  5. Đào tạo và nâng cao năng lực cho cán bộ quản lý và kỹ thuật: Tổ chức các khóa đào tạo về kiến trúc Data Lakehouse, công nghệ Apache Spark, Kafka và các công cụ phân tích dữ liệu để đảm bảo vận hành hiệu quả hệ thống. Thời gian thực hiện: liên tục. Chủ thể: các tổ chức đào tạo và đơn vị quản lý.

Đối tượng nên tham khảo luận văn

  1. Cơ quan quản lý giao thông đô thị: Nhận được giải pháp lưu trữ và phân tích dữ liệu giao thông hiệu quả, hỗ trợ giám sát và điều hành giao thông thông minh, giảm ùn tắc và tai nạn.

  2. Các nhà phát triển hệ thống công nghệ thông tin và phần mềm: Áp dụng kiến trúc Data Lakehouse và các công nghệ Apache Spark, Kafka trong xây dựng nền tảng xử lý dữ liệu lớn, nâng cao hiệu suất và khả năng mở rộng.

  3. Nhóm nghiên cứu khoa học dữ liệu và trí tuệ nhân tạo: Tham khảo mô hình dự báo lưu lượng giao thông bằng Support Vector Regression, áp dụng cho các bài toán dự báo chuỗi thời gian phức tạp.

  4. Các tổ chức đào tạo và nghiên cứu về đô thị thông minh: Sử dụng luận văn làm tài liệu tham khảo trong giảng dạy và nghiên cứu về quản lý dữ liệu lớn, hệ thống giám sát giao thông và ứng dụng công nghệ mới trong đô thị.

Câu hỏi thường gặp

  1. Tại sao chọn kiến trúc Data Lakehouse thay vì Data Warehouse hoặc Data Lake riêng lẻ?
    Data Lakehouse kết hợp ưu điểm của cả hai kiến trúc, vừa lưu trữ dữ liệu thô với chi phí thấp, vừa đảm bảo tính nhất quán và hiệu năng truy vấn cao nhờ các tính năng ACID transaction và indexing, phù hợp với dữ liệu giao thông đa dạng và tốc độ cao.

  2. Apache Kafka đóng vai trò gì trong hệ thống?
    Kafka là nền tảng pub/sub phân tán, chịu trách nhiệm thu thập và truyền tải dữ liệu dòng thời gian thực từ các camera giám sát đến hệ thống xử lý, đảm bảo độ trễ thấp và khả năng mở rộng linh hoạt.

  3. Làm thế nào để đảm bảo dữ liệu giao thông được cập nhật nhanh và chính xác?
    Sử dụng Delta Lake với tính năng ACID transaction giúp quản lý dữ liệu nhất quán, kết hợp MinIO hỗ trợ lưu trữ hiệu quả và Apache Spark xử lý dữ liệu thời gian thực, đảm bảo cập nhật nhanh và chính xác.

  4. Mô hình Support Vector Regression có ưu điểm gì trong dự báo lưu lượng giao thông?
    SVR xử lý tốt dữ liệu đa chiều, phi tuyến và đa cộng tuyến, cho phép dự báo chính xác lưu lượng giao thông ngắn hạn, vượt trội hơn các mô hình truyền thống như ARIMA về khả năng thích ứng với dữ liệu phức tạp.

  5. Giải pháp lưu trữ nào phù hợp cho môi trường cloud-native?
    MinIO là giải pháp lưu trữ object mã nguồn mở tương thích với API của Amazon S3, có hiệu suất IO cao, hỗ trợ triển khai trên Kubernetes, phù hợp với môi trường cloud-native và các hệ thống lưu trữ phân tán hiện đại.

Kết luận

  • Luận văn đã phát triển thành công nền tảng tích hợp phân tích dữ liệu dòng thời gian thực cho hệ thống giám sát giao thông tại tỉnh Tây Ninh, đáp ứng yêu cầu lưu trữ, xử lý và truy vấn dữ liệu lớn, đa dạng.
  • Giải pháp lưu trữ dựa trên kiến trúc Data Lakehouse với Delta Lake và MinIO đảm bảo tính nhất quán, khả năng mở rộng và hiệu năng truy vấn cao.
  • Mô hình Support Vector Regression được áp dụng hiệu quả trong dự báo lưu lượng giao thông ngắn hạn, hỗ trợ công tác quản lý và điều hành giao thông.
  • Hệ thống sử dụng Apache Kafka và Apache Spark để xử lý dữ liệu dòng thời gian thực, đảm bảo cập nhật nhanh và độ trễ thấp.
  • Các bước tiếp theo bao gồm mở rộng mô hình dự báo cho các loại phương tiện khác, tối ưu hóa truy vấn dữ liệu và triển khai hệ thống trên quy mô lớn hơn.

Đề nghị các cơ quan quản lý và đơn vị công nghệ quan tâm nghiên cứu, áp dụng giải pháp để nâng cao hiệu quả quản lý giao thông và phát triển đô thị thông minh.