đặt vấn đề ùn tắc giao thông là mối quan tâm hàng đầu, chỉ đạo các nhà khoa học, Bộ, ban ngành tập trung nghiên cứu, tìm hiểu bản chất của vấn đề Ùn tắc giao thông để từng bước khắc phục. Theo Ủy ban nhân dân thành phố Hồ Chí Minh, thành phố đã tập trung các nguồn lực để đầu tư kết nối hệ thống camera giám sát giao thông, bảng thông tin giao thông điện tử trên toàn địa bàn thành phố, hệ thống đèn tín hiệu giao thông về quản lý tập trung phục vụ công tác theo dõi, giám sát và phát hiện kịp thời giải quyết các sự cố trên đường phố. Vì thế, tình hình ùn tắc giao thông đã được cải thiện thông qua số điểm có nguy cơ ùn tắc giảm, năm 2016 có 37 điểm, đến năm 2019 giảm còn 22 điểm. Từ đó cho thấy vai trò của ứng dụng công nghệ thông tin và truyền thông trong giám sát giao thông TPHCM là hiệu quả.
Đối với các hệ thống giám sát giao thông hiện đại ngày nay, số lượng dữ liệu được sinh ra ngày càng tăng do các hệ thống này được kết nối vô số cảm biến. Các cảm biến này có thể được lắp đặt trên các phương tiện giao thông di chuyển trên đường (thiết bị giám sát hành trình) hay là các hệ thống camera giám sát trên đường, bảng báo điện tử, thiết bị di động, v. Để đối phó với dữ liệu phức tạp, các hệ thống giám sát cần phải được xây dựng trên hạ tầng dữ liệu hiện đại, có khả năng lưu trữ, xử lý cũng như truy vấn khối lượng lớn dữ liệu. Đó cũng chính là 1 động lực để thực hiện luận văn này.2 Mục tiêu và nhiệm vụ nghiên cứu Mục tiêu của luận văn hướng đến là hiện thực vận dụng các giải pháp cho bài toán lưu trữ dữ liệu đo đếm phương tiện giao thông qua các công việc như sau: 1.
Nghiên cứu các giải pháp lưu trữ dữ liệu; 2. Đề xuất giải pháp lưu trữ cho hệ thống tích hợp lưu trữ dữ liệu giao thông; 3. Hiện thực triển khai thực tế giải pháp lưu trữ dữ liệu lớn cho dữ liệu đo đếm phương tiện giao thông song song với việc đánh giá hiệu năng.3 Phạm vi nghiên cứu 1. Tìm hiểu kiến trúc Data Lakehouse; 2.
Tìm hiểu công nghệ lưu trữ dữ liệu lớn; 3. Xây dựng kiến trúc triển khai thí điểm giải pháp trên thực tế; 4. Đánh giá thực nghiệm dựa trên dữ liệu thực.4 Kết cấu luận văn Phần còn lại của luận văn bao gồm các chương sau: • Phần cơ sở lý thuyết: Cơ sở lý thuyết điểm qua tình hình nghiên cứu trong và ngoài nước; nêu cơ sở lý luận về hệ thống lưu trữ dữ liệu giao thông; cuối cùng là lý thuyết về kiến trúc và thuật ngữ; 2 • Phần bài toán hệ thống lưu trữ và truy vấn dữ liệu giao thông: nêu rõ bài toán cần giải quyết; phân tích đặc trưng dữ liệu thực; phân tích yêu cầu về lưu trữ và truy vấn của hệ thống; • Phần xây dựng giải pháp và đánh giá hiệu: bao gồm việc đề xuất giải pháp về kiến trúc; đề xuất giải pháp về công nghệ; kỹ thuật nâng cao hiệu năng truy vấn; • Phần kết luận: Tổng kết nội dung đã trình bày.1 Tình hình nghiên cứu trong nước Đối với các hệ thống giao thông thông minh (Intelligence Transport System - ITS) hiện đại ngày nay, số lượng dữ liệu được sinh ra ngày càng tăng do các hệ thống ITS này được kết nối vô số cảm biến. Các cảm biến này có thể được lắp đặt trên các phương tiện giao thông di chuyển trên đường (thiết bị giám sát hành trình) hay là các hệ thống camera giám sát trên đường, bảng báo điện tử, thiết bị di động, v.
Để giải quyết dữ liệu phức tạp, các hệ thống ITS cần phải được xây dựng trên hạ tầng dữ liệu hiện đại, có khả năng lưu trữ và xử lý khối lượng lớn dữ liệu. Sở Giao thông Vận tải Hoa kỳ giới thiệu tổng quan về một kiến trúc tham chiếu để triển khai các hệ thống giao thông thông minh gọi là Connected Transport System Reference Implementation Architecture (ARC-IT). ARC-IT1 là một giải pháp hoàn chỉnh được hình thành với sự đóng góp của cộng đồng ITS (cán bộ giao thông vận tải, kỹ sư hệ thống, nhà phát triển hệ thống, chuyên gia công nghệ, nhà tư vấn, v. ARC-IT là một kiến trúc tham chiếu cung cấp nền tảng chung cho các nhà lập kế hoạch và kỹ sư có liên quan trong một dự án ITS; trong đó mọi người sử dụng cùng chung một ngôn ngữ làm cơ sở để lập kế hoạch, lập trình và triển khai các hệ thống ITS.
Trong một nghiên cứu về hạ tầng dữ liệu dành riêng cho các hệ thống ITS[1], nhóm tác giả trình bày kiến trúc về một hệ thống giao thông tích hợp dựa trên nền tảng Data Lake. Hình 1-1 trình bày kiến trúc 6 lớp của hệ thống giao thông tích hợp. Trong bài nghiên cứu, kiến trúc này được phân giải ở mức có thể triển khai được và dựa trên hệ sinh thái Apache Spark2. Trong nhiều năm gần đây, yêu cầu phát triển đô thị thông minh được lãnh 1 https://www.com/ 2 https://spark.1: Kiến trúc 6 tầng của một hệ thống giao thông tích hợp[1] đạo nhiều tỉnh/thành phố rất quan tâm.
Nhiều dự án thí điểm về đô thị thông minh được xây dựng và triển khai như tại Bình Phước, Bắc Kạn, Thanh Hoá, v. Tuy nhiên bài toán đô thị thông minh là bài toán khó, nên các dự án thí điểm này chủ yếu tập trung vào một số nội dung chính như: • Chính quyền điện tử • Xây dựng trung tâm IOC cho đô thị • Xây dựng giải pháp CCTV giám sát đô thị Riêng đối với bài toán giao thông, đa phần các dự án dừng ở mức giám sát và phát hiện các hành vi vi phạm bằng thủ công hoặc bán tự động để xử lý phạt nguội. Khi số lượng camera bùng nổ dẫn đến nhu cầu giám sát giao thông tự động bằng phần mềm trí tuệ nhân tạo tăng cao. Tại Việt Nam có nhiều nhóm 5 nghiên cứu, công ty xây dựng các giải pháp ứng dụng trí tuệ nhân tạo trong giám sát giao thông như Đại học Bách Khoa, Đại học quốc gia Thành phố Hồ Chí Minh, Viettel, VNPT v.
Các ứng dụng này chủ yếu khai thác các mô hình trí tuệ nhân tạo để phân tích tự động hình ảnh camera. Đối với bài toán tích hợp và lưu trữ, bất kỳ một trong những đặc điểm trên của dữ liệu ITS đều có thể tạo ra thách thức đối với các hệ quản trị cơ sở dữ liệu truyền thống và một số đặc điểm là không thể xử lý được đối với các hệ thống lưu trữ dữ liệu truyền thống. Do đó, để đối phó với bài toán thu thập, tích hợp, lưu trữ dữ liệu giao thông cần khai thác tối đa sức mạnh của công nghệ trong đó phải kể đến các công nghệ về xử lý dữ liệu lớn. Vì vậy bài toán thu thập, tích hợp, lưu trữ dữ liệu giao thông là một bài toán khó.
Để xây dựng được giải pháp giải quyết bài toán khó này đòi hỏi phải khai thác được triệt để sức mạnh công nghệ tiên tiến đồng thời kết hợp được kiến thức sâu chuyên môn về giao thông vận tải, đặc biệt sự am hiểu về giao thông đặc thù của đô thị.2 Cơ sở lý luận Hệ thống giao thông là một dạng hệ thống phức tạp được cấu thành từ nhiều thành phần từ phần cứng thiết bị, đường truyền viễn thông, hạ tầng máy chủ, phần mềm ứng dụng… Các hệ thống ITS trong quá trình vận hành sinh ra một lượng dữ liệu khổng lồ. Đặc điểm của dữ liệu này có thể được mô tả gói gọn trong 5 tính chất “5V” của dữ liệu lớn: (1) Volume – dung lượng dữ liệu, (2) Variety - đa dạng, (3) Velocity – tốc độ, (4) Veracity – tính xác thực, và (5) Value - giá trị. • Volume - Dung lượng dữ liệu do hệ thống ITS tạo ra tăng theo cấp số. Với số lượng ngày càng tăng của các ứng dụng công nghệ giám sát giao thông cho phép việc thu thập dữ liệu ngày càng đa dạng và phức tạp.
Vì thế lượng dữ liệu liên quan đến giao thông được tạo ra mỗi giây. Ví dụ, 500 camera 6 của hệ thống CCTV ở thành phố London tạo ra 1,2 Gbps [2]. • Variety - Dữ liệu được thu thập ở nhiều định dạng và theo nhiều phương cách khác nhau. Mức độ định dạng của dữ liệu này cũng có thể thay đổi từ dữ liệu bán cấu trúc (ví dụ: nhật ký sửa chữa, hình ảnh, video và tệp âm thanh) đến dữ liệu có cấu trúc (ví dụ: dữ liệu từ hệ thống cảm biến, dữ liệu sự cố giao thông, v.
Các bộ dữ liệu khác nhau có các định dạng khác nhau về kích thước tệp, độ dài bản ghi và lược đồ mã hóa; nội dung của chúng có thể đồng nhất hoặc không đồng nhất. Các tập dữ liệu không đồng nhất này, được tạo ra bởi các nguồn khác nhau ở các định dạng khác nhau, đã đặt ra những thách thức đáng kể cho việc tích hợp và phân tích. • Velocity – Sự đa dạng nguồn thu thập dữ liệu và yêu cầu giám sát thực tiễn về giao thông đã kéo theo tốc độ tạo ra dữ liệu lớn. Trong đó nhiều dữ liệu được thu thập liên tục, theo thời gian thực, trong khi các dữ liệu khác được thu thập định kỳ.
Ví dụ các dữ liệu cảm biến lắp đặt trên phương tiện giao thông hay dữ liệu giám sát camera sẽ được thu thập thời gian thực với tần suất có thể tính theo đơn vị giây. Tuy nhiên các dữ liệu về bản đồ có thể được cập nhật định kỳ trong khoảng thời gian dài hơn. • Veracity - Được sử dụng để mô tả tính chắc chắn hoặc độ tin cậy của dữ liệu ITS. Ví dụ: bất kỳ quyết định nào được đưa ra từ một dữ liệu giao thông nào đó phải được phân tích dựa trên tính toàn vẹn của nguồn dữ liệu, nghĩa là, phải có các hiệu chuẩn chính xác dữ liệu truyền về từ cảm biến và có những giải thích chính xác về bất kỳ dữ liệu bị thiếu.
• Value – Đề cập đến vấn đề thời gian thu thập dữ liệu, tốc độ lấy mẫu của dữ liệu. Ví dụ, dữ liệu cũ vài giờ có thể không có giá trị đối với ứng dụng phân tích kẹt xe, nhưng có thể hữu ích trong ứng dụng quy hoạch giao thông. Như vậy hầu hết dữ liệu giao thông được thu thập đều có giá trị phục vụ 7 cho bài toán phân tích giao thông, dữ liệu càng được làm mới, lưu trữ trong khoảng thời gian càng dài thì càng có giá trị.