Bối cảnh và vấn đề nghiên cứu

Ùn tắc giao thông là một trong những thách thức đô thị nan giải tại các thành phố lớn, gây tổn thất đáng kể về mặt thời gian di chuyển và làm suy giảm hiệu quả vận hành giao thông công cộng lẫn cá nhân. Trên thực tế, các biện pháp điều phối của lực lượng chức năng thường chỉ diễn ra sau khi tình trạng kẹt xe đã hình thành và kéo dài, do việc tiếp cận tâm điểm ùn tắc gặp nhiều trở ngại. Nếu có thể dự báo sớm tình trạng giảm tốc độ lưu thông trên từng đoạn đường cụ thể theo thời gian thực, công tác điều tiết giao thông và lựa chọn lộ trình di chuyển sẽ đạt hiệu quả cao hơn.

Cùng với sự bùng nổ của các thiết bị di động, Internet vạn vật (IoT) và hệ thống định vị toàn cầu (GPS), khối lượng dữ liệu giao thông được tạo ra liên tục với tốc độ cao. Việc ứng dụng công nghệ xử lý dữ liệu lớn (Big Data) kết hợp với các kỹ thuật dự báo chuỗi thời gian trở thành hướng tiếp cận cần thiết nhằm xử lý các luồng thông tin giao thông trực tuyến.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài được xác định gồm:

  1. Xây dựng quy trình thu thập và xử lý luồng dữ liệu giao thông trực tuyến (vận tốc xe, thời gian, vị trí) theo thời gian thực bằng các công nghệ dữ liệu lớn.
  2. Nghiên cứu và xây dựng mô hình phân tích chuỗi thời gian kết hợp giữa mô hình dự báo ngắn hạn, mô hình dự báo dài hạn và dữ liệu vận tốc ở thời điểm hiện tại.
  3. Đánh giá thực nghiệm mô hình kết hợp trên dữ liệu giao thông thực tế nhằm nâng cao độ chính xác dự báo vận tốc lưu thông và xác định nguy cơ kẹt xe.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Phương pháp kết hợp mô hình chuỗi thời gian ngắn hạn (SARIMAX), mô hình chuỗi thời gian dài hạn (Facebook Prophet), biến vận tốc thời điểm hiện tại thông qua mô hình hồi quy tuyến tính (Linear Regression), cùng các công nghệ xử lý luồng dữ liệu lớn.
  • Phạm vi không gian: Ba phân đoạn đường liền kề trên tuyến đường Garfield thuộc thành phố Chicago, Hoa Kỳ (hướng di chuyển về phía Đông - EB), bao gồm:
    • Đoạn 8: Từ đường Racine đến đường Halsted.
    • Đoạn 9: Từ đường Halsted đến Dan Ryan Expy (đoạn đường mục tiêu cần dự báo).
    • Đoạn 10: Từ Dan Ryan Expy đến đường State.
  • Phạm vi thời gian và nguồn dữ liệu: Dữ liệu lịch sử từ tháng 3/2018 đến ngày 24/10/2021 dùng cho huấn luyện mô hình, và dữ liệu trực tuyến qua giao diện lập trình ứng dụng (API) năm 2022 của Cơ quan Giao thông Chicago (Chicago Traffic Tracker).

Cơ sở lý thuyết và phương pháp nghiên cứu

Nghiên cứu được xây dựng trên nền tảng lý thuyết phân tích chuỗi thời gian, các đặc trưng của dữ liệu lớn và kiến trúc xử lý dữ liệu phân tán:

  • Lý thuyết chuỗi thời gian (Time Series): Dự báo chuỗi thời gian dựa trên giả định các quy luật trong quá khứ sẽ lặp lại trong tương lai, mô hình hóa mối quan hệ giữa biến thời gian và biến mục tiêu. Chuỗi thời gian chứa các thành phần cốt lõi:

    • Yếu tố mùa vụ và chu kỳ (Seasonality/Cyclical): Sự biến thiên lặp lại theo chu kỳ cố định (qua phân tích thực nghiệm, dữ liệu tốc độ giao thông thể hiện rõ tính chu kỳ theo năm).
    • Yếu tố xu hướng (Trend): Chiều hướng tăng hoặc giảm dài hạn của chuỗi dữ liệu.
    • Các điều kiện nghiêm ngặt về tính dừng (stationary), nhiễu trắng (white noise) và tự tương quan (autocorrelation).

  • Đặc trưng dữ liệu lớn (5Vs of Big Data): Khối lượng (Volume), Tốc độ xử lý luồng thời gian thực (Velocity), Tính đa dạng cấu trúc (Variety), Độ tin cậy và làm sạch dữ liệu (Veracity), và Giá trị ứng dụng thực tiễn (Value).

  • Các mô hình toán học và học máy:

    • SARIMAX (Seasonal AutoRegressive Integrated Moving Average with eXogenous factors): Mô hình dự báo chuỗi thời gian ngắn hạn bắt giữ các yếu tố mùa vụ và tự tương quan dựa trên các tham số $AR(p)$, sai phân $I(d)$, $MA(q)$ và thành phần mùa vụ.
    • Facebook Prophet: Thuật toán dự báo chuỗi thời gian dài hạn mã nguồn mở, xử lý hiệu quả dữ liệu có nhiều yếu tố thời vụ và khả năng bù đắp khoảng trống dữ liệu.
    • Linear Regression (Hồi quy tuyến tính): Đóng vai trò là mô hình tổng hợp (meta-model), nhận đầu vào là kết quả dự báo từ SARIMAX, Facebook Prophet và các giá trị vận tốc thực tế hiện tại để đưa ra dự báo tốc độ cuối cùng.

  • Chỉ số đánh giá độ chính xác: Sai số căn bậc hai trung bình bình phương (Root Mean Square Error - RMSE), đo lường độ lệch chuẩn giữa giá trị vận tốc dự đoán ($\hat{y}$) và giá trị vận tốc quan sát thực tế ($y$).

  • Công nghệ dữ liệu lớn:

    • Apache Spark: Framework tính toán cụm phân tán in-memory. Khóa luận khai thác Spark Core, Spark SQL và Spark Structured Streaming để thực hiện chuyển đổi, tiền xử lý và áp dụng mô hình lên luồng dữ liệu.
    • Apache Kafka: Hệ thống phân phối thông điệp dạng Xuất bản - Đăng ký (Publish-Subscribe) phân tán, bao gồm các thành phần: Broker, Topic, Partition, Producer, Consumer, Offset và quản lý trạng thái cụm qua Zookeeper.

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế thành hai tiến trình độc lập nhưng gắn kết chặt chẽ: tiến trình huấn luyện mô hình ngoại tuyến (offline training) và tiến trình xử lý - dự báo luồng trực tuyến (real-time prediction).

Thành phần hệ thống Công nghệ / Phương pháp sử dụng Chức năng cụ thể
Nguồn dữ liệu lịch sử Chicago Traffic Tracker - Historical Congestion Estimates by Segment (2018–2021) Cung cấp dữ liệu vận tốc được ước tính từ tọa độ GPS xe buýt phục vụ huấn luyện mô hình
Nguồn dữ liệu trực tuyến API Chicago Traffic Tracker - Congestion Estimates by Segments Cung cấp dữ liệu giao thông chu kỳ 10–15 phút theo thời gian thực
Hạ tầng truyền nhận dữ liệu Apache Kafka Đóng vai trò trung gian tiếp nhận bản tin JSON từ API (Producer) và chuyển giao cho các phân vùng xử lý (Consumer)
Hạ tầng tính toán luồng Spark Structured Streaming Lọc trường dữ liệu, xử lý chuẩn hóa mốc thời gian, kết nối mô hình học máy để suy luận theo luồng
Mô hình dự báo thành phần SARIMAX & Facebook Prophet Tính toán giá trị dự báo tốc độ ngắn hạn và dài hạn cho đoạn đường số 9
Mô hình hợp nhất Linear Regression Kết hợp đầu ra của 2 mô hình dự báo cùng tốc độ hiện tại của đoạn 8, 9, 10 để xuất kết quả cuối cùng 
[API Chicago Traffic Tracker] 
               [Spark Structured Streaming] (Lọc trường dữ liệu)
               [Spark Structured Streaming] (Làm tròn mốc thời gian)
                                     [Hồi quy tuyến tính]
                                     [Tốc độ dự báo tương lai]

Quy trình tiền xử lý dữ liệu:

  1. Xử lý giá trị bất thường và dữ liệu thiếu: Trong tập dữ liệu, khi lượng xe buýt thưa thớt không đủ để ước tính tốc độ, hệ thống ghi nhận giá trị -1. Tiến trình tiền xử lý tiến hành lọc bỏ các bản ghi -1, sau đó sử dụng thuật toán nội suy chuỗi thời gian (time series interpolation) để lấp đầy các khoảng trống dữ liệu và loại bỏ các bản ghi trùng lặp.
  2. Chuẩn hóa mốc thời gian (Resampling): Dữ liệu gốc có chu kỳ cập nhật không đều (dao động từ 10 đến 40 phút). Dữ liệu huấn luyện được đưa về chu kỳ cố định 15 phút một lần. Đối với dữ liệu thời gian thực, hệ thống thực hiện quy tắc làm tròn 4 khoảng trong mỗi giờ:
    • Số phút từ 1 đến 14: làm tròn thành mốc 15 phút.
    • Số phút từ 16 đến 29: làm tròn thành mốc 30 phút.
    • Số phút từ 31 đến 44: làm tròn thành mốc 45 phút.
    • Số phút từ 46 đến 59: làm tròn về mốc 00 của giờ tiếp theo.
    • Các mốc chính xác 00, 15, 30, 45 được giữ nguyên.
  3. Trích xuất thuộc tính trễ (Lag Feature): Để thu thập vận tốc tại thời điểm hiện tại trên tập huấn luyện lịch sử, kỹ thuật dịch chuyển dữ liệu (hạ 1 bậc - lag 1) được áp dụng để lấy giá trị vận tốc của hàng trước gán làm biến hiện tại cho hàng sau.

Nội dung chính theo từng chương

Chương 1: Lý do chọn đề tài, Phạm vi nghiên cứu

Chương 1 trình bày tính cấp thiết của bài toán cảnh báo kẹt xe đô thị. Tác giả phân tích những bất cập trong công tác điều phối giao thông truyền thống và chỉ ra vai trò của công nghệ thông tin, Big Data và kỹ thuật phân tích chuỗi thời gian. Chương này xác định rõ mục tiêu xây dựng hệ thống dự báo tốc độ giao thông thời gian thực, đồng thời giới hạn phạm vi nghiên cứu trên hai tập dữ liệu công khai của thành phố Chicago và ba đoạn đường thử nghiệm cụ thể.

Chương 2: Tổng quan

Chương này tổng thuật các công trình nghiên cứu liên quan trong và ngoài nước:

  • Nghiên cứu trong nước: Phân tích hệ thống UTraffic của Trường Đại học Bách Khoa, mô hình dự báo dựa trên dữ liệu đóng góp từ cộng đồng qua ứng dụng di động và web để ước lượng tình trạng giao thông đô thị.
  • Nghiên cứu ngoài nước: Khảo sát công trình "Congestion Prediction With Big Data for Real-Time Highway Traffic" sử dụng nền tảng Apache Storm kết hợp thuật toán Support Vector Machine (SVM) tích hợp dữ liệu thời tiết; và công trình "Short-term traffic flow prediction using seasonal ARIMA model with limited input data" tập trung dự báo lưu lượng ngắn hạn bằng ARIMA trên tập dữ liệu lịch sử ngắn (3 ngày).
  • Phân tích hướng tiếp cận: Tác giả chỉ ra khoảng trống nghiên cứu khi phần lớn các công trình hiện nay chỉ sử dụng đơn lẻ một mô hình ngắn hạn hoặc dài hạn, đồng thời bỏ qua mối tương quan vận tốc từ các phân đoạn giao thông lân cận.

Chương 3: Nghiên cứu thực nghiệm hoặc lý thuyết

Chương 3 tập trung trình bày toàn bộ cơ sở lý thuyết toán học, hạ tầng kỹ thuật và quy trình hiện thực hóa giải pháp:

  • Trình bày chi tiết lý thuyết chuỗi thời gian (mùa vụ, xu hướng), 5 đặc trưng của Big Data và độ đo sai số RMSE.
  • Trình bày cấu trúc và nguyên lý vận hành của Apache Spark (Spark Core, Spark Streaming, Spark SQL, MLlib) và Apache Kafka (Producer, Consumer, Broker, Topic, Partition, Zookeeper).
  • Đặc tả thuật toán SARIMAX, Facebook Prophet và Linear Regression.
  • Trình bày cấu trúc hai tập dữ liệu Chicago Traffic Tracker, thông tin địa lý của ba đoạn đường (mã số 8, 9, 10 trên đường Garfield), quy trình trực quan hóa dữ liệu phát hiện tính chu kỳ 1 năm.
  • Thiết kế chi tiết kiến trúc luồng dữ liệu thời gian thực và các bước làm sạch, chuẩn hóa, hạ bậc dữ liệu.
Thuộc tính đoạn đường Đoạn số 8 Đoạn số 9 (Đoạn dự báo) Đoạn số 10
Tên đường Garfield Garfield Garfield
Điểm bắt đầu Racine Halsted Dan Ryan Expy
Điểm kết thúc Halsted Dan Ryan Expy State
Hướng di chuyển Hướng Đông (EB) Hướng Đông (EB) Hướng Đông (EB)
Chiều dài đoạn (dặm) 0.5 0.72 0.27

Chương 4: Trình bày, đánh giá bàn luận về kết quả

Chương này công bố kết quả thực nghiệm của các mô hình trên tập kiểm thử:

  • Đánh giá trực quan hóa đường khớp dữ liệu giữa giá trị thực tế và giá trị dự báo từ các mô hình thành phần (SARIMAX, Facebook Prophet) và mô hình kết hợp (Linear Regression).
  • So sánh hiệu năng định lượng thông qua chỉ số RMSE giữa các mô hình. Kết quả cho thấy mô hình kết hợp đa yếu tố (kết hợp ngắn hạn, dài hạn và vận tốc tức thời của các đoạn liền kề) cho kết quả sai số thấp hơn so với việc chỉ sử dụng một mô hình đơn lẻ.

Chương 5: Kết quả đạt được

Tổng kết toàn bộ các kết quả đạt được của khóa luận:

  • Hoàn thiện luồng thu thập và tiền xử lý luồng dữ liệu tự động bằng Apache Kafka và Apache Spark Structured Streaming từ API dữ liệu mở.
  • Xây dựng thành công quy trình kết hợp mô hình dự báo chuỗi thời gian đa nguồn đặc trưng, cải thiện độ chính xác dự báo tốc độ giao thông.

Chương 6: Hướng phát triển

Chương cuối cùng đề xuất các hướng cải tiến kỹ thuật trong tương lai:

  • Mở rộng quy mô thử nghiệm và dự báo ra toàn bộ các mạng lưới phân đoạn đường trên bản đồ thành phố thay vì giới hạn ở ba phân đoạn.
  • Tích hợp thêm các nguồn dữ liệu đa dạng khác vào mô hình dự báo như dữ liệu thời tiết, camera quan sát, và dữ liệu sự kiện xã hội.

Kết quả và đóng góp

Kết quả định lượng và kỹ thuật

  • Hệ thống đã thiết lập thành công đường ống xử lý luồng dữ liệu tự động: gọi API định kỳ mỗi 15 phút, nạp vào Kafka Topic, xử lý chuẩn hóa mốc thời gian bằng Spark Structured Streaming và đưa qua mô hình học máy theo thời gian thực.
  • Việc kết hợp dữ liệu vận tốc hiện tại của đoạn đường mục tiêu (đoạn 9) cùng các đoạn lân cận (đoạn 8 và đoạn 10) kết hợp với hai mô hình SARIMAX và Facebook Prophet qua mô hình hồi quy tuyến tính đã giúp cải thiện độ chính xác dự báo vận tốc, thể hiện qua việc giảm chỉ số RMSE trên tập kiểm thử so với việc chỉ áp dụng một mô hình dự báo đơn lẻ.

Đóng góp về mặt giải pháp

  • Kết hợp đa mô hình chuỗi thời gian: Tận dụng đồng thời ưu điểm nắm bắt biến động tức thời (nhiễu ngắn hạn) của mô hình SARIMAX và khả năng nắm bắt xu hướng tổng thể dài hạn có tính mùa vụ của Facebook Prophet.
  • Bổ sung không gian tương quan giao thông: Đưa biến vận tốc của các đoạn đường liền kề (đoạn 8 phía trước và đoạn 10 phía sau) vào mô hình dự báo của đoạn đường số 9, phản ánh đúng tính chất vật lý của dòng lưu thông đô thị.
  • Tích hợp công nghệ Big Data chuẩn công nghiệp: Chứng minh tính khả thi của việc kết hợp Apache Kafka và Apache Spark Structured Streaming trong bài toán giao thông thông minh thời gian thực.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên phạm vi và nội dung trình bày trong văn bản, khóa luận ghi nhận một số hạn chế và định hướng phát triển:

  • Hạn chế:

    • Phạm vi thực nghiệm còn hẹp, mới tập trung triển khai và kiểm chứng trên 3 phân đoạn đường cụ thể (đoạn 8, 9, 10 trên trục đường Garfield).
    • Dữ liệu phụ thuộc vào tần suất di chuyển của xe buýt công cộng (Chicago Transit Authority - CTA). Khi mật độ xe buýt thấp, dữ liệu xuất hiện nhiều giá trị khuyết thiếu (-1), đòi hỏi phải xử lý nội suy nhân tạo.
    • Mô hình hiện tại mới chỉ khai thác dữ liệu chuỗi thời gian về tốc độ và thời gian, chưa kết hợp các yếu tố ngoại sinh ảnh hưởng trực tiếp đến giao thông như điều kiện thời tiết, tai nạn bất ngờ, hay công trình thi công.

  • Hướng nghiên cứu tiếp:

    • Mở rộng phạm vi dự báo cho toàn bộ mạng lưới giao thông phức tạp của đô thị với hàng nghìn phân đoạn đường đồng thời.
    • Tích hợp thêm các nguồn dữ liệu đa phương thức (dữ liệu thời tiết thời gian thực, dữ liệu báo cáo từ cộng đồng, luồng hình ảnh camera giao thông).
    • Tối ưu hóa hiệu năng tính toán cụm phân tán nhằm giảm thiểu tối đa độ trễ khi xử lý luồng quy mô lớn.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên môn phù hợp cho:

  • Sinh viên và nhà nghiên cứu ngành Công nghệ thông tin, Khoa học dữ liệu, Hệ thống thông tin: Cung cấp phương pháp luận hoàn chỉnh về bài toán phân tích và dự báo chuỗi thời gian (Time Series Forecasting), đặc biệt là kỹ thuật phối hợp mô hình (ensemble/stacking) giữa SARIMAX, Facebook Prophet và Linear Regression.
  • Kỹ sư kỹ thuật dữ liệu (Data Engineers) và phát triển phần mềm: Cung cấp kiến trúc mẫu và các bước hiện thực hóa đường ống xử lý dữ liệu luồng phân tán (Data Pipeline) sử dụng Apache Kafka kết hợp Apache Spark Structured Streaming.
  • Các đề tài nghiên cứu về Giao thông thông minh (Intelligent Transportation Systems - ITS): Tham khảo phương pháp tiền xử lý dữ liệu GPS thực tế, kỹ thuật xử lý dữ liệu không đồng đều về tần suất lấy mẫu, và phương pháp nội suy chuỗi thời gian giao thông.

Câu hỏi thường gặp

1. Tại sao tác giả lại kết hợp cả hai mô hình SARIMAX và Facebook Prophet thay vì chỉ sử dụng một mô hình duy nhất?
Trong dự báo chuỗi thời gian, mô hình dự báo ngắn hạn như SARIMAX có thế mạnh nắm bắt các tác động biến động nhanh và nhiễu trong khoảng thời gian ngắn nhưng không dự báo tốt cho chu kỳ dài; ngược lại, Facebook Prophet có ưu thế dự báo dài hạn và nắm bắt xu hướng tổng thể có tính mùa vụ nhưng bỏ qua các tác động ngắn hạn. Tác giả kết hợp cả hai mô hình nhằm tận dụng ưu điểm của từng loại, từ đó tối ưu hóa độ chính xác dự báo.

2. Dữ liệu gốc gặp phải những thách thức gì và tác giả đã thực hiện tiền xử lý như thế nào?
Dữ liệu từ Chicago Traffic Tracker gặp hai thách thức chính: chu kỳ cập nhật không đồng đều (từ 10 đến 40 phút) và xuất hiện nhiều giá trị vận tốc -1 do thiếu dữ liệu xe buýt tại thời điểm đo. Tác giả đã giải quyết bằng cách: loại bỏ các giá trị -1, đưa chu kỳ dữ liệu lịch sử về mốc cố định 15 phút, áp dụng phương pháp nội suy chuỗi thời gian để bù đắp dữ liệu thiếu, loại bỏ bản ghi trùng lặp và làm tròn số phút của dữ liệu thời gian thực theo 4 khung (về các mốc 00, 15, 30, 45 phút).

3. Vai trò của dữ liệu từ đoạn đường số 8 và số 10 đối với đoạn đường số 9 là gì?
Đoạn đường số 9 (nằm giữa, từ Halsted đến Dan Ryan Expy) là phân đoạn mục tiêu cần dự báo vận tốc. Đoạn số 8 (phía trước) và đoạn số 10 (phía sau) đóng vai trò là các phân đoạn lân cận. Việc đưa vận tốc thời điểm hiện tại của đoạn 8 và đoạn 10 vào mô hình hồi quy tuyến tính giúp hệ thống nắm bắt được ảnh hưởng lan truyền của dòng phương tiện liền kề lên đoạn đường mục tiêu.

4. Kiến trúc luồng dữ liệu thời gian thực được vận hành bởi những công nghệ Big Data nào?
Kiến trúc luồng sử dụng Apache Kafka làm hệ thống trung gian tiếp nhận và phân phối thông điệp từ API công cộng (chu kỳ 15 phút/lần) qua các Kafka Topic. Apache Spark Structured Streaming đảm nhiệm vai trò đọc dữ liệu từ Kafka Topic, tiến hành trích xuất trường dữ liệu, làm sạch mốc thời gian, áp dụng các mô hình học máy đã huấn luyện và xuất kết quả dự báo vận tốc tức thời.

5. Độ đo RMSE được định nghĩa và có ý nghĩa như thế nào trong khóa luận?
RMSE (Root Mean Square Error - Sai số căn bậc hai trung bình bình phương) là độ lệch chuẩn của phần dư (sai số dự đoán), đại diện cho mức độ phân tán của giá trị dự đoán xung quanh giá trị thực tế quan sát được. Giá trị RMSE càng nhỏ thể hiện sai số giữa tốc độ dự báo và tốc độ thực tế càng bé, đồng nghĩa với độ tin cậy và độ chính xác của mô hình càng cao.

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Hoài Phương Uyên đã nghiên cứu và xây dựng thành công hệ thống dự đoán tình trạng kẹt xe thời gian thực dựa trên nền tảng công nghệ dữ liệu lớn. Bằng cách kết hợp linh hoạt mô hình dự báo ngắn hạn SARIMAX, mô hình dài hạn Facebook Prophet cùng thông tin vận tốc tức thời của các đoạn đường lân cận qua hồi quy tuyến tính, nghiên cứu đã nâng cao độ chính xác dự báo tốc độ lưu thông so với các mô hình đơn lẻ. Đồng thời, việc ứng dụng thành công Apache Kafka và Spark Structured Streaming đã chứng minh tính hiệu quả và khả thi trong việc xử lý luồng dữ liệu giao thông đô thị liên tục theo thời gian thực.