Giới thiệu dự án

Bối cảnh và lý do chọn đề tài

Quá trình đô thị hóa toàn cầu đang diễn ra với tốc độ chưa từng có, kéo theo sự gia tăng đột biến của phương tiện cơ giới tại các đô thị lớn. Theo các báo cáo giao thông thông minh (Intelligent Transportation Systems - ITS), tổn thất kinh tế do ùn tắc giao thông chiếm từ 2% đến 5% GDP hàng năm tại các nước đang phát triển, chưa kể đến các hệ lụy nghiêm trọng về ô nhiễm không khí ($PM_{2.5}$, $CO_2$) và áp lực tâm lý xã hội. Việc điều tiết giao thông phản ứng chậm (reactive) dựa trên quan sát thủ công không còn đáp ứng được thực tiễn; các đô thị hiện đại đòi hỏi một giải pháp chủ động (proactive) thông qua hệ thống dự báo lưu lượng giao thông chính xác theo thời gian thực.

       +-------------------------------------------------------------+
       |             HỆ THỐNG DỰ BÁO GIAO THÔNG PHÂN TÁN             |
       +-------------------------------------------------------------+
                                      |
         +----------------------------+----------------------------+
         |                                                         |
+------------------+                                      +------------------+
| Dữ liệu giao thông|                                     | Yếu tố ngoại cảnh|
| Cảm biến TII     |                                     | Thời tiết & Đồ thị|
+------------------+                                      +------------------+
         |                                                         |
         +----------------------------+----------------------------+
                                      |
                                      v
                   +-------------------------------------+
                   |   Apache Spark & BigDL-Chronos Engine|
                   |   - Distributed In-Memory Processing |
                   |   - Data Parallelism Training        |
                   +-------------------------------------+
                                      |
                                      v
                   +-------------------------------------+
                   |   Mô hình Đa biến: LSTM / TCN /     |
                   |   N-BEATS (Multivariate Time-Series)|
                   +-------------------------------------+
                                      |
                                      v
                   +-------------------------------------+
                   |   Giao diện Trực quan & Dashboard    |
                   |   Streamlit + REST API Phân tích     |
                   +-------------------------------------+

Vấn đề cốt lõi (Problem Statement)

Dữ liệu lưu lượng giao thông từ mạng lưới cảm biến mặt đường tạo ra khối lượng dữ liệu khổng lồ (Big Data) với đặc tính biến động phi tuyến, phụ thuộc đồng thời vào yếu tố thời gian (temporal dependencies) và quan hệ mạng lưới không gian (spatial graph topology), cùng các yếu tố thời tiết ngoại cảnh (mưa, nhiệt độ, sương mù). Các phương pháp truyền thống tồn tại hai điểm nghẽn kỹ thuật lớn:

  1. Hạn chế mô hình hóa đa biến: Các mô hình kinh điển như ARIMA hoặc Exponential Smoothing chủ yếu xử lý chuỗi đơn biến (univariate), bỏ qua mối tương quan thời tiết và liên kết nút mạng giao thông.
  2. Nghẽn cổ chai tính toán (Computational Bottlenecks): Việc huấn luyện các mạng nơ-ron học sâu sâu chuỗi thời gian (LSTM, TCN) trên dữ liệu nhiều năm đòi hỏi tài nguyên tính toán vượt giới hạn của một máy đơn (single-node), gây chậm trễ trong chu kỳ cập nhật mô hình.

Mục tiêu dự án

  1. Xây dựng bộ dữ liệu đa biến tích hợp: Thu thập và chuẩn hóa dữ liệu cảm biến giao thông từ Transport Infrastructure Ireland (TII) năm 2021, kết hợp đồng bộ chuỗi thời gian thời tiết và ma trận kề topology mạng lưới giao thông.
  2. Thiết kế kiến trúc học sâu phân tán: Ứng dụng framework BigDL (Intel) trên nền tảng Apache Spark để triển khai kỹ thuật song song hóa dữ liệu (Data Parallelism) cho các mô hình chuỗi thời gian.
  3. Phát triển và tối ưu hóa hệ thống mô hình: Xây dựng, tinh chỉnh và so sánh các kiến trúc học sâu đa biến tiên tiến gồm LSTM, TCN, N-BEATS và Seq2Seq đối chuẩn với mô hình thống kê ARIMA.
  4. Triển khai ứng dụng thực nghiệm: Xây dựng giao diện tương tác Streamlit kết hợp backend phân tán nhằm trực quan hóa kết quả dự báo luồng phương tiện theo từng mốc giờ và cảm biến.

Phương pháp tiếp cận

Đề tài áp dụng phương pháp tiếp cận hồi quy thông thường (Regular Regression - RR Style) đa biến thay cho thống kê truyền thống (Traditional Statistical - TS Style). Mô hình chuyển đổi dữ liệu thành các cửa sổ trượt (lookback window $L = 24$, prediction horizon $H \in {1, 3, 6, 12, 24}$ giờ), tận dụng năng lực tính toán in-memory của Apache Spark để phân phối quá trình trích xuất đặc trưng và đồng bộ gradient trọng số thông qua BigDL Parameter Synchronization.

Kết quả kỳ vọng

  • Giảm sai số dự báo RMSE xuống dưới 15% so với mô hình đơn biến cơ sở.
  • Giảm thời gian huấn luyện trên cụm phân tán Spark từ 65% đến 75% so với huấn luyện đơn máy.
  • Xây dựng hoàn chỉnh dashboard cảnh báo luồng giao thông với độ trễ phản hồi dưới 500ms cho tác vụ suy luận.

Phạm vi và giới hạn nghiên cứu

  • Phạm vi dữ liệu: Mạng lưới cảm biến đo đếm xe tự động tại Ireland cung cấp bởi Transport Infrastructure Ireland trong chu kỳ 12 tháng năm 2021, độ phân giải dữ liệu 1 giờ.
  • Giới hạn: Tập trung vào bài toán dự báo ngắn hạn và trung hạn (1 đến 24 giờ); chưa tích hợp phân tích hành vi người lái xe tức thời hoặc dữ liệu camera máy tính (CCTV visual feed).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Tiêu chí Mô hình Thống kê (ARIMA/SARIMA) Học sâu Đơn máy (LSTM/GRU PyTorch) Giải pháp Đề xuất (BigDL + Spark Distributed)
Xử lý Đa biến (Multivariate) Kém, phụ thuộc giả định tuyến tính Tốt, xử lý phi tuyến tính mạnh Xuất sắc, kết hợp Spatial Graph + Weather
Khả năng mở rộng (Scalability) Rất thấp, chạy lại toàn bộ khi có dữ liệu Giới hạn bởi VRAM/RAM của single host Mở rộng ngang (Horizontal scale) qua cụm Worker
Tốc độ xử lý Big Data Chậm khi kích thước dữ liệu $> 10^6$ dòng Rơi vào Out-of-Memory khi batch lớn Xử lý phân tán trên Spark RDD/DataFrame
Mức độ phụ thuộc phần cứng CPU đơn nhân Đòi hỏi GPU dung lượng lớn, đắt đỏ Tối ưu hóa trên cụm CPU/GPU x86 sẵn có
Độ trễ cập nhật mô hình Hàng giờ đến hàng ngày Hàng giờ Vài phút nhờ Distributed Data Parallelism

Yêu cầu người dùng theo ma trận MoSCoW

  • Must have: Mô hình đa biến hỗ trợ đồng thời biến lưu lượng, nhiệt độ, lượng mưa; pipeline trích xuất đặc trưng phân tán; API truy xuất kết quả dự báo theo ID cảm biến.
  • Should have: Bộ điều chỉnh siêu tham số tự động (Auto-tuning / HPO) trong Chronos; biểu đồ trực quan hóa sai số dự báo theo từng khung giờ cao điểm/thấp điểm.
  • Could have: Tích hợp mô hình đồ thị không gian (Spatio-temporal GCN); cảnh báo tự động qua webhook khi phát hiện bất thường lưu lượng (Anomaly detection).
  • Won't have (lần lặp này): Hệ thống điều khiển tín hiệu đèn giao thông trực tiếp ra phần cứng điều khiển.

Thiết kế hệ thống

+-----------------------------------------------------------------------------------+
|                              KIẾN TRÚC HỆ THỐNG TỔNG QUAN                         |
+-----------------------------------------------------------------------------------+
| [Nguồn Dữ Liệu]                                                                   |
+-----------------------------------------+-----------------------------------------+
                                          |
                                          v
+-----------------------------------------------------------------------------------+
| [Data Ingestion & Preprocessing - Apache Spark Core & Spark SQL]                 |
+-----------------------------------------+-----------------------------------------+
                                          |
                                          v
+-----------------------------------------------------------------------------------+
| [Distributed Deep Learning Layer - BigDL Chronos]                                 |
+-----------------------------------------+-----------------------------------------+
                                          |
                                          v
+-----------------------------------------------------------------------------------+
| [Serving & Presentation Layer]                                                    |
+-----------------------------------------------------------------------------------+

Công nghệ và phiên bản sử dụng

  • Distributed Computing Platform: Apache Spark 3.2.1 (Spark Core, Spark SQL, PySpark).
  • Deep Learning Framework: Intel BigDL 2.1.0 (Chronos Toolkit), PyTorch 1.11.0 / TensorFlow 2.8.0.
  • Ngôn ngữ lập trình: Python 3.8.12 / Scala 2.12.15.
  • Thư viện xử lý chuỗi thời gian & toán học: NumPy 1.21.6, Pandas 1.3.5, Scikit-Learn 1.0.2.
  • Giao diện trực quan & triển khai: Streamlit 1.12.0, Ngrok tunnel client, Matplotlib 3.5.1, Seaborn 0.11.2.

Thiết kế cấu trúc dữ liệu và Pipeline

Chuỗi dữ liệu được tổ chức dưới dạng ma trận đa biến tensor $X \in \mathbb{R}^{B \times L \times D}$, trong đó:

  • $B$: Batch size phân bổ trên từng Spark executor partition.
  • $L$: Độ dài chuỗi quan sát quá khứ (Lookback window = 24 steps).
  • $D$: Số lượng đặc trưng ($D = 14$ bao gồm: lưu lượng xe, vận tốc trung bình, lượng mưa, nhiệt độ, độ ẩm, mã hóa sin/cos theo giờ trong ngày, ngày trong tuần, khoảng cách tới nút giao lân cận).
  • Vector đích $Y \in \mathbb{R}^{B \times H \times K}$ ($H$: Horizon = 1..24 bước, $K$: số lượng cảm biến cần dự báo đồng thời).

Phương pháp luận (Methodology)

Quy trình nghiên cứu áp dụng mô hình chuẩn công nghiệp CRISP-DM (Cross-Industry Standard Process for Data Mining) kết hợp với chu kỳ phát triển Agile/Scrum:

  1. Hiểu nghiệp vụ & Hiểu dữ liệu: Đánh giá đặc thù dữ liệu giao thông theo chu kỳ ngày/đêm, cuối tuần và hiện tượng nghẽn mạng cục bộ.
  2. Chuẩn bị dữ liệu phân tán: Xử lý mất mát dữ liệu cảm biến, chuẩn hóa Min-Max phân tán trên Spark.
  3. Mô hình hóa: Huấn luyện lặp nhiều kiến trúc (ARIMA $\rightarrow$ LSTM $\rightarrow$ TCN $\rightarrow$ N-BEATS) trên hạ tầng song song.
  4. Đánh giá & Triển khai: Kiểm thử chéo theo chuỗi thời gian (Time-series Cross-Validation) và kiểm định thực tế trên giao diện trực quan.

Implementation và kết quả

Quá trình phát triển và Thuật toán cốt lõi

1. Mạng bộ nhớ ngắn hạn dài đa biến (Multivariate LSTM)

Khắc phục hiện tượng triệt tiêu đạo hàm (vanishing gradient) của RNN truyền thống khi học các phụ thuộc thời gian dài trong chu kỳ lưu lượng giao thông:

$$\begin{aligned} f_t &= \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \quad &&\text{(Forget Gate)} \ i_t &= \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) \quad &&\text{(Input Gate)} \ \tilde{C}t &= \tanh(W_c \cdot [h{t-1}, x_t] + b_c) \quad &&\text{(Candidate State)} \ C_t &= f_t \odot C_{t-1} + i_t \odot \tilde{C}t \quad &&\text{(Cell State Update)} \ o_t &= \sigma(W_o \cdot [h{t-1}, x_t] + b_o) \quad &&\text{(Output Gate)} \ h_t &= o_t \odot \tanh(C_t) \quad &&\text{(Hidden State Output)} \end{aligned}$$

2. Mạng tích chập thời gian (Temporal Convolutional Network - TCN)

Sử dụng tích chập nhân quả giãn nở (Dilated Causal Convolutions) với trường tiếp nhận (receptive field) mở rộng theo cấp số nhân:

$$y_t = (x *d f)(t) = \sum{i=0}^{k-1} f(i) \cdot x_{t - d \cdot i}$$

Trong đó $d$ là hệ số giãn nở ($d = 1, 2, 4, 8, \dots$), $k$ là kích thước kernel filter. TCN cho phép huấn luyện song song toàn bộ chuỗi mà không cần tuần tự hóa từng bước như RNN.

3. Triển khai Distributed Training với BigDL Chronos

Đoạn mã mẫu triển khai pipeline tiền xử lý và huấn luyện phân tán với TSDataset và LSTMForecaster của BigDL:

from bigdl.chronos.data import TSDataset
from bigdl.chronos.forecaster import LSTMForecaster
from pyspark.sql import SparkSession
import pandas as pd

# 1. Khởi tạo phiên tính toán phân tán SparkSession
spark = SparkSession.builder \
    .appName("DistributedTrafficForecastingBigDL") \
    .config("spark.driver.memory", "8g") \
    .config("spark.executor.memory", "16g") \
    .config("spark.executor.cores", "4") \
    .getOrCreate()

# 2. Xây dựng TSDataset đa biến từ Spark DataFrame
df_raw = spark.read.parquet("hdfs:///data/traffic_ireland_2021_augmented.parquet").toPandas()
tsdata_train, tsdata_val, tsdata_test = TSDataset.from_pandas(
    df_raw,
    dt_col="timestamp",
    target_col=["vehicle_flow"],
    extra_feature_col=["rainfall", "temperature", "humidity", "sensor_neighbor_flow", "day_sin", "day_cos"],
    id_col="sensor_id"
).split_at_ratio([0.7, 0.15])

# Tiền xử lý chuẩn hóa và sinh Lookback/Horizon tensors
for tsdata in [tsdata_train, tsdata_val, tsdata_test]:
    tsdata.impute(mode="linear")
    tsdata.scale(fit=(tsdata is tsdata_train))
    tsdata.roll(lookback=24, horizon=6)

x_train, y_train = tsdata_train.to_numpy()
x_val, y_val = tsdata_val.to_numpy()
x_test, y_test = tsdata_test.to_numpy()

# 3. Khởi tạo mô hình Forecaster tối ưu hóa phân tán
forecaster = LSTMForecaster(
    past_seq_len=24,
    future_seq_len=6,
    input_feature_num=x_train.shape[-1],
    output_feature_num=1,
    hidden_dim=128,
    layer_num=2,
    dropout=0.2,
    lr=1e-3,
    distributed=True,  # Kích hoạt chế độ song song hóa BigDL
    workers_per_node=4,
    cpu_cores=8
)

# 4. Huấn luyện phân tán và đánh giá hiệu năng
forecaster.fit((x_train, y_train), epochs=50, batch_size=64, validation_data=(x_val, y_val))
predictions = forecaster.predict(x_test)
evaluation_metrics = forecaster.evaluate(x_test, y_test, metrics=["rmse", "mae", "mape"])
print(f"Test Evaluation Metrics: {evaluation_metrics}")

Thử nghiệm và Đánh giá định lượng

Hệ thống được đánh giá qua 4 thang đo chuẩn:

  • RMSE (Root Mean Square Error): $\sqrt{\frac{1}{N}\sum_{i=1}^N (y_i - \hat{y}_i)^2}$
  • MAE (Mean Absolute Error): $\frac{1}{N}\sum_{i=1}^N |y_i - \hat{y}_i|$
  • MAPE (Mean Absolute Percentage Error): $\frac{100%}{N}\sum_{i=1}^N \left|\frac{y_i - \hat{y}_i}{y_i}\right|$
  • sMAPE (Symmetric MAPE): $\frac{100%}{N}\sum_{i=1}^N \frac{|y_i - \hat{y}_i|}{(|y_i| + |\hat{y}_i|)/2}$

Bảng kết quả so sánh hiệu năng thực nghiệm trên tập Test (Dự báo Horizon = 1h & 6h)

Mô hình kiểm thử Dạng mô hình Cấu hình tham số RMSE (xe/h) MAE (xe/h) MAPE (%) Thời gian huấn luyện (phút)
ARIMA Đơn biến $(p=2, d=1, q=2)$ 184.32 142.10 18.75% 145.2 (Single Node)
Prophet Đơn biến Fourier $N=10$, Additive 165.40 128.65 16.20% 88.0 (Single Node)
Seq2Seq Đa biến Encoder-Decoder 2-layer GRU 124.15 92.40 11.85% 52.4 (Distributed 4W)
N-BEATS Đa biến 30 Blocks, Doubly Residual 112.80 84.10 10.45% 41.2 (Distributed 4W)
TCN Đa biến Kernel=3, Dilations=[1,2,4,8] 108.55 81.20 9.90% 28.6 (Distributed 4W)
LSTM (Đề xuất) Đa biến 2-layer, Hidden=128, BigDL 104.20 78.50 9.42% 34.1 (Distributed 4W) 
+-------------------------------------------------------------------------+
|                  BIỂU ĐỒ SO SÁNH SAI SỐ MAPE GIỮA CÁC MÔ HÌNH           |
+-------------------------------------------------------------------------+
| ARIMA (Univariate)   : [===================] 18.75%                     |
| Prophet (Univariate) : [================] 16.20%                        |
| Seq2Seq (Multivar)   : [============] 11.85%                            |
| N-BEATS (Multivar)   : [==========] 10.45%                              |
| TCN (Multivar)       : [=========] 9.90%                                |
| LSTM-BigDL (Multivar): [=========] 9.42%  <-- TỐI ƯU NHẤT               |
+-------------------------------------------------------------------------+

Phân tích hiệu năng phân tán (Distributed Scalability)

  • Độ tăng tốc (Speedup): Trên cụm thử nghiệm 4-node (16 CPU cores/node), BigDL đạt mức tăng tốc 3.82x so với huấn luyện đơn nút, duy trì hiệu suất mở rộng (Scaling Efficiency) đạt 95.5%.
  • Độ chính xác theo vị trí: Tại các cảm biến có lưu lượng phức tạp (VD: Cảm biến ID 1253 gần nút giao trung tâm), việc bổ sung đặc trưng thời tiết và tương quan không gian giúp giảm đỉnh sai số trong các khung giờ mưa bão tới 31.4% so với mô hình thuần đơn biến.

Đổi mới và đóng góp

  1. Kiến trúc đồng hóa đa nguồn phân tán: Đột phá trong việc tích hợp dữ liệu chuỗi thời gian vật lý của cảm biến giao thông với ma trận kề không gian đồ thị và chuỗi thời tiết theo thời gian thực trực tiếp trên Spark DataFrame, loại bỏ độ trễ trích xuất đặc trưng.
  2. Cải tiến độ chính xác vượt trội: Mô hình học sâu đa biến (Multivariate LSTM/TCN) kết hợp BigDL đạt mức cải thiện độ chính xác:
    • Giảm 43.46% RMSE so với mô hình ARIMA truyền thống ($104.20$ so với $184.32$).
    • Giảm 37.00% RMSE so với mô hình Prophet do Facebook phát triển.
    • Cải thiện 20.5% độ chính xác so với mô hình LSTM đơn biến chạy cục bộ không có đặc trưng thời tiết.
  3. Ứng dụng công nghệ BigDL-Chronos tiên phong: Đồ án là một trong những công trình ứng dụng sớm nhất framework BigDL 2.0 tại Việt Nam trong lĩnh vực ITS, chứng minh khả năng thay thế hạ tầng GPU đắt đỏ bằng cụm máy chủ CPU x86 sẵn có của doanh nghiệp/nhà nước thông qua distributed computing.

Ứng dụng thực tế và triển khai

Tình huống ứng dụng thực tế

  • Trung tâm điều hành giao thông đô thị (TMC): Cung cấp dự báo lưu lượng trước 1-6 giờ để tự động điều chỉnh chu kỳ đèn tín hiệu giao thông (Adaptive Traffic Signal Control) tại các giao lộ trọng điểm, giảm nguy cơ dồn ứ cục bộ.
  • Ứng dụng điều hướng thông minh (Navigation Services): Tích hợp dữ liệu dự báo vào thuật toán tìm đường (Routing algorithm) cho các nền tảng như Google Maps, Grab, Gojek để định tuyến phương tiện tránh các cung đường có nguy cơ tắc nghẽn cao trong 30-60 phút tới.
  • Quy hoạch và bảo trì hạ tầng giao thông: Giúp Sở Giao thông Vận tải xác định chính xác tải trọng phương tiện theo chu kỳ tuần/tháng nhằm lên kế hoạch sửa chữa và nâng cấp làn đường phù hợp.
+-------------------------------------------------------------------------+
|                  KIẾN TRÚC TRIỂN KHAI THỰC TẾ (PRODUCTION)             |
+-------------------------------------------------------------------------+
|                                                                         |
|  [IoT Edge Sensors] ----> [Apache Kafka Message Bus]                    |
|                                    |                                    |
|                                    v                                    |
|                  [Spark Streaming + BigDL Cluster]                      |
|                  (Real-time Inference & Model Updating)                 |
|                                    |                                    |
|         +--------------------------+--------------------------+         |
|         |                                                     |         |
|         v                                                     v         |
|  [REST API Gateway]                                 [Time-Series DB]    |
|         |                                            (InfluxDB / Timescale)
|         v                                                     |         |
|  [Navigation Apps / TMC Control Panel] <----------------------+         |
|                                                                         |
+-------------------------------------------------------------------------+

Chiến lược và Yêu cầu triển khai

  • Cấu hình tối thiểu (Proof-of-Concept): Máy chủ 8 Cores CPU, 32GB RAM, 100GB SSD, Ubuntu Linux 20.04 LTS.
  • Cấu hình cụm sản xuất (Enterprise Cluster): Cụm Apache Spark gồm 1 Master Node + 3 Worker Nodes (Mỗi node: Intel Xeon 16 Cores, 64GB RAM, mạng nội bộ 10Gbps).
  • Phân tích chi phí - lợi ích (ROI): Việc tận dụng BigDL trên hạ tầng CPU hiện có giúp doanh nghiệp tiết kiệm 60-70% chi phí đầu tư phần cứng chuyên dụng GPU cụm, đồng thời giảm chi phí điện năng tiêu thụ dài hạn.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  • Độ phân giải thời gian: Dữ liệu thử nghiệm ở mức 1 giờ/lần đo; chưa đánh giá được các biến động giật cục theo từng chu kỳ 5 phút hoặc 15 phút.
  • Dữ liệu bất thường đột xuất: Mô hình chưa tự động thích ứng ngay lập tức với các sự kiện tai nạn giao thông bất khả kháng (traffic accidents) nếu không có nguồn cấp dữ liệu sự kiện đầu vào.

Hướng phát triển tiếp theo

  • Mô hình hóa đồ thị không-thời gian (Spatial-Temporal Graph Neural Networks): Tích hợp Spatio-Temporal Graph Convolutional Networks (ST-GCN) hoặc Graph WaveNet vào BigDL để học trực tiếp trọng số liên kết giữa hàng trăm nút giao thông mà không cần tiền xử lý bán thủ công.
  • Cập nhật trực tuyến (Online Learning / Streaming Forecaster): Áp dụng cơ chế học tăng cường và streaming training liên tục khi có dữ liệu mới từ Spark Streaming, loại bỏ hoàn toàn nhu cầu retraining theo lô (batch).

Đối tượng hưởng lợi

  • Sinh viên Khoa học Dữ liệu & CNTT: Tiếp cận một tài liệu nghiên cứu chuẩn mực về quy trình xây dựng mô hình chuỗi thời gian đa biến phức tạp và kỹ thuật xử lý dữ liệu lớn bằng Spark & BigDL.
  • Kỹ sư AI / Data Engineers: Nắm vững cấu trúc pipeline triển khai mô hình học sâu phân tán từ khâu tiền xử lý TSDataset đến huấn luyện Forecaster trên cụm hạ tầng thực tế.
  • Doanh nghiệp & Cơ quan Quản lý Giao thông: Sở hữu giải pháp công nghệ khả thi cao, có thể đưa vào vận hành thực tế với chi phí tối ưu để nâng cao năng lực điều tiết giao thông đô thị.
  • Các nhà nghiên cứu ITS: Cung cấp bộ số liệu thực nghiệm đối chuẩn (benchmark) tin cậy giữa các kiến trúc Deep Learning hiện đại (LSTM, TCN, N-BEATS) trên tập dữ liệu đa biến mở rộng.

Câu hỏi thường gặp

1. Yêu cầu kỹ thuật tối thiểu để chạy mã nguồn đồ án là gì?

Mã nguồn có thể chạy thử nghiệm trên môi trường Google Colab tiêu chuẩn (miễn phí) hoặc máy cá nhân có tối thiểu 8GB RAM, CPU 4 nhân, cài đặt Python 3.8, Java JDK 8/11 và thư viện bigdl-chronos, pyspark.

2. Tại sao lại chọn BigDL thay vì huấn luyện PyTorch/TensorFlow truyền thống?

BigDL tối ưu hóa việc phân tán dữ liệu trực tiếp trên hạ tầng Apache Spark, tận dụng triệt để các tập lệnh Vector Neural Network Instructions (VNNI) và AVX-512 trên chip Intel CPU, giúp xử lý các tập dữ liệu chuỗi thời gian hàng chục Gigabytes mà không gặp lỗi tràn bộ nhớ (OOM) như trên máy đơn lẻ.

3. Việc kết hợp đặc trưng thời tiết cải thiện kết quả như thế nào?

Thực nghiệm cho thấy trong các điều kiện thời tiết cực đoan (lượng mưa $> 10mm/h$), các mô hình đơn biến thường dự báo vượt mức thực tế do tốc độ di chuyển và lưu lượng xe sụt giảm. Mô hình đa biến có biến ngoại sinh lượng mưa và nhiệt độ điều chỉnh giảm lưu lượng dự báo chính xác, kéo giảm sai số MAE tới 18.2% trong các khoảng thời gian này.

4. Hệ thống có khả năng mở rộng (Scalability) khi số lượng cảm biến tăng lên không?

Có. Nhờ kiến trúc phân tán của Apache Spark, khi số lượng cảm biến tăng từ hàng chục lên hàng nghìn, hệ thống chỉ cần bổ sung thêm các Worker Node (mở rộng ngang - Scale-out) vào cụm tính toán mà không cần cấu trúc lại mã nguồn xử lý.

5. Chi phí triển khai và thời gian hoàn vốn (ROI) cho một đô thị cỡ vừa ra sao?

Thời gian triển khai hệ thống ước tính từ 2 đến 3 tháng. Với chi phí đầu tư máy chủ CPU thông thường khoảng 150 - 250 triệu VNĐ, hệ thống giúp tiết kiệm hàng tỷ đồng mỗi năm thông qua việc giảm thiểu thiệt hại kinh tế do ùn tắc và tối ưu hóa năng suất lao động xã hội.

Kết luận

Khóa luận tốt nghiệp "Dự báo luồng giao thông với mô hình chuỗi thời gian đa biến sử dụng BigDL" của nhóm tác giả Trịnh Ngọc Pháp và Trần Nguyễn Anh Khoa (Trường Đại học Công nghệ Thông tin - ĐHQG-HCM, hướng dẫn: TS. Nguyễn Thanh Bình & TS. Đỗ Trọng Hợp) đã giải quyết toàn diện bài toán dự báo lưu lượng giao thông thông minh trong kỷ nguyên dữ liệu lớn. Bằng cách kết hợp linh hoạt giữa phương pháp tiếp cận đa biến, mạng nơ-ron học sâu hiện đại (LSTM, TCN, N-BEATS) và sức mạnh tính toán phân tán của BigDL trên nền Apache Spark, công trình đã chứng minh tính ưu việt vượt trội cả về độ chính xác dự báo (MAPE đạt 9.42%) lẫn hiệu năng mở rộng quy mô. Đây là nền tảng công nghệ vững chắc, mở ra tiềm năng ứng dụng to lớn trong việc xây dựng các đô thị thông minh và hiện đại hóa hệ thống giao thông tại Việt Nam.