Khóa Luận Tốt Nghiệp CNTT: Xây Dựng Mô Hình Dự Đoán Thời Gian Đến Của Phương Tiện Giao Thông

Khóa luận tốt nghiệp công nghệ thông tin tập trung xây dựng mô hình dự đoán thời gian đến của phương tiện giao thông, ứng dụng AI và dữ liệu thực tế.

• Tác giả: Đoàn Việt Bách
• Người hướng dẫn: TS. Đỗ Trọng Hợp
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Xây dựng mô hình dự đoán thời gian đến của phương tiện giao thông
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: LÝ DO CHỌN ĐỀ TÀI
• 1.1. Mục đích chọn đề tài
• 1.2. Đối tượng nghiên cứu
• 1.3. Phạm vi nghiên cứu
• 1.4. Cấu trúc khóa luận
• 2. CHƯƠNG 2: TỔNG QUAN ĐỀ TÀI
• 2.1. Công nghệ Big Data
• 2.2. Công nghệ Big Data trong lĩnh vực phương tiện giao thông
• 2.3. Công trình liên quan
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT VÀ BỘ DỮ LIỆU
• 3.1. Bộ dữ liệu
• 3.2. Mô hình Machine learning
• 3.3. Decision Tree, Random Forest, Gradient-boosted Trees
• 3.4. Mô hình Deep Learning
• 3.4.1. Long Short-Term Memory
• 3.4.2. BIGRU-BILSTM-CNN
• 3.5. Event stream processing và các nền tảng cho Event stream processing
• 3.6. Các phương pháp đánh giá
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Phát triển mô hình
• 4.2. Môi trường triển khai
• 4.3. Tiền xử lí dữ liệu
• 4.4. Kết quả thực nghiệm
• 4.5. Đánh giá phương pháp Word2vec so với Label Encoding đối với các thuộc tính
• 4.6. Bảng so sánh giữa Label Encoding và Word2vec
• 4.7. Ảnh hưởng của batch size với mô hình deep learning
• 4.8. Ảnh hưởng của epoch với mô hình deep learning
• 4.9. Xây dựng hệ thống
• 4.10. Tổng quan hệ thống
• 5. CHƯƠNG 5: TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Mô hình dự đoán

Mô hình dự đoán là trọng tâm của khóa luận, tập trung vào việc dự đoán thời gian đến của các phương tiện giao thông công cộng. Các mô hình học máy và học sâu như Ridge Regression, Decision Tree, Random Forest, và Gradient-boosted Trees được áp dụng. Đặc biệt, các mô hình học sâu như CNN, LSTM, GRU, và BiGRU-BiLSTM-CNN được sử dụng để tăng độ chính xác. Các mô hình này được đánh giá dựa trên các chỉ số như MSE, RMSE, MAE, và R-squared.

1.1. Thuật toán dự đoán

Các thuật toán dự đoán được nghiên cứu và triển khai bao gồm Ridge Regression, Decision Tree, Random Forest, và Gradient-boosted Trees. Các thuật toán này được so sánh với các mô hình học sâu như CNN, LSTM, GRU, và BiGRU-BiLSTM-CNN để đánh giá hiệu quả. Kết quả cho thấy các mô hình học sâu có độ chính xác cao hơn trong việc dự đoán thời gian đến của phương tiện giao thông.

1.2. Mô hình học sâu

Các mô hình học sâu như CNN, LSTM, GRU, và BiGRU-BiLSTM-CNN được sử dụng để tối ưu hóa dự đoán. LSTM và GRU được chọn vì khả năng xử lý dữ liệu chuỗi thời gian, trong khi CNN được sử dụng để trích xuất đặc trưng từ dữ liệu. BiGRU-BiLSTM-CNN là mô hình kết hợp, mang lại kết quả dự đoán chính xác nhất.

II. Thời gian đến

Thời gian đến của phương tiện giao thông là yếu tố quan trọng trong nghiên cứu. Khóa luận tập trung vào việc dự đoán chính xác thời gian này dựa trên các yếu tố như điều kiện giao thông, thời tiết, và sự cố. Các mô hình được huấn luyện trên hai bộ dữ liệu Bus Dataset và Subway Dataset, đảm bảo tính đa dạng và thực tế.

2.1. Phân tích thời gian

Phân tích thời gian được thực hiện để hiểu rõ các yếu tố ảnh hưởng đến thời gian đến của phương tiện. Các yếu tố như thời tiết, sự cố giao thông, và lưu lượng được xem xét. Kết quả phân tích giúp cải thiện độ chính xác của các mô hình dự đoán.

2.2. Tối ưu hóa giao thông

Tối ưu hóa giao thông là mục tiêu chính của nghiên cứu. Bằng cách dự đoán chính xác thời gian đến, hệ thống giúp người dùng lên kế hoạch di chuyển hiệu quả, giảm thiểu thời gian chờ đợi và tăng cường trải nghiệm người dùng.

III. Phương tiện giao thông

Phương tiện giao thông công cộng như xe buýt và tàu điện ngầm là đối tượng chính của nghiên cứu. Dữ liệu được thu thập từ các nguồn như TTC Dataset, bao gồm thông tin về lịch trình, độ trễ, và sự cố. Các mô hình được huấn luyện để dự đoán thời gian đến của các phương tiện này, giúp cải thiện dịch vụ giao thông công cộng.

3.1. Dữ liệu giao thông

Dữ liệu giao thông được thu thập từ các nguồn như TTC Dataset, bao gồm thông tin về lịch trình, độ trễ, và sự cố. Dữ liệu được tiền xử lý để loại bỏ nhiễu và chuẩn hóa trước khi đưa vào mô hình.

3.2. Hệ thống giao thông

Hệ thống giao thông được cải thiện thông qua việc áp dụng các mô hình dự đoán. Hệ thống giúp tối ưu hóa lộ trình và lịch trình của các phương tiện, giảm thiểu độ trễ và nâng cao chất lượng dịch vụ.

IV. Khóa luận tốt nghiệp

Khóa luận tốt nghiệp này là kết quả của quá trình nghiên cứu và phát triển trong lĩnh vực Công nghệ Thông tin. Nghiên cứu tập trung vào việc xây dựng các mô hình dự đoán thời gian đến của phương tiện giao thông, áp dụng các công nghệ hiện đại như Big Data, Spark Streaming, và Kafka.

4.1. Ứng dụng CNTT

Ứng dụng CNTT trong nghiên cứu bao gồm việc sử dụng Big Data để xử lý lượng dữ liệu lớn, Spark Streaming để xử lý dữ liệu thời gian thực, và Kafka để thu thập dữ liệu từ nhiều nguồn.

4.2. Khoa học dữ liệu

Khoa học dữ liệu là nền tảng của nghiên cứu, với việc áp dụng các phương pháp phân tích dữ liệu và xây dựng mô hình dự đoán. Kết quả nghiên cứu hứa hẹn mang lại nhiều ứng dụng thực tiễn trong lĩnh vực giao thông.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự gia tăng nhanh chóng của nhu cầu đi lại tại các đô thị phát triển đặt ra thách thức lớn đối với công tác điều phối giao thông và quy hoạch đô thị. Mật độ phương tiện cao, cùng với các tác động bất lợi từ thời tiết, hoạt động sửa chữa công trình và những sự cố kỹ thuật phát sinh bất ngờ trên tuyến, thường xuyên gây ra tình trạng chậm trễ lịch trình di chuyển của các phương tiện công cộng. Thực trạng này khiến người tham gia giao thông gặp khó khăn trong việc chủ động quản lý thời gian và sắp xếp lộ trình cá nhân.

Nhằm giải quyết vấn đề cấp thiết trên, khóa luận "Xây dựng mô hình dự đoán thời gian đến cho các phương tiện giao thông công cộng" được thực hiện nhằm xây dựng giải pháp tính toán và ước lượng thời gian đến bến thực tế cho các phương tiện như xe buýt và tàu điện ngầm. Nghiên cứu thực hiện 5 nhiệm vụ cụ thể sau:

1. Thu thập, khảo sát và tiền xử lý các tập dữ liệu vận hành từ phương tiện giao thông công cộng thực tế.
2. Xây dựng đường ống (pipeline) thu thập và xử lý luồng dữ liệu thời gian thực (Event Stream Processing) dựa trên nền tảng Apache Kafka và Spark Streaming.
3. Nghiên cứu lý thuyết, thiết kế và huấn luyện các thuật toán học máy (Machine Learning) truyền thống và mạng nơ-ron học sâu (Deep Learning), bao gồm mô hình kết hợp mạng nơ-ron đa tầng.
4. Đánh giá, đối sánh hiệu năng dự đoán giữa các mô hình thông qua hệ thống chỉ số đo lường sai số chuẩn mực.
5. Triển khai tích hợp mô hình vào hệ thống phần mềm hoàn chỉnh với giao diện ứng dụng web trực quan nhằm phục vụ người dùng cuối.

Đối tượng nghiên cứu của đề tài bao gồm: dữ liệu lịch trình di chuyển và báo cáo sự cố chậm trễ của phương tiện công cộng; các nền tảng xử lý dữ liệu luồng phân tán (Apache Kafka, Apache Spark Streaming); cùng hệ thống thuật toán hồi quy học máy (Ridge Regression, Decision Tree, Random Forest, Gradient-boosted Trees) và học sâu (CNN, LSTM, BiLSTM, GRU, BiGRU-BiLSTM-CNN). Phạm vi không gian nghiên cứu sử dụng dữ liệu từ Ủy ban Vận tải Toronto (TTC - Toronto Transit Commission) tại Toronto, Canada trong năm 2023, tập trung vào hai loại hình phương tiện vận tải chủ lực là xe buýt (Bus Dataset) và tàu điện ngầm (Subway Dataset).

---

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng dựa trên các trụ cột công nghệ dữ liệu lớn (Big Data), kỹ thuật xử lý luồng sự kiện (Event Stream Processing), các giải thuật hồi quy học máy và kiến trúc mạng nơ-ron sâu:

• Khung lý thuyết dữ liệu lớn và xử lý luồng: Đề tài ứng dụng đặc tính "3Vs" của Big Data (Volume, Velocity, Variety). Để tiếp nhận luồng dữ liệu liên tục không gián đoạn, hệ thống sử dụng kiến trúc phân tán của Apache Kafka với các thành phần cốt lõi: Producer (nạp thông điệp), Kafka Topic (lưu trữ theo chủ đề), Partition (phân vùng dữ liệu hỗ trợ mở rộng) và Consumer (đọc và phân phối dữ liệu). Tầng tính toán sử dụng Apache Spark (Spark Streaming) với cơ chế xử lý dữ liệu trong bộ nhớ (in-memory computing) và hỗ trợ phân tán trên cụm máy tính để xử lý luồng dữ liệu từ Kafka theo thời gian thực.
• Mô hình học máy (Machine Learning):
  • Ridge Regression: Hồi quy tuyến tính có chính quy hóa $L_2$ nhằm xử lý hiện tượng đa cộng tuyến và ngăn ngừa hiện tượng quá khớp (overfitting), sử dụng ước lượng hệ số ma trận bằng phương pháp bình phương tối thiểu $\beta = (X^T X)^{-1} X^T y$.
  • Decision Tree Regressor: Thuật toán phân chia không gian dữ liệu đệ quy dựa trên tiêu chí tối thiểu hóa độ biến thiên tại các nút nhánh.
  • Random Forest Regressor: Phương pháp tổ hợp (ensemble learning) dựa trên cơ chế Bootstrap Aggregating (Bagging) và chọn mẫu đặc trưng ngẫu nhiên để trung bình hóa kết quả từ nhiều cây quyết định độc lập.
  • Gradient-boosted Trees Regression: Kỹ thuật học tăng cường (Boosting) xây dựng cây tuần tự, trong đó mỗi cây mới được huấn luyện để dự đoán phần dư (residual) của mô hình trước đó nhằm tối thiểu hóa hàm mất mát (loss function).
• Mô hình học sâu (Deep Learning):
  • Long Short-Term Memory (LSTM): Mạng nơ-ron hồi quy chuỗi thời gian giải quyết vấn đề biến mất/bùng nổ đạo hàm (vanishing/exploding gradient) qua cơ chế ô trạng thái nhớ (cell state) được điều tiết bởi 3 cổng: cổng vào (input gate), cổng quên (forget gate) và cổng ra (output gate), huấn luyện thông qua thuật toán lan truyền ngược qua thời gian (BPTT).
  • Convolutional Neural Networks (CNN): Cấu trúc gồm lớp tích chập (Convolutional Layer) trích xuất đặc trưng cục bộ, lớp kích hoạt phi tuyến (ReLU), lớp gộp (Pooling Layer) giảm chiều không gian và lớp kết nối đầy đủ (Fully Connected Layer).
  • Bidirectional LSTM (BiLSTM): Kết hợp hai luồng LSTM xử lý dữ liệu theo hai chiều thuận (forward) và nghịch (backward) để nắm bắt ngữ cảnh toàn diện của chuỗi dữ liệu.
  • Gated Recurrent Unit (GRU): Biến thể tối giản của LSTM với cấu trúc gồm 2 cổng: cổng cập nhật (update gate) và cổng xóa bỏ (reset gate), giúp giảm số lượng tham số huấn luyện.
  • BiGRU-BiLSTM-CNN: Kiến trúc mạng lai kết hợp đường dẫn song song Bi-GRU và Bi-LSTM đi qua lớp Spatial Dropout, sau đó chuyển tiếp qua các lớp CNN-1D, áp dụng Global Average Pooling và Global Max Pooling, ghép nối đặc trưng (Concatenate) và đưa qua lớp kết nối đầy đủ (Dense) để đưa ra giá trị dự đoán.
• Phương pháp đánh giá: Sử dụng 5 thang đo thống kê tiêu chuẩn để kiểm định độ chính xác:
  • Mean Squared Error (MSE): Đo lường trung bình bình phương sai số.
  • Root Mean Square Error (RMSE): Căn bậc hai của MSE, có cùng đơn vị với biến mục tiêu.
  • Mean Absolute Error (MAE): Trung bình sai số tuyệt đối, ít bị ảnh hưởng bởi các giá trị ngoại lai (outliers).
  • Mean Absolute Percentage Error (MAPE): Đo lường trung bình tỷ lệ phần trăm sai số tuyệt đối.
  • Hệ số xác định ($R^2$ - R-squared): Đo lường tỷ lệ biến thiên của biến phụ thuộc được giải thích bởi các biến độc lập trong mô hình.

---

Thiết kế và triển khai

Hệ thống được thiết kế theo mô hình phân tầng từ thu nhận dữ liệu đến hiển thị kết quả:

[Nguồn dữ liệu TTC] 
[Apache Kafka: Producer ➔ Topic/Partition ➔ Consumer]
[Spark Streaming Engine: In-Memory Stream Processing & ML/DL Inference]
[Giao diện ứng dụng Web: Trực quan hóa thời gian đến thời gian thực]

1. Môi trường phần cứng và hệ điều hành thực nghiệm

Quá trình huấn luyện mô hình và thử nghiệm hệ thống được thực hiện trên hai cấu hình phần cứng:

• Máy 1: CPU Intel Core i5-12500H thế hệ 12 (2.50 GHz), GPU NVIDIA GeForce RTX 3060, RAM 16 GB, Hệ điều hành Windows 11.
• Máy 2: CPU AMD Ryzen 5 5600H (3.30 GHz), GPU NVIDIA GeForce RTX 3050, RAM 16 GB, Hệ điều hành Windows 11.

2. Tiền xử lý dữ liệu và cấu trúc tập dữ liệu

Dữ liệu gốc từ Ủy ban Vận tải Toronto (TTC) ghi nhận hoạt động năm 2023 được làm sạch, xử lý trùng lặp và trích xuất thêm các đặc trưng thời gian phục vụ bài toán hồi quy:

Thuộc tính	Bus Dataset (Gốc)	Bus Dataset (Sau xử lý)	Subway Dataset (Gốc)	Subway Dataset (Sau xử lý)
Số dòng dữ liệu	56.207 dòng	49.051 dòng	20.882 dòng	7.382 dòng
Số lượng cột	10 cột	14 cột	10 cột	15 cột
Các thuộc tính thời gian trích xuất mới	Không có	Day_month, Month, Hour, Min	Không có	Day_month, Month, Hour, Min
Thuộc tính trạm dừng/vị trí bổ sung	Location (11.684 giá trị)	Location (10.107 giá trị)	Station (359 giá trị)	Station (77 giá trị), bổ sung At_station
Thuộc tính độ trễ mục tiêu	Min_delay (500 giá trị)	Min_delay (84 giá trị)	Min_delay (108 giá trị)	Min_delay (39 giá trị)
Khoảng cách giữa các đợt xe	Min_gap (538 giá trị)	Min_gap (141 giá trị)	Min_gap (113 giá trị)	Min_gap (45 giá trị)
Định danh phương tiện/Tuyến	Route (264), Vehicle (2392)	Route (214), Vehicle (2327)	Line (13), Vehicle (697)	Line (4), Vehicle (615)

Quá trình tiền xử lý cũng bao gồm việc đánh giá phương pháp mã hóa thuộc tính dạng văn bản (so sánh giữa Word2vec và Label Encoding) và khảo sát tác động của siêu tham số huấn luyện (Batch Size, Epoch) đối với đường cong hàm mất mát (loss và val_loss) của các mạng học sâu.

---

Nội dung chính theo từng chương

Chương 1. Mở đầu

Chương này nêu rõ lý do chọn đề tài xuất phát từ nhu cầu đi lại tăng cao và áp lực giao thông đô thị; xác định mục tiêu xây dựng công cụ hỗ trợ người dân nắm bắt thông tin thời gian đến thực tế của xe buýt và tàu điện ngầm. Tác giả xác định đối tượng nghiên cứu gồm dữ liệu di chuyển, hệ sinh thái xử lý dữ liệu Spark Streaming / Kafka và các thuật toán học máy / học sâu; đồng thời phân định phạm vi nghiên cứu và thiết lập cấu trúc 5 chương của khóa luận.

Chương 2. Tổng quan đề tài

Trình bày tổng quan lý thuyết về công nghệ dữ liệu lớn (Big Data) với mô hình phân tán Hadoop (HDFS, MapReduce), Apache Spark và hệ quản trị cơ sở dữ liệu NoSQL. Chương phân tích ứng dụng của Big Data trong quản lý giao thông đô thị như dự đoán lưu lượng, tối ưu hóa lộ trình và giám sát hành vi lái xe. Đồng thời, tác giả khảo sát các công trình nghiên cứu liên quan tiêu biểu (công trình của Nazirkar Reshma Ramchandra & C. Rajabhushanam; công trình của Parinith R. Iyer và cộng sự) về việc ứng dụng mạng nơ-ron học sâu (DAN, DBN, LSTM) trên nền tảng Python để dự đoán lưu lượng giao thông.

Chương 3. Cơ sở lý thuyết và bộ dữ liệu

Giới thiệu bối cảnh hệ thống Ủy ban Vận tải Toronto (TTC) quản lý 70 ga, hơn 150 tuyến xe buýt, 9 tuyến xe điện với hơn 736 triệu lượt khách trong năm 2023. Mô tả chi tiết cấu trúc tập dữ liệu Bus Dataset và Subway Dataset trước và sau khi tiền xử lý. Chương này đi sâu vào cơ sở toán học của các giải thuật học máy (Ridge Regression, Decision Tree, Random Forest, Gradient-boosted Trees) và cấu tạo các lớp học sâu (LSTM, CNN, BiLSTM, GRU, kiến trúc lai BiGRU-BiLSTM-CNN). Cuối cùng, tác giả trình bày cơ chế hoạt động của Apache Kafka, Spark Streaming và định nghĩa toán học của 5 chỉ số đánh giá sai số (MSE, RMSE, MAE, MAPE, $R^2$).

Chương 4. Thực nghiệm và đánh giá

Trình bày cấu hình môi trường phần cứng máy tính cá nhân sử dụng GPU RTX 3060 và RTX 3050 trên hệ điều hành Windows 11. Thể hiện quy trình tiền xử lý dữ liệu, làm sạch các trường bản ghi, trích xuất đặc trưng ngày/tháng/giờ/phút. Chương thực hiện đối sánh phương pháp xử lý thuộc tính văn bản (Word2vec và Label Encoding), phân tích sự ảnh hưởng của Batch size và số lượng Epoch lên hiệu năng mô hình, đồng thời tổng hợp bảng kết quả đánh giá các mô hình học máy và học sâu trên hai bộ dữ liệu xe buýt và tàu điện ngầm. Toàn bộ kiến trúc hệ thống xử lý luồng và giao diện ứng dụng web hoàn chỉnh được kiểm thử và trình bày chi tiết.

Chương 5. Tổng kết và hướng phát triển

Đánh giá tổng quan mức độ hoàn thành mục tiêu nghiên cứu của khóa luận; chỉ ra các ưu điểm trong việc tích hợp công nghệ dữ liệu lớn với mô hình học sâu để xử lý dữ liệu thời gian thực; nhận định các mặt hạn chế còn tồn tại trong phạm vi đề tài và đề xuất các định hướng nghiên cứu mở rộng trong tương lai.

---

Kết quả và đóng góp

1. Kết quả thực nghiệm chính

• Xử lý thành công dữ liệu giao thông thực tế quy mô lớn của hệ thống TTC năm 2023:
  • Tinh gọn và chuẩn hóa tập dữ liệu xe buýt (Bus Dataset) từ 56.207 dòng gốc (10 cột) thành 49.051 dòng dữ liệu đặc trưng hoàn chỉnh (14 cột).
  • Tinh gọn tập dữ liệu tàu điện ngầm (Subway Dataset) từ 20.882 dòng gốc (10 cột) thành 7.382 dòng dữ liệu sạch (15 cột), loại bỏ các giá trị nhiễu và tuyến/trạm không hợp lệ.
• Xây dựng thành công quy trình xử lý dữ liệu chuỗi thời gian kết hợp mã hóa văn bản (Word2vec, Label Encoding) và khảo sát ảnh hưởng của siêu tham số (Batch Size, Epoch) đến quá trình hội tụ hàm mất mát (loss và val_loss).
• Thiết lập hoàn chỉnh đường ống tích hợp Apache Kafka đóng vai trò trung gian tiếp nhận luồng dữ liệu liên tục và Apache Spark Streaming đảm nhiệm tính toán, dự đoán trong bộ nhớ.
• Triển khai thành công ứng dụng giao diện web cho phép tiếp nhận thông tin đầu vào và hiển thị trực quan kết quả thời gian đến dự đoán cho người dùng.

2. Đóng góp của đề tài

• Kết hợp giải pháp kỹ thuật giữa nền tảng dữ liệu lớn phân tán (Kafka, Spark Streaming) với các mô hình học sâu (CNN, LSTM, BiLSTM, GRU, BiGRU-BiLSTM-CNN) để giải quyết bài toán dự đoán thời gian đến cho phương tiện giao thông công cộng.
• Đề xuất và hiện thực hóa kiến trúc mạng lai BiGRU-BiLSTM-CNN, tận dụng khả năng biểu diễn chuỗi hai chiều của BiGRU/BiLSTM kết hợp cùng khả năng trích xuất đặc trưng cục bộ 1D của CNN và lớp Spatial Dropout để giảm thiểu hiện tượng quá khớp.
• Cung cấp bức tranh thực nghiệm đối sánh định lượng toàn diện giữa các mô hình học máy cổ điển và học sâu trên hai loại hình phương tiện giao thông công cộng khác nhau (xe buýt mặt đất và tàu điện ngầm).

---

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế

• Môi trường thực nghiệm hệ thống dữ liệu lớn và huấn luyện mô hình mới dừng lại ở việc triển khai trên các thiết bị máy tính cá nhân độc lập (sử dụng CPU Intel Core i5 / AMD Ryzen 5 và GPU đơn lẻ RTX 3050 / RTX 3060), chưa thực hiện trên cụm máy chủ phân tán quy mô công nghiệp (multi-node cluster).
• Dữ liệu thực nghiệm được khai thác hoàn toàn từ hệ thống giao thông công cộng Toronto (TTC), có đặc điểm hạ tầng và quy chuẩn vận hành khác biệt so với mạng lưới giao thông tại Việt Nam.
• Khả năng thích ứng của mô hình đối với các yếu tố biến động tức thời nghiêm trọng ngoài dữ liệu lịch sử (như thời tiết cực đoan đột xuất hoặc tai nạn giao thông nghiêm trọng) cần thêm các nguồn dữ liệu ngoại cảnh hỗ trợ.

2. Hướng nghiên cứu tiếp

• Mở rộng thử nghiệm hệ thống trên các luồng dữ liệu GPS thời gian thực thu nhận trực tiếp từ các phương tiện giao thông công cộng tại các đô thị lớn ở Việt Nam (như hệ thống xe buýt TP. Hồ Chí Minh hoặc Hà Nội).
• Triển khai cụm phân tán Apache Spark và Kafka trên môi trường điện toán đám mây để nâng cao khả năng chịu tải và mở rộng quy mô xử lý dữ liệu đồng thời.
• Tích hợp thêm các nguồn dữ liệu đa phương thức vào mô hình dự đoán, bao gồm dữ liệu thời tiết thời gian thực, thông tin từ camera giám sát giao thông và dữ liệu bản đồ số.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên môn hữu ích cho:

• Sinh viên và học viên chuyên ngành Công nghệ Thông tin, Khoa học Dữ liệu, Kỹ thuật Phần mềm: Cung cấp tài liệu tham khảo chi tiết về quy trình xây dựng đường ống xử lý dữ liệu luồng (Event Stream Processing) kết hợp Apache Kafka và Spark Streaming.
• Người nghiên cứu các bài toán giao thông thông minh (Intelligent Transportation Systems - ITS): Tham khảo kiến trúc mạng nơ-ron kết hợp BiGRU-BiLSTM-CNN trong xử lý dữ liệu chuỗi thời gian giao thông và phương pháp tiền xử lý dữ liệu vận hành từ hệ thống TTC.
• Kỹ sư phát triển hệ thống: Tham khảo mô hình kiến trúc đầu-cuối (end-to-end architecture) từ tầng thu thập thông điệp dữ liệu lớn, tầng suy luận mô hình học máy đến tầng hiển thị ứng dụng web.

---

Câu hỏi thường gặp

1. Khóa luận sử dụng nguồn dữ liệu nào để thực nghiệm mô hình dự đoán và quy mô dữ liệu ra sao?
Nghiên cứu sử dụng dữ liệu năm 2023 từ Ủy ban Vận tải Toronto (TTC), Canada. Dữ liệu bao gồm hai tập chính:

• Bus Dataset: Dữ liệu gốc gồm 56.207 dòng (10 cột), sau tiền xử lý còn 49.051 dòng (14 cột).
• Subway Dataset: Dữ liệu gốc gồm 20.882 dòng (10 cột), sau tiền xử lý còn 7.382 dòng (15 cột).

2. Kiến trúc mô hình lai BiGRU-BiLSTM-CNN trong khóa luận được cấu tạo như thế nào?
Mô hình lai tiếp nhận dữ liệu đầu vào qua lớp Spatial Dropout để tránh quá khớp, sau đó phân tách thành hai nhánh xử lý song song: nhánh Bi-GRU và nhánh Bi-LSTM để nắm bắt phụ thuộc chuỗi hai chiều. Đầu ra của hai nhánh này được đưa vào các lớp tích chập một chiều (CNN-1D) nhằm trích xuất đặc trưng cục bộ, đi qua hai thao tác gộp (Global Average Pooling và Global Max Pooling), ghép nối (Concatenate) thành một vectơ đặc trưng duy nhất, chuyển qua lớp Dense và hàm kích hoạt để tạo ra giá trị dự đoán cuối cùng.

3. Vai trò của Apache Kafka và Spark Streaming trong hệ thống là gì?
Apache Kafka đóng vai trò là nền tảng phân phối luồng dữ liệu phân tán chịu lỗi cao, thu thập các thông điệp di chuyển và phân vùng vào các Topic/Partition với tốc độ cao. Spark Streaming đóng vai trò là công cụ xử lý luồng trong bộ nhớ (in-memory stream processing), liên tục tiếp nhận dữ liệu từ Kafka, thực hiện tiền xử lý và áp dụng mô hình học máy/học sâu để tính toán kết quả dự đoán thời gian thực.

4. Những thước đo thống kê nào được sử dụng để đánh giá độ chính xác của các mô hình trong khóa luận?
Khóa luận sử dụng 5 thang đo thống kê tiêu chuẩn để so sánh hiệu năng các mô hình: Mean Squared Error (MSE), Root Mean Square Error (RMSE), Mean Absolute Error (MAE), Mean Absolute Percentage Error (MAPE) và Hệ số xác định ($R^2$ - R-squared).

5. Môi trường phần cứng thực nghiệm của đề tài được cấu hình như thế nào?
Đề tài được thực nghiệm trên hai hệ thống máy tính cá nhân chạy hệ điều hành Windows 11:

• Máy 1 trang bị CPU Intel Core i5-12500H thế hệ 12 (2.50 GHz), GPU NVIDIA GeForce RTX 3060 và 16 GB RAM.
• Máy 2 trang bị CPU AMD Ryzen 5 5600H (3.30 GHz), GPU NVIDIA GeForce RTX 3050 và 16 GB RAM.

---

Kết luận

Khóa luận tốt nghiệp của sinh viên Đoàn Việt Bách và Phan Thành Nhân đã nghiên cứu và phát triển giải pháp dự đoán thời gian đến cho phương tiện giao thông công cộng bằng cách kết hợp các mô hình học máy, học sâu với công nghệ xử lý luồng dữ liệu lớn Apache Kafka và Spark Streaming. Thông qua việc làm sạch và phân tích thực nghiệm trên hai tập dữ liệu quy mô lớn của hệ thống giao thông TTC Toronto (xe buýt và tàu điện ngầm), nhóm tác giả đã đối sánh hiệu quả dự đoán của nhiều thuật toán và kiểm chứng kiến trúc mạng lai BiGRU-BiLSTM-CNN. Hệ thống được hoàn thiện từ khâu tiếp nhận luồng dữ liệu thời gian thực đến giao diện ứng dụng web trực quan, đóng góp giải pháp kỹ thuật hữu ích cho bài toán xây dựng hệ thống giao thông thông minh.

Trích đoạn nội dung tài liệu

Mở đầu: Giới thiệu tổng quan về đề tài nghiên cứu, mục đích nghiên cứu, phạm vi nghiên cứu và phương pháp nghiên cứu. Chương 2 - Tổng quan các công trình liên quan: Mô tả sơ bộ các dé tài có ảnh hưởng và sự kê thừa từ các đê tài đó. Chương 3 — Cơ sở lý thuyết và bộ dữ liệu: Giới thiệu về các nền tảng kiến thức sử dụng trong đê tài và các nghiên cứu liên quan. Chương 4 - Thực nghiệm và đánh giá: Trình bày các bộ phận tiền xử lý sử dụng trong quá trình làm và kết quả thực nghiệm.

Chương 5 - Tổng kết và hướng phát triển: Nhận định về ưu điểm, hạn chế và hướng phát triển của đề tài. Kết luận Trong phân này của báo cáo, chúng tôi đã đê cập đên các lý do chính khiên tôi chọn đê tài này, thê hiện sự quan tâm chuyên sâu sắc đên cả những vân đê thách thức và cơ hội. Với nhu câu ứng dụng công nghệ mới của thị trường, tôi nhận ra cơ hội đê đóng góp trong lĩnh vực mới lạ và nâng cấp kỹ năng cá nhân. Việc xây dựng mô hình dự đoán thời gian đến đích cho các phương tiện giao thông công cộng là một thách thức lớn, bởi vì nó phải xử lý một loạt các yếu tố phức tạp và không đồng nhất.

Ngoài ra, sự phức tạp của mô hình tính toán có thê làm cho việc tính toán thời gian có thê đòi hỏi sự sử dụng các phương pháp tính toán phức tạp như học máy và giải thuật tối ưu hóa. Do đó, nhóm có gắng tính toán dé các kết quả được hiển thị là chính xác nhất có thé dé tối ưu và đưa ra những kết quả đáng mong đợi nhất. Dự đoán thời gian đến bến gần với thời gian thực tế nhất có thé. Dự đoán chính xác trong nhiều trường hợp khác nhau (điều kiện giao thông khác nhau, thời điểm trong ngay.

14 Cho phép người dùng biết chính xác thời gian phương tiện sẽ đến bến. Dễ dàng sử dụng và hiểu cho mọi đối tượng người dùng. Hiền thị thông tin dự đoán một cách trực quan và dễ tiếp cận. Cung cấp cho người dùng một công cụ hữu ích, giúp họ di chuyền một cách thông minh, an toàn và tiết kiệm thời gian.

Khóa luận này dựa trên việc nghiên cứu dữ liệu của các phương tiện công cộng với sự hỗ trợ của hệ thống Spark Streaming và Kafka, cùng với việc triển khai các thuật toán Deep Learning và Machine Learning. Khóa luận này hứa hẹn sẽ cung cap một một ý tưởng về cơ hội phát triển trong lĩnh vực giao thông. TONG QUAN DE TÀI Ở chương này, nhóm sẽ trình bày vê tiên dé và sự tham khảo từ các công trình của những tác giả di trước, đông thời mô tả vê sự phát triên và ảnh hưởng của công nghệ chính mà nhóm sử dụng trong quá trình phát triển khóa luận. Công nghệ Big Data Công nghệ Big Data (dữ liệu lớn) [1] là một trong những tiễn bộ quan trọng và cần thiết nhất trong thời đại kỹ thuật số.

Bigdata có khả năng xử lý một lượng đữ liệu khổng lồ, công nghệ nay đang cách mạng hóa nhiều lĩnh vực khác như y tế, tài chính, thương mại điện tử đến truyền thông và giải trí. Bài tiểu luận này sẽ phân tích lý thuyết cơ bản về Big Data gồm các công nghệ chủ chốt và ứng dụng của Bigdata trong các lĩnh vực, cùng những thách thức và tiềm năng tương lai. Khái niệm dành của Big Data dùng đề chỉ một tập hợp đữ liệu rất lớn, đa dạng và phức tạp, thường là với công cụ truyền thống không thể giải quyết hiệu quả. Big Data được đặc trưng bởi ba yếu tố chính, thường được gọi là "3Vs" gồm volume là lượng dữ liệu cực kỳ lớn, từ hàng trăm terabyte đến petabyte, velocity là lượng dir liệu được tạo ra và xử lý cực kiểu hiệu quả ở khoảng thời gian nhanh nhất và cuối cùng là variety đại diện cho việc dữ liệu đến từ nhiều nguồn khác nhau bao gồm nhiều dạng khác nhau từ văn bản, hình ảnh, video, va dt liệu câu trúc hoặc phi câu trúc.

Sự phát triển của Big Data đã tạo ra những cơ hội tiềm năng cho việc khai thác và sử dụng dữ liệu dé đưa ra những quyết định một cách thông minh và hiệu quả hơn. Các công nghệ thường được sử dụng trong Big Data bao gồm Hadoop là một framework mã nguồn mở giúp lưu trữ và xử lý dữ liệu lớn theo mô hình phân tán. Hadoop sử dụng HDFS dùng trong việc lưu trữ dữ liệu. Còn MapReduce sẽ được sử dụng đề xử lý dữ liệu các loại đữ liệu.

Tiếp theo là Spark được dùng để xử lý đữ liệu hiệu quả hơn Hadoop, hỗ trợ các công việc như xử lý batch, stream va interactive queries. NoSQL Databases: Các cơ sở dir liệu như MongoDB không tuân theo mô 16 hình bảng truyền thống của SQL, giúp chứa và truy van đữ liệu phi cấu trúc hoặc bán câu trúc. Ứng dụng của BigData trong các lĩnh vực như là y tế sẽ được dùng dé phân tích dữ liệu bệnh nhân, các chuyên gia y tế có thể chân đoán và tăng khả năng điều trị bệnh. Ở lĩnh vực tài chính, thông thường người ta sẽ phân tích hành vi giao dịch từ dữ liệu tài chính nhằm phát hiện các hoạt động bat thường, từ đó ngăn chan gian lận và quản lý rủi ro cũng trở nên chính xác hơn nhờ vào việc phân tích và dự đoán dựa trên đữ liệu lớn, giúp các tô chức tài chính đưa ra quyết định đúng đắn và kịp thời, thương mại điện tử và truyền thông và giải trí.

Công nghệ Bigdata trong lĩnh vực phương tiện giao thông Big Data đang cách mạng hóa nhiều lĩnh vực và dự đoán phương tiện [2] cũng là một trong những lĩnh vực quan trọng. Với khối lượng thông tin khổng lồ từ nhiều nguồn như cảm biến, phương tiện công cộng, mạng xã hội, và hệ thống GPS, công nghệ Big Data tăng cường độ chính xác của các mô hình dự đoán phương tiện. Bigdata cũng đã được áp dụng cho các đề tài như dự đoán lưu lượng giao thông, sử dụng đữ liệu từ các cảm biến giao thông, hệ thống GPS và camera giám sát để dự đoán tình hình lưu lượng giao thông trong tương lai, quan lý vận tải công cộng va phân tích thông tin từ các phương tiện công cộng dé tối ưu hóa lộ trình và lịch trình đồng thời dự đoán mong muốn sử dụng phương tiện công cộng tại các thời điểm khác nhau dé cải thiện dịch vụ, dự đoán hành vi lái xe từ việc phân tích dữ liệu lái xe từ các thiết bị GPS và cảm biến đề dự đoán và cải thiện khả năng lái xe nhằm kiểm soát các hành nguy hiểm và đề xuất các biện pháp thay déi,. Công nghệ Big Data không chỉ cải thiện khả năng dự đoán và quản lý phương tiện mà còn giúp tăng cường việc tham gia giao thông, hạn chế tai nạn và cải thiện chất lượng cuộc sống đô thị.

Công trình liên quan Một vài công trình liên quan được tham khảo như “Machine learning algorithms performance evaluation in traffic flow prediction” của tác giả Nazirkar Reshma Ramchandra va C. Rajabhushanam, hay “Adaptive real time traffic prediction using deep neural networks” của các tác giả Parinith R Iyer, Shrutheesh Raman Iyer, Raghavendran Ramesh, Anala MR, K. Subramanya chủ yếu xoay quanh về các nội dung như việc xây dựng hệ thống dự đoán giao thông cũng sử dụng các phương pháp học máy. Hệ thống đề xuất được kiểm tra với một bộ dé liệu trực tuyến và triển khai bằng Python.

Nghiên cứu sử dung DAN, DBN, DF và LSTM dé dự đoán lưu lượng giao thông. Dữ liệu được sử dụng: nguồn gốc, cách thu thập và tiền xử lý đữ liệu giao thông sau đó chia dữ liệu thành tập huấn luyện và tập kiểm tra. Sau khi nhận được kết quả thì thực hiện các bước so sánh hiệu suất của các thuật toán học máy được sử dụng, phân tích các yếu tố ảnh hưởng đến hiệu suất của từng thuật toán và đánh giá và học hỏi từ các ưu cũng như khắc phục nhược của mỗi thuật toán trong bối cảnh dự đoán lưu lượng giao thông. CƠ SỞ LÝ THUYÉT VÀ BỘ DỮ LIỆU Ở chương này, nhóm sẽ nói rõ hơn những công nghệ chính, các mô hình huấn luyện cũng như phương pháp đánh giá được sử dụng trong quá trình làm khóa luận.

Đồng thời, cũng mô tả các thông tin chỉ tiết về bộ đữ liệu đã được dùng xuyên suốt khóa luận. Bộ dữ liệu 3. TTC dataset Uy ban Vận tai Toronto (TTC) là cơ quan giao thông công cộng điều hành các dịch vụ chủ yếu như xe bus, tàu điện ngầm, xe điện, và hỗ trợ đi lại cho người khuyết tật tại Toronto, Ontario, Canada, một số dịch vụ trong đó kéo dai đến khu vực Peel và khu vực York. Đây là nhà cung cấp dịch vụ giao thông đô thị lâu đời và lớn nhất trong Khu vực Đại Toronto, với nhiều kết nối đến các hệ thống phục vụ các đô thị lân cận.

Được thành lập với tên gọi Ủy ban Vận tải Toronto vào năm 1921, TTC sở hữu và điều hành ba tuyến giao thông nhanh với 70 ga, hơn 150 tuyến xe buýt và 9 tuyến xe điện. Vào năm 2023, hệ thống này có lượng hành khách là 736,712,000, tức khoảng 2,482,600 mỗi ngày trong tuần tính đến quý đầu tiên của năm 2024. TTC là hệ thống giao thông đô thị được sử dụng nhiều nhất tại Canada. Phân tích các tính năng của tập dữ liệu về độ trễ xe buýt TTC được cung cấp, sau đó cung câp mô tả cho các tập dữ liệu khác liên quan đên độ trê của xe điện, độ trễ của tàu điện ngầm cũng như các tuyến đường và lịch trình.

Bus dataset Bộ dữ liệu về xe bus gồm 56207 dòng với tổng cộng 10 cột dé mô ta dữ liệu vào 2023.1: Bộ dữ liệu gốc của Bus Dataset Kiểu dữ liệu Số lượng trùng Mô tả Date Datetime64 365 Ngày trong năm Tuyến của phương Route Object 264 im tien Thời gian báo sự Time Object 1440 - chậm trê Day Object 7 Ngày trong tuần Location Object 11684 Địa điểm Sự cé có thé gây Incident Object 13 + ra sự chậm trê Phút gây chậm Min_ delay Int64 500 R tre Thời gian giữa các Min_gap Int64 538 dot xe Hướng di của Direction Object 16 phuong tién Vehicle Int64 2392 Mã nhận diện xe Sau khi tiền xử lý, nhóm đã xử lý lại thành 49051 dòng và 14 cột với các thông tin như dưới.