Chương 1. Lí do chọn để tài. Phạm vi nghiên Cứu.-eeeeettrtrtririiiiiiiiiiiiirriiiiiiiiiiriirrrrie 16 Chương 2. Các nghiên cứu trong nước.
Các nghiên cứu ngoài hưỚC. Congestion Pre-diction With Big Data for Real-Time Highway Traffic 19 2. Short-term traffic flow prediction using seasonal ARIMA model with limited input data [ 1]. Hướng tiếp cận hiện có.-cceerrrriierriiiiririiirrirrie 20 Chương 3.
NGHIEN CỨU THỰC NGHIỆM HOẶC LÝ THUYẾT. Chuỗi thời gian [7]. Dữ liệu lớn [8Ị. _ Các bước chính trong xây dự mô hình dự báo chuỗi thời gian.
Phan tích dữ liệu. Xử lý dữ liệu. Xây dựng mô hình. Đánh giá độ chính xác của mô hình.
Công nghệ dữ liệu lớn. Phương pháp nghiên cứu đã sử dụng. Hướng tiếp cận trong bài toán. _ Phân tích dữ liệu.
Tiền xử lý dữ liệu. Lấy thời gian hiện tại. Xây dựng luồng lấy dữ liệu thời gian thực. _ Thiết kế hệ thống.
Huấn luyện mô hình. TRINH BAY, ĐÁNH GIA BAN LUẬN VỀ KẾT QUẢ. Kết quả thử nghiệm Chương 5. Kết quả đạt được.ÔÔỎ 60 Chương 6.
HƯỚNG PHÁT TRIỂN DANH MỤC HÌNH Hình 1.1: Hình ảnh kẹt xe [5].2: Bản đồ tình trạng giao thông của cổng thông tin giao thông thành phố HO Chi Minh 07 -.1: Hệ thống Utraffic [13] .2: Sơ đồ cấu trúc hệ thống của bài báo “Congestion Pre-diction With Big Data for Real-Time Highway TTafÍẨÏC”.1: ChuGi thoi giam.2: Đồ thị về chuỗi nhiệt độ trung bình theo tháng thể hiện yếu tố mùa Z0 .3: Đồ thị về yếu tố xu hướng trong chuỗi thời gian của chuỗi giá.4: 5 tính chất của dữ liệu ]ớn.----e--2-se+++se+++xeeeE+setztseeerrsersrserrrrssree 26 Hình 3.5: Công thức tính RMSPE.6: Quy trình xây dựng mô hình dự báo chuỗi thời gian.7: Logo Apache Spar.---cs-cs<ccxt th tr ng 29 Hình 3.8: Logo Apache KaffKa.------ccc+crrkerrrrirrrriertrirrrrrirrriirrrirrrirrrrrrrrree 31 Hinh 3.10: Mô hình Facebook Prophet.11: Mô hình Linear Regr€SSỈOH.--cc-csrxiErtirrrriirtriirtrriiirrirrrrrirrrree 35 Hình 3.12: Hướng tiếp cận mớii.---cc++c+v+vveettrrrrrtertrtrrtrrrrrtrrrrrrrrrirrrrkee 37 Hình 3.13: Bộ dữ liệu “Chicago Traffic Tracker - Historical Congestion Estimates by Segment - 2018-CuT€TIt”.14: Bộ dữ liệu “Chicago Traffic Tracker - Congestion Estimates by S©ITILS”. «(+ TH HE HH HH HH HH HH TH HH TH HH TH HH1 111001111111 11x rkkkg 38 Hình 3.15: Vị trí đoạn đường số 8, 9, 10 trên bản đồ[12].16: Trực quan sự phân bố dữ liệu của ba đoạn đường 8,9,10.17: Tính mùa vụ của dữ liệu.18: Luồng lấy dữ liệu thời gian thực .19: Dữ liệu lấy được từ việc gọi API.20: Dữ liệu thời gian thực sau khi được lọc các trường quan trọng.21: Cấu trúc hệ thống.---c---vvee+ccvvvvveeetrtEvrveertrtrrkreerirtrrrrrerrrrrrrkee 47 Hình 3.22: Trực quan dữ liệu đoạn đường sỐ 8.---cc--ccccccccccrrerrrree 48 Hình 3.23: Trực quan dữ liệu đoạn đường sỐ 9.24: Trực quan dữ liệu đoạn đường $6 10 .25: Dữ liệu đoạn đường số 8,9,10 được thu thập theo thời gian thực.26: Dữ liệu đoạn đường số 8, 9, 10 đã được lọc lấy các thông tin quan Hình 4.1: Trực quan kết quả dự báo trên tập thử nghiệp của ba mô hình SARIMAX, Facebook Prophet, Linear RegresSÏON.2: Kết qua dự báo cuối cùng theo thời gian thurC.ecsssssssccssssessscssssseseessees 58 DANH MỤC BẢNG Bảng 3.1: Thông tin về ba đoạn đường .--cc---+ccccveeerrrrrrrreerrrrrrrrrrrrrrrrrrer 39 Bảng 3.2: Hình ảnh trước tiền xử lý và sau tiền xử lý của đoạn đường số 8.3: Hình ảnh trước tiền xử lý va sau tiền xử lý của đoạn đường số 9.4: Hình ảnh trước tiền xử lý và sau tiền xử lý của đoạn đường số 10.5: Hình ảnh trước tiền xử lý và sau tiền xử lý thời gian của dữ liệu thời Øian thỰC. HH HH TH HH HH HH TH HH HH HH H111 111101111111 011tr.6: Hình ảnh trước và sau xử lý hạ một bậc để lấy tốc độ ở thời điểm hiện tại của 3 đoạn đường 8,9,10.-c-c+ke HH HH HH này 45 Bảng 3.7: Dữ liệu thời gian và tốc độ ở đoạn đường số 8.8: Dữ liệu thời gian và tốc độ ở đoạn đường số 9.9: Dữ liệu thời gian và tốc độ ở đoạn đường số 10.10: Dữ liệu đoạn đường số 8 sau tiền xử lý .11: Dữ liệu đoạn đường số 9 sau tiền xử lý .------cc--ec-ccccex 51 Bảng 3.12: Dữ liệu đoạn đường số 10 sau tiền xử lý .13: Dữ liệu đưa vào mô hình SARIMAX.14: Dữ liệu đưa vào mô hình Facebook Prophet.15: Dữ liệu đưa vào mô hình Linear Regression.1: Kết quả độ đo RMSE của ba mô hình trên tập thử nghiệp. 58 DANH MỤC TỪ VIET TAT TÓM TẮT KHÓA LUẬN Kẹt xe hiện đang là vấn đề nan giải ở các thành phố lớn, không chỉ Việt Nam mà còn ở các nước khác.
Các giải pháp để giảm kẹt xe cũng được quan tâm phát triển như mở rộng cầu, đường, khuyến khích người dân sử dụng các phương tiên công cộng như xe điện, xe buýt thay vì ô tô, xe máy cho đến các giải pháp ứng dụng công nghệ thông tin như bản đồ dự đoán tình trạng giao thông, tìm đường đi ngắn nhất như Google Map [1], bản đồ tình trang giao thông của công thông tin giao thông thành phố Hồ Chí Minh [2] Trong thời đại công nghệ thông tin hiện nay cùng với sự bùng né của dữ liệu lớn, các giải pháp giải quyết kẹt xe ứng dụng công nghệ thông tin lại được quan tâm hơn bao giờ hết. Chính vì thé mà tôi quyết định chọn đề tài 'Xây dựng hệ thống dự đoán kẹt xe thời gian thực sử dụng công nghệ dữ liệu lớn”. Hướng tiếp cận của tôi trong đề tài này là sử dụng công nghệ xử lý dữ liệu lớn dé liên tục thu thập dữ liệu luồng dit liệu giao thông trực tuyến như thời gian và tốc độ xe và ứng dụng vào bài toán dự báo chuỗi thời gian kết hop mô hình dự báo ngăn hạn, dài hạn và tốc độ ở thời điểm hiện tại của đoạn đường dự báo và đoạn đường lân cận dé đưa ra dự báo tốc độ đoạn đường trong tương lai. Đề thực hiện được đề tài tôi sử dụng dữ liệu tốc độ đoạn đường có sẵn được ước tính bằng công cụ theo dõi giao thông Chicago thông qua việc liên tục theo dõi và phân tích GPS nhận được từ xe buýt của cơ quan giao thông Chicago từ năm 2018 để huấn luyện mô hình dự báo ngắn hạn SARIMAX, dài hạn Facebook Prophet, mô hình kết hợp Linear Regression 1.
Chicago Traffic Tracker — Historical Congestion Estimates by Segment — 2018 - Current. [3] Sau đó sử dung công nghệ xử ly dữ liệu lớn Spark, Kafka dé liên tục thu thập dit liệu luồng dit liệu giao thông trực tuyến như thời gian và tốc độ xe từ API được 12 cung cấp của cơ quan giao thông Chicago và sử dụng mô hình đã huấn luyện bên trên để dự báo theo thời gian thực 2. Chicago Traffic Tracker — Congestion Estimates by Segments. Két qua dat được qua sau khi két hop du báo ngan hạn, dài han, tốc độ ở thời điểm hiện tại của đoạn đường dự báo và đoạn đường lân cận RMSE đã giảm còn 2.
Lí do chọn đề tài Kẹt xe là một vấn đề không thể tránh khỏi ở các thành phố. Kẹt xe ảnh hưởng rất nhiều đến cuộc sống thường ngày của mọi người. Một đoạn đường bình thường đi chi mat 15 phút nhưng vì kẹt xe nên có thé mat đến vài tiếng. Việc lưu thông chi bắt đầu thông thoáng khi có sự điều phối của cảnh sát giao thông.
Nhưng thường phải mat một lúc rất lâu cảnh sát mới có thê vào được trung tâm ket xe đề điều phối giao thông. Nếu có thê biết trước nơi đó vào thời điểm đó kẹt xe dé cảnh sát giao thông ra điều phối sớm hơn thì có thé sẽ ngăn chặn hoặc giảm bớt được tình trang ket xe.1: Hình anh ket xe [5] Chính vì thé mà các giải pháp dé giảm ket xe cũng được quan tâm phát triển như mở rộng cầu, đường, khuyến khích người dân sử dụng các phương tiên công cộng như xe điện, xe buýt thay vì ô tô, xe máy cho đến các giải pháp ứng dụng công nghệ thông tin như bản đồ dự đoán tình trạng giao thông, tìm đường đi ngắn nhất như 14 HUYỆNCỦU “*“ (/ củ XÃ PHÚ HÒA Se G \ © Camera @ ve @) Tinh trạng giao thông HUYỆN ĐỨC WUE XÃ MỸ BINH Hình 1.2: Ban đồ tình trạng giao thông của công thông tin giao thông thành phố Hồ Chí Minh Trong thời đại công nghệ thông tin như hiện nay , mọi người có nhiều cơ hội tiếp xúc với các sản phẩm công nghệ như điện thoại thông minh, máy tính. Thêm vào đó cùng với sự gia tăng các sản phẩm công nghệ và sự tăng trưởng nhanh chóng của IoT — Internet Vạn vật và các thiết bị di động đã dẫn đến sự ra đời của đữ liệu lớn. Nên các giải pháp giải quyết kẹt xe ứng dụng công nghệ thông tin, công nghệ dữ liệu lớn lại được quan tâm hơn bao giờ hết.
Qua quá trình nghiên cứu, bài toán dự đoán tình trạng kẹt xe này, là một dạng của bài toán dự báo chuỗi thời gian. Dự báo chuỗi thời gian là một lĩnh vực quan trọng trong máy học. Dễ dàng tìm thấy nhiều loại đữ liệu chuỗi thời gian trong giao thông, y hoc, dự báo thời tiết, sinh hoc, quan ly chuỗi cung ứng và dự báo giá cỗ 2 Az phiếu. Dự báo dựa trên khoảng thời gian được chia thành dự báo ngắn hạn và dự báo dài hạn.
Dự báo ngắn hạn: là dự báo có thé nắm bắt được những tác động ngăn hạn như nhiễu nhưng không thê dự báo thời gian dài. 15 Dự báo dài hạn: là dự báo có thé dự báo thoi gian dai và dự báo xu hướng tổng thé chung cua dit liệu thu được nhưng bỏ qua các tác động ngắn hạn. Bởi vi mỗi loại dự báo đêu có ưu điêm, khuyết điêm riêng nên tôi muôn kêt hợp cả hai dự báo này lại dé tân dụng ưu điểm của cả hai dự báo. Chính vì thé mà tôi đã quyết định chon đề tài “Xây dựng hệ thống dự đoán ket xe thời gian thực sử dụng công nghệ dữ liệu lớn”.
Trong đề tài này, tôi sẽ ứng dụng công nghệ xử lý dữ liệu lớn vào bài toán dự báo chuỗi thời gian kết hợp dự báo ngắn hạn, dài hạn và tốc độ ở thời điểm hiện tại của đoạn đường dé xay dung hé thong dự đoán kẹt xe theo thời gian thực từ đó biết được đoạn đường này khi nào xảy ra tình trạng kẹt xe và có thể đưa ra các cách ứng phó sớm. Mục đích Mục đích của đề tài là xây dựng một hệ thống sử dụng các công nghệ xử lý dữ liệu lớn để liên tục thu thập dir liệu luồng dữ liệu giao thông trực tuyến (tốc độ xe, lưu lượng xe, hướng di chuyền, vị trí trên bản đồ) dé phân tích và xây dựng mô hình phân tích dit liệu chuỗi thời gian kết hợp mô hình dự báo ngắn hạn, dài hạn và tốc độ ở thời điểm hiện tại dé dự đoán các điểm ket xe trên bản đồ theo thời gian thực.