Mở đầu: Giới thiệu tổng quan về đề tài nghiên cứu, mục đích nghiên cứu, phạm vi nghiên cứu và phương pháp nghiên cứu. Chương 2 - Tổng quan các công trình liên quan: Mô tả sơ bộ các dé tài có ảnh hưởng và sự kê thừa từ các đê tài đó. Chương 3 — Cơ sở lý thuyết và bộ dữ liệu: Giới thiệu về các nền tảng kiến thức sử dụng trong đê tài và các nghiên cứu liên quan. Chương 4 - Thực nghiệm và đánh giá: Trình bày các bộ phận tiền xử lý sử dụng trong quá trình làm và kết quả thực nghiệm.
Chương 5 - Tổng kết và hướng phát triển: Nhận định về ưu điểm, hạn chế và hướng phát triển của đề tài. Kết luận Trong phân này của báo cáo, chúng tôi đã đê cập đên các lý do chính khiên tôi chọn đê tài này, thê hiện sự quan tâm chuyên sâu sắc đên cả những vân đê thách thức và cơ hội. Với nhu câu ứng dụng công nghệ mới của thị trường, tôi nhận ra cơ hội đê đóng góp trong lĩnh vực mới lạ và nâng cấp kỹ năng cá nhân. Việc xây dựng mô hình dự đoán thời gian đến đích cho các phương tiện giao thông công cộng là một thách thức lớn, bởi vì nó phải xử lý một loạt các yếu tố phức tạp và không đồng nhất.
Ngoài ra, sự phức tạp của mô hình tính toán có thê làm cho việc tính toán thời gian có thê đòi hỏi sự sử dụng các phương pháp tính toán phức tạp như học máy và giải thuật tối ưu hóa. Do đó, nhóm có gắng tính toán dé các kết quả được hiển thị là chính xác nhất có thé dé tối ưu và đưa ra những kết quả đáng mong đợi nhất. Dự đoán thời gian đến bến gần với thời gian thực tế nhất có thé. Dự đoán chính xác trong nhiều trường hợp khác nhau (điều kiện giao thông khác nhau, thời điểm trong ngay.
14 Cho phép người dùng biết chính xác thời gian phương tiện sẽ đến bến. Dễ dàng sử dụng và hiểu cho mọi đối tượng người dùng. Hiền thị thông tin dự đoán một cách trực quan và dễ tiếp cận. Cung cấp cho người dùng một công cụ hữu ích, giúp họ di chuyền một cách thông minh, an toàn và tiết kiệm thời gian.
Khóa luận này dựa trên việc nghiên cứu dữ liệu của các phương tiện công cộng với sự hỗ trợ của hệ thống Spark Streaming và Kafka, cùng với việc triển khai các thuật toán Deep Learning và Machine Learning. Khóa luận này hứa hẹn sẽ cung cap một một ý tưởng về cơ hội phát triển trong lĩnh vực giao thông. TONG QUAN DE TÀI Ở chương này, nhóm sẽ trình bày vê tiên dé và sự tham khảo từ các công trình của những tác giả di trước, đông thời mô tả vê sự phát triên và ảnh hưởng của công nghệ chính mà nhóm sử dụng trong quá trình phát triển khóa luận. Công nghệ Big Data Công nghệ Big Data (dữ liệu lớn) [1] là một trong những tiễn bộ quan trọng và cần thiết nhất trong thời đại kỹ thuật số.
Bigdata có khả năng xử lý một lượng đữ liệu khổng lồ, công nghệ nay đang cách mạng hóa nhiều lĩnh vực khác như y tế, tài chính, thương mại điện tử đến truyền thông và giải trí. Bài tiểu luận này sẽ phân tích lý thuyết cơ bản về Big Data gồm các công nghệ chủ chốt và ứng dụng của Bigdata trong các lĩnh vực, cùng những thách thức và tiềm năng tương lai. Khái niệm dành của Big Data dùng đề chỉ một tập hợp đữ liệu rất lớn, đa dạng và phức tạp, thường là với công cụ truyền thống không thể giải quyết hiệu quả. Big Data được đặc trưng bởi ba yếu tố chính, thường được gọi là "3Vs" gồm volume là lượng dữ liệu cực kỳ lớn, từ hàng trăm terabyte đến petabyte, velocity là lượng dir liệu được tạo ra và xử lý cực kiểu hiệu quả ở khoảng thời gian nhanh nhất và cuối cùng là variety đại diện cho việc dữ liệu đến từ nhiều nguồn khác nhau bao gồm nhiều dạng khác nhau từ văn bản, hình ảnh, video, va dt liệu câu trúc hoặc phi câu trúc.
Sự phát triển của Big Data đã tạo ra những cơ hội tiềm năng cho việc khai thác và sử dụng dữ liệu dé đưa ra những quyết định một cách thông minh và hiệu quả hơn. Các công nghệ thường được sử dụng trong Big Data bao gồm Hadoop là một framework mã nguồn mở giúp lưu trữ và xử lý dữ liệu lớn theo mô hình phân tán. Hadoop sử dụng HDFS dùng trong việc lưu trữ dữ liệu. Còn MapReduce sẽ được sử dụng đề xử lý dữ liệu các loại đữ liệu.
Tiếp theo là Spark được dùng để xử lý đữ liệu hiệu quả hơn Hadoop, hỗ trợ các công việc như xử lý batch, stream va interactive queries. NoSQL Databases: Các cơ sở dir liệu như MongoDB không tuân theo mô 16 hình bảng truyền thống của SQL, giúp chứa và truy van đữ liệu phi cấu trúc hoặc bán câu trúc. Ứng dụng của BigData trong các lĩnh vực như là y tế sẽ được dùng dé phân tích dữ liệu bệnh nhân, các chuyên gia y tế có thể chân đoán và tăng khả năng điều trị bệnh. Ở lĩnh vực tài chính, thông thường người ta sẽ phân tích hành vi giao dịch từ dữ liệu tài chính nhằm phát hiện các hoạt động bat thường, từ đó ngăn chan gian lận và quản lý rủi ro cũng trở nên chính xác hơn nhờ vào việc phân tích và dự đoán dựa trên đữ liệu lớn, giúp các tô chức tài chính đưa ra quyết định đúng đắn và kịp thời, thương mại điện tử và truyền thông và giải trí.
Công nghệ Bigdata trong lĩnh vực phương tiện giao thông Big Data đang cách mạng hóa nhiều lĩnh vực và dự đoán phương tiện [2] cũng là một trong những lĩnh vực quan trọng. Với khối lượng thông tin khổng lồ từ nhiều nguồn như cảm biến, phương tiện công cộng, mạng xã hội, và hệ thống GPS, công nghệ Big Data tăng cường độ chính xác của các mô hình dự đoán phương tiện. Bigdata cũng đã được áp dụng cho các đề tài như dự đoán lưu lượng giao thông, sử dụng đữ liệu từ các cảm biến giao thông, hệ thống GPS và camera giám sát để dự đoán tình hình lưu lượng giao thông trong tương lai, quan lý vận tải công cộng va phân tích thông tin từ các phương tiện công cộng dé tối ưu hóa lộ trình và lịch trình đồng thời dự đoán mong muốn sử dụng phương tiện công cộng tại các thời điểm khác nhau dé cải thiện dịch vụ, dự đoán hành vi lái xe từ việc phân tích dữ liệu lái xe từ các thiết bị GPS và cảm biến đề dự đoán và cải thiện khả năng lái xe nhằm kiểm soát các hành nguy hiểm và đề xuất các biện pháp thay déi,. Công nghệ Big Data không chỉ cải thiện khả năng dự đoán và quản lý phương tiện mà còn giúp tăng cường việc tham gia giao thông, hạn chế tai nạn và cải thiện chất lượng cuộc sống đô thị.
Công trình liên quan Một vài công trình liên quan được tham khảo như “Machine learning algorithms performance evaluation in traffic flow prediction” của tác giả Nazirkar Reshma Ramchandra va C. Rajabhushanam, hay “Adaptive real time traffic prediction using deep neural networks” của các tác giả Parinith R Iyer, Shrutheesh Raman Iyer, Raghavendran Ramesh, Anala MR, K. Subramanya chủ yếu xoay quanh về các nội dung như việc xây dựng hệ thống dự đoán giao thông cũng sử dụng các phương pháp học máy. Hệ thống đề xuất được kiểm tra với một bộ dé liệu trực tuyến và triển khai bằng Python.
Nghiên cứu sử dung DAN, DBN, DF và LSTM dé dự đoán lưu lượng giao thông. Dữ liệu được sử dụng: nguồn gốc, cách thu thập và tiền xử lý đữ liệu giao thông sau đó chia dữ liệu thành tập huấn luyện và tập kiểm tra. Sau khi nhận được kết quả thì thực hiện các bước so sánh hiệu suất của các thuật toán học máy được sử dụng, phân tích các yếu tố ảnh hưởng đến hiệu suất của từng thuật toán và đánh giá và học hỏi từ các ưu cũng như khắc phục nhược của mỗi thuật toán trong bối cảnh dự đoán lưu lượng giao thông. CƠ SỞ LÝ THUYÉT VÀ BỘ DỮ LIỆU Ở chương này, nhóm sẽ nói rõ hơn những công nghệ chính, các mô hình huấn luyện cũng như phương pháp đánh giá được sử dụng trong quá trình làm khóa luận.
Đồng thời, cũng mô tả các thông tin chỉ tiết về bộ đữ liệu đã được dùng xuyên suốt khóa luận. Bộ dữ liệu 3. TTC dataset Uy ban Vận tai Toronto (TTC) là cơ quan giao thông công cộng điều hành các dịch vụ chủ yếu như xe bus, tàu điện ngầm, xe điện, và hỗ trợ đi lại cho người khuyết tật tại Toronto, Ontario, Canada, một số dịch vụ trong đó kéo dai đến khu vực Peel và khu vực York. Đây là nhà cung cấp dịch vụ giao thông đô thị lâu đời và lớn nhất trong Khu vực Đại Toronto, với nhiều kết nối đến các hệ thống phục vụ các đô thị lân cận.
Được thành lập với tên gọi Ủy ban Vận tải Toronto vào năm 1921, TTC sở hữu và điều hành ba tuyến giao thông nhanh với 70 ga, hơn 150 tuyến xe buýt và 9 tuyến xe điện. Vào năm 2023, hệ thống này có lượng hành khách là 736,712,000, tức khoảng 2,482,600 mỗi ngày trong tuần tính đến quý đầu tiên của năm 2024. TTC là hệ thống giao thông đô thị được sử dụng nhiều nhất tại Canada. Phân tích các tính năng của tập dữ liệu về độ trễ xe buýt TTC được cung cấp, sau đó cung câp mô tả cho các tập dữ liệu khác liên quan đên độ trê của xe điện, độ trễ của tàu điện ngầm cũng như các tuyến đường và lịch trình.
Bus dataset Bộ dữ liệu về xe bus gồm 56207 dòng với tổng cộng 10 cột dé mô ta dữ liệu vào 2023.1: Bộ dữ liệu gốc của Bus Dataset Kiểu dữ liệu Số lượng trùng Mô tả Date Datetime64 365 Ngày trong năm Tuyến của phương Route Object 264 im tien Thời gian báo sự Time Object 1440 - chậm trê Day Object 7 Ngày trong tuần Location Object 11684 Địa điểm Sự cé có thé gây Incident Object 13 + ra sự chậm trê Phút gây chậm Min_ delay Int64 500 R tre Thời gian giữa các Min_gap Int64 538 dot xe Hướng di của Direction Object 16 phuong tién Vehicle Int64 2392 Mã nhận diện xe Sau khi tiền xử lý, nhóm đã xử lý lại thành 49051 dòng và 14 cột với các thông tin như dưới.