Tổng quan nghiên cứu

Quá trình đô thị hóa nhanh chóng tại Việt Nam kéo theo sự bùng nổ phương tiện giao thông cá nhân, với hơn 5,5 triệu xe máy và 700.000 ô tô lưu hành tại thủ đô Hà Nội theo số liệu thống kê năm 2018. Tình trạng ùn tắc giao thông ngày càng trở nên phức tạp, gây thiệt hại ước tính hàng ngàn tỷ đồng mỗi năm do lãng phí nhiên liệu và thời gian di chuyển. Sự phát triển của các thiết bị giám sát hành trình và ứng dụng di động thông minh đã tạo ra nguồn dữ liệu định vị toàn cầu khổng lồ từ các phương tiện vận tải công cộng và taxi. Tuy nhiên, thách thức lớn nhất đặt ra là khối lượng dữ liệu này thường có kích thước rất lớn, độ nhiễu cao và thiếu tính cấu trúc, đòi hỏi phải có các giải pháp khai phá dữ liệu chuyên sâu để chuyển hóa thành thông tin hữu ích phục vụ quản lý đô thị.

Luận văn thạc sĩ khoa học máy tính với đề tài phân tích và mô phỏng tình trạng giao thông dựa vào khai phá dữ liệu của phương tiện vận tải tập trung giải quyết bài toán cốt lõi: khai thác luồng dữ liệu hành trình taxi để mô hình hóa trạng thái giao thông đô thị. Mục tiêu cụ thể của nghiên cứu bao gồm việc phân vùng và phân cụm các cung đường di chuyển theo thời gian, mô phỏng luồng di chuyển phương tiện, xếp hạng các khu vực đón trả khách tiềm năng, và dự đoán luồng giao thông cùng điểm đến tiếp theo nhằm đưa ra gợi ý lộ trình tối ưu cho tài xế.

Nghiên cứu được triển khai trên phạm vi địa bàn thành phố Hà Nội trong giai đoạn năm 2018. Ý nghĩa thực tiễn của công trình thể hiện qua việc giảm thiểu từ 15% đến 25% thời gian tìm kiếm khách của tài xế taxi, cắt giảm 20% lượng nhiên liệu tiêu hao do chạy rỗng, đồng thời cung cấp công cụ hỗ trợ đắc lực cho các cơ quan quản lý giao thông trong việc điều phối luồng xe và quy hoạch hạ tầng đô thị thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng kết hợp ba mô hình lý thuyết tiên tiến trong lĩnh vực khai phá dữ liệu không gian - thời gian và lý thuyết đồ thị:

Mô hình phân cụm quỹ đạo TRACLUS được áp dụng để giải quyết bài toán phát hiện các cung đường di chuyển chung từ dữ liệu hành trình phức tạp. Khác với các thuật toán phân cụm truyền thống coi toàn bộ quỹ đạo là một đối tượng duy nhất, TRACLUS chia nhỏ quỹ đạo thành các phân đoạn đường dựa trên nguyên lý độ dài mô tả tối thiểu. Độ đo này cân bằng giữa tính súc tích và tính chính xác thông qua việc tính toán khoảng cách vuông góc và khoảng cách góc giữa các phân đoạn. Sau đó, thuật toán phân cụm dựa trên mật độ DBSCAN với hai tham số khoảng cách lân cận và ngưỡng số lượng đoạn đường tối thiểu được sử dụng để nhóm các phân đoạn tương đồng và trích xuất đoạn đường tiêu biểu.

Mô hình giao thông dựa trên thuật toán PageRank có trọng số được kế thừa và phát triển từ nguyên lý xếp hạng trang web của Google. Trong không gian giao thông, các khu vực bản đồ được xem như các nút đồ thị và luồng di chuyển của taxi giữa các vùng đóng vai trò như các liên kết có hướng. Hệ số suy giảm được thiết lập ở mức 0,85 nhằm xử lý vấn đề các điểm nghẽn hoặc đường cụt. Trọng số liên kết vào và liên kết ra được tính toán dựa trên số lượng phương tiện, số lượt khách lên xuống và tỉ lệ vận tốc trung bình, phản ánh chính xác tầm ảnh hưởng của từng khu vực đối với mạng lưới giao thông chung.

Mô hình Xích Markov di động bậc cao được sử dụng để dự báo điểm đến tiếp theo. Mô hình mở rộng xích Markov truyền thống bằng cách ghi nhớ chuỗi trạng thái trong quá khứ thay vì chỉ một trạng thái gần nhất, khắc phục hiện tượng mất thông tin lịch sử di chuyển và nâng cao độ chính xác dự đoán.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm định lượng kết hợp phân tích dữ liệu lớn trên hai nguồn dữ liệu thực tế tại Hà Nội. Nguồn thứ nhất thu thập từ thiết bị giám sát hành trình của 100 xe taxi thuộc Công ty Trách nhiệm hữu hạn Phát triển Công nghệ Điện tử Bình Anh trong thời gian 30 ngày liên tục, với dung lượng lưu trữ 1,5 GB. Thiết bị ghi nhận dữ liệu định kỳ 15 giây một lần khi xe bật khóa điện và 30 giây một lần khi tắt máy, bao gồm tọa độ kinh vĩ độ, vận tốc tức thời, hướng di chuyển và trạng thái cảm biến có khách hay không có khách. Nguồn thứ hai gồm 23 triệu bản ghi dữ liệu điều phối taxi với dung lượng 3 GB được lưu trữ trên hệ quản trị cơ sở dữ liệu MongoDB do Công ty Cổ phần Công nghệ AIB Việt Nam cung cấp.

Quy trình nghiên cứu được tiến hành qua các giai đoạn: tiền xử lý loại bỏ dữ liệu ngoại biên và tín hiệu GPS sai lệch; phân chia lưới bản đồ Hà Nội thành các ô vuông đồng nhất theo kinh độ và vĩ độ; huấn luyện mô hình phân cụm TRACLUS và tính toán ma trận chuyển tiếp Markov có gắn nhãn vận tốc trên môi trường ngôn ngữ Python; sau đó xây dựng hệ thống phân tích và giao diện lập trình ứng dụng thời gian thực bằng nền tảng Node.js.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm thực tế trên tập dữ liệu taxi Hà Nội đã mang lại những kết quả định lượng cụ thể:

Thứ nhất, thuật toán TRACLUS đã trích xuất thành công các cụm tuyến đường di chuyển phổ biến, loại bỏ hơn 40% các quỹ đạo đơn lẻ mang tính ngẫu nhiên và dữ liệu nhiễu. Dữ liệu sau phân cụm đã rút gọn kích thước biểu diễn nhưng vẫn giữ trọn vẹn đặc trưng các luồng giao thông huyết mạch giữa các quận Cầu Giấy, Đống Đa và Ba Đình.

Thứ hai, việc áp dụng PageRank có trọng số với hệ số 0,85 đã định danh chính xác 85% các khu vực có nhu cầu đón trả khách cao nhất trong ngày. Kết quả cho thấy mật độ phân bố nhu cầu đón khách tập trung cao đột biến vào hai khung giờ cao điểm từ 7 giờ 30 phút đến 8 giờ 30 phút sáng và từ 17 giờ 00 phút đến 18 giờ 30 phút chiều, với hệ số tập trung luồng di chuyển cao gấp 3,2 lần so với các khung giờ thấp điểm.

Thứ ba, mô hình Xích Markov di động bậc hai khi được tích hợp nhãn trạng thái vận tốc (gồm bốn mức: tắc, thấp, trung bình, cao) đã nâng độ chính xác dự đoán điểm đến kế tiếp lên mức bình quân 64% đến 84%, thậm chí đạt 100% đối với các chuỗi hành trình lặp lại mang tính cố định giữa khu vực nhà ở và nơi làm việc trong tập dữ liệu thử nghiệm.

Thảo luận kết quả

Độ chính xác vượt trội của mô hình 2-MMC so với mô hình Markov bậc một truyền thống chứng minh rằng hành vi di chuyển trong đô thị có tính phụ thuộc lịch sử rất chặt chẽ. Khi bổ sung nhãn vận tốc vào ma trận chuyển dịch, hệ thống không chỉ dự đoán được vị trí không gian mà còn mô phỏng được nguy cơ lan truyền ùn tắc sang các vùng lân cận, bởi vì tình trạng tắc nghẽn tại một nút giao thông thường kéo theo giảm 50% đến 70% vận tốc lưu thông của các vùng kết nối tiếp sau đó trong vòng 15 phút.

Kết quả nghiên cứu có thể được trực quan hóa sinh động thông qua bản đồ nhiệt phân vùng lưới, biểu đồ biến thiên vận tốc trung bình 24 giờ trong ngày và bảng ma trận chuyển tiếp trạng thái xác suất. So với các giải pháp định tuyến tĩnh chỉ dựa vào khoảng cách địa lý ngắn nhất, hệ thống mô phỏng dựa trên PageRank có trọng số giúp giảm 18% thời gian di chuyển thực tế của phương tiện nhờ né tránh các điểm nóng có chỉ số xếp hạng tắc nghẽn cao.

Đề xuất và khuyến nghị

Tích hợp thuật toán dự đoán luồng di chuyển vào phần mềm điều phối của các doanh nghiệp vận tải trong lộ trình 6 tháng, nhằm cắt giảm 20% tỷ lệ chạy rỗng của đội xe và tăng thu nhập bình quân của lái xe thêm 15%.

Xây dựng hệ thống cảnh báo điểm ùn tắc thời gian thực do Sở Giao thông Vận tải chủ trì trong vòng 12 tháng, ứng dụng mô hình PageRank có trọng số để tự động điều chỉnh chu kỳ đèn tín hiệu giao thông tại 50 nút giao trọng điểm, phấn đấu giảm 15% thời gian chờ đợi vào giờ cao điểm.

Ban hành quy chuẩn kết nối và chia sẻ dữ liệu mở từ thiết bị giám sát hành trình phương tiện vận tải do Bộ Giao thông Vận tải ban hành trong thời hạn 18 tháng, hướng tới mục tiêu tích hợp dữ liệu của 100% xe kinh doanh vận tải trên toàn quốc để phục vụ công tác quy hoạch mạng lưới xe buýt và điểm đón trả khách công cộng.

Nâng cấp hạ tầng tính toán phân tán và hệ quản trị cơ sở dữ liệu MongoDB quy mô lớn tại các trung tâm điều hành giao thông thông minh trong vòng 9 tháng, đảm bảo năng lực xử lý ổn định trên 50.000 bản ghi định vị mỗi giây với độ trễ phản hồi dưới 200 mili giây.

Đối tượng nên tham khảo luận văn

Nhà nghiên cứu và học viên cao học chuyên ngành Khoa học máy tính, Hệ thống thông tin: Tài liệu cung cấp cơ sở toán học chi tiết và mã nguồn thực nghiệm về thuật toán phân cụm quỹ đạo TRACLUS, PageRank có trọng số và xích Markov di động bậc cao trên dữ liệu không gian thời gian lớn.

Kỹ sư phát triển phần mềm và kiến trúc sư dữ liệu: Luận văn chia sẻ giải pháp thiết kế hệ thống hoàn chỉnh kết hợp giữa Node.js, Python và cơ sở dữ liệu NoSQL MongoDB, tối ưu hóa cho việc xử lý dòng dữ liệu GPS thời gian thực với chu kỳ 15 giây.

Lãnh đạo và nhà quản lý doanh nghiệp vận tải, taxi công nghệ: Tài liệu mang lại góc nhìn thực tiễn về phương pháp ứng dụng dữ liệu giám sát hành trình sẵn có để tối ưu hóa bài toán điều vận, cắt giảm chi phí vận hành và nâng cao hiệu quả kinh doanh.

Chuyên viên quy hoạch đô thị và cơ quan quản lý nhà nước về giao thông: Cung cấp phương pháp luận khoa học trong việc phân tích luồng di chuyển thực tế của người dân đô thị, hỗ trợ ra quyết định mở rộng tuyến đường, bố trí bến bãi và phân luồng giao thông hợp lý.

Câu hỏi thường gặp

Thuật toán TRACLUS có ưu điểm gì vượt trội so với các phương pháp phân cụm truyền thống như K-Means trong bài toán này? TRACLUS cho phép phân chia quỹ đạo thành các phân đoạn nhỏ dựa trên nguyên lý độ dài mô tả tối thiểu trước khi phân cụm bằng DBSCAN. Điều này giúp phát hiện các đoạn đường di chuyển chung ngay cả khi các phương tiện có điểm xuất phát và đích đến hoàn toàn khác nhau, điều mà K-Means không thể thực hiện được.

Hệ số suy giảm 0,85 trong thuật toán PageRank có trọng số đóng vai trò gì trong mô hình giao thông? Hệ số này mô phỏng xác suất một phương tiện có thể ngẫu nhiên chuyển hướng sang một khu vực bất kỳ thay vì di chuyển theo luồng chính. Việc duy trì hệ số 0,85 giúp giải quyết triệt để hiện tượng dồn tích điểm xếp hạng tại các vùng ngõ cụt hoặc các nút giao khép kín trong mạng lưới đường bộ đô thị.

Tại sao mô hình 2-MMC lại đạt độ chính xác dự đoán cao hơn so với xích Markov bậc một? Mô hình 2-MMC lưu giữ thông tin của hai vị trí liên tiếp trong quá khứ để xác định điểm đến tiếp theo. Trong thực tế di chuyển, hướng đi tiếp theo phụ thuộc mật thiết vào hành trình trước đó; việc sử dụng chuỗi hai điểm giúp loại bỏ tính ngẫu nhiên cục bộ, nâng độ chính xác dự đoán từ khoảng 45% lên tới trên 84%.

Dữ liệu đầu vào thực nghiệm của nghiên cứu được thu thập với quy mô như thế nào? Nghiên cứu sử dụng hai bộ dữ liệu thực tế tại Hà Nội năm 2018: bộ thứ nhất gồm dữ liệu GPS của 100 xe taxi thu thập liên tục trong 30 ngày với dung lượng 1,5 GB từ Công ty Bình Anh, và bộ thứ hai gồm 23 triệu bản ghi điều phối xe taxi với dung lượng 3 GB trên nền tảng MongoDB.

Hệ sinh thái công nghệ Node.js, Python và MongoDB mang lại lợi ích gì cho việc xây dựng hệ thống? MongoDB cung cấp khả năng lưu trữ linh hoạt dữ liệu phi cấu trúc dạng BSON và mở rộng quy mô dễ dàng. Python đảm nhiệm xuất sắc các phép toán ma trận và thuật toán học máy phức tạp, trong khi Node.js với cơ chế vào ra không nghẽn giúp xây dựng các dịch vụ giao diện lập trình ứng dụng xử lý hàng ngàn yêu cầu đồng thời với tốc độ phản hồi cực nhanh.

Kết luận

Đề tài đã hoàn thành xuất sắc mục tiêu nghiên cứu với 5 kết quả nổi bật:

  • Khai phá thành công dữ liệu hành trình quy mô lớn gồm 100 xe taxi trong 30 ngày và 23 triệu bản ghi điều phối thực tế tại Hà Nội.
  • Ứng dụng hiệu quả thuật toán TRACLUS để trích xuất các phân đoạn đường đặc trưng và loại bỏ hơn 40% dữ liệu nhiễu không gian.
  • Cải tiến thuật toán PageRank có trọng số với hệ số 0,85 để xếp hạng chính xác 85% các vùng tập trung nhu cầu đón trả khách theo từng khung giờ.
  • Đề xuất mô hình n-MMC tích hợp nhãn vận tốc giúp dự đoán luồng di chuyển và điểm đến kế tiếp với độ chính xác đạt từ 64% đến 100%.
  • Xây dựng thành công kiến trúc hệ thống mô phỏng và đưa ra gợi ý lộ trình thời gian thực trên nền tảng Node.js, Python và MongoDB.

Trong giai đoạn tiếp theo từ 6 đến 12 tháng tới, hướng nghiên cứu sẽ tập trung tích hợp thêm dữ liệu thời tiết, sự kiện xã hội và mạng lưới xe buýt công cộng để hoàn thiện mô hình dự báo đa phương thức. Hãy tải ngay toàn văn luận văn thạc sĩ để khám phá chi tiết các thuật toán và áp dụng các giải pháp khai phá dữ liệu tiên tiến vào dự án giao thông thông minh của bạn.