Chương 1: TỔNG QUAN 1. Thực trạng giao thông Thành phố Hồ Chí Minh Giao thông Thành phố Hồ Chí Minh là tổng hòa của nhiều loại hình giao thông hiện hữu phục vụ nhu cầu đi lại trong phạm vi thành phố, giữa TP.HCM với các vùng lân cận và toàn cầu. Là đô thị lớn nhất và là đầu mối giao thông quan trọng của Việt Nam, Thành phố Hồ Chí Minh có hệ thống cơ sở hạ tầng đa dạng và hiện đại với nhiều đường trục liên vùng lớn, hai đường cao tốc chính nối các tỉnh miền Tây và miền Đông Nam Bộ, cùng nhiều tuyến quốc lộ trọng điểm. Hệ thống đường bộ của TP.HCM dày đặc, có tổng chiều dài 4.044 km lớn nhất trong các đô thị ở Việt Nam.
Trong những năm qua, quá trình đô thị hóa diễn ra mạnh mẽ, dân số nhập cư tăng cao, hệ thống cơ sở hạ tầng chưa đồng bộ, định hướng quy hoạch đô thị chưa thật sự đúng đắn, sự quản lý yếu của cơ quan quản lí, ý thức kém của người tham gia giao thông. đã làm cho giao thông thành phố Hồ Chí Minh ngày càng tồi tệ. Tình trạng kẹt xe, tiếng ồn, ô nhiễm bụi do khí thải của các phương tiện tham gia giao thông đã trở thành một vấn nạn của thành phố Hồ Chí Minh. Quy hoạch đô thị không ổn định Quy hoạch đô thị bao gồm rất nhiều lĩnh vực (không gian, hạ tầng kỹ thuật đô thị, kinh tế, dân số, môi trường, cảnh quan…) trong đó quy hoạch giao thông luôn là một nôi dung cơ bản, gắn liền với quy hoạch không gian và quy hoạch các phân khu chức năng.
Tuy nhiên, phần lớn các đô thị trên thế giới không được quy hoạch hiện đại ngay từ khi mới xây dựng mà thường là kế thừa những đô thị đã hình thành một cách tự nhiên trước đó, Sài Gòn - TP.HCM cũng nằm trong trường hợp này. Quy hoạch không ổn định là khó khăn lớn nhất đối với ngành GTVT thành phố vì không còn quỹ đất để tăng tỷ lệ diện tích giao thông thì cũng không thể cải thiện được tình trạng tắc đường, kẹt xe và khi cần chỉnh trang, mở rộng hay tạo ra những trục đường mới cũng không thể làm xáo trộn cuộc sống của quá nhiều người dân và không đủ kinh phí rất lớn để đền bù giải tỏa. Dân số đông, mật độ cao Những năm gần đây, TP.HCM đang chịu áp lực lớn từ việc gia tăng dân số.HCM cũng là nơi đông dân nhất cả nước (chiếm 9,35%) và chiếm hơn 50% dân số vùng Đông Nam bộ. Mật độ dân số TP.292 người/km2 (tăng gần 26% so với năm 2009) và cũng là thành phố có mật độ dân số cao nhất của cả nước.
Dân số đông, tỷ lệ gia tăng dân số cơ học cao đang dẫn đến tình trạng phương tiện cá nhân tăng cao đây là vấn đề gây nên tình trạng ùn tắc giao thông tại TP. Ý thức của người tham gia giao thông còn thấp. Theo thống kê của Ban An toàn giao thông TP.HCM, có đến 90% tai nạn giao thông xảy ra do ý thức người dân còn kém, không chấp hành luật lệ gây hậu quả đáng tiếc. Tình trạng ùn tắc giao thông hiện nay xảy ra hầu hết các nước trên thế giới.
Tuy nhiên, ở các nước đó khác với ta ở chỗ, khi có ùn tắc giao thông những người điều khiển phương tiện vẫn chấp hành nghiêm chỉnh Luật Giao thông, không luồn lách, đi lên vỉa hè, rú còi inh ỏi, còn ở nước ta thì ngược lại mạnh ai nấy đi, "hở chỗ nào đi chỗ nấy", không theo qui định nào cả. Phần lớn người đi đường cố ý vượt đèn đỏ, leo lề, lấn làn… không chỉ gây ùn tắc, dễ xảy ra tai nạn, mà còn làm xấu xí bộ mặt giao thông đô thị tại Việt Nam. Lâu nay chúng ta vẫn nói nhiều đến văn hóa giao thông. Nhiều người bảo do dân trí còn thấp nên việc vi phạm giao thông còn diễn biến phức tạp.
Nhưng thực tế khẳng định rằng, văn hóa giao thông không phụ thuộc vào trình độ văn hóa. Bởi, ở các đô thị là nơi tập trung của rất nhiều nhân sĩ, trí thức, người có trình độ văn hóa cao… Tôn trọng pháp luật là tôn trọng chính mình. Có ý thức chấp hành luật lệ giao thông đồng nghĩa với việc đem lại an toàn cho chính bạn và những người xung quanh. Tình trạng ùn tắc giao thông, tai nạn giao thông gia tăng như hiện nay không thể chỉ đổ lỗi tại hạ tầng giao thông mà trong đó nguyên nhân không nhỏ từ ý thức của người Việt khi tham gia giao thông.
Hạ tầng giao thông kém, phương tiện cá nhân tăng cao Cho đến nay, hạ tầng giao thông TP.HCM chỉ đáp ứng được khoảng 30% so với quy hoạch phát triển giao thông của thành phố. Các công trình hạ tầng, đường xá, cầu cống chật hẹp, xuống cấp. Quá trình xây dựng chậm chạp, đình trệ. Trong khi đó lượng dân cư tập trung đông, số phương tiện cá nhân ngày càng gia tăng đã trở thành "gánh nặng" cho hạ tầng giao thông.
Giải pháp mang tính quyết định, trước hết phải là cải tạo, mở rộng và xây dựng mới cơ sở hạ tầng, nhanh chóng mở rộng, xây dựng mới các đường trục chính, hoàn thành các tuyến vành đai, cải tạo các nút giao thông. Công tác quản lý giao thông tại TP.HCM hiện nay Trong thời gian qua, TP.HCM đã và đang triển khai nhiều giải pháp ứng dụng CNTT trong quản lý và điều hành giao thông đô thị, đảm bảo trật tự ATGT trên địa bàn thành phố. Cụ thể, từ đầu năm 2019, đã hoàn thành và đưa vào sử dụng Trung tâm quản lý điều hành giao thông đặt tại Trung tâm Quản lý đường hầm sông Sài Gòn, tăng cường ứng dụng CNTT giải quyết tình trạng ùn tắc giao thông, tai nạn giao khu vực trung tâm thành phố. Theo đó, khu vực giám sát - vận hành hệ thống thiết bị đường hầm gồm 9 màn hình 42 inch để giám sát tình hình giao thông qua đường hầm sông Sài Gòn, 2 màn hình 65 inch phục vụ công tác vận hành hệ thống thiết bị điện, thông gió, thoát nước và hệ thống khẩn cấp đường hầm.
Khu vực giám sát - vận hành và điều khiển giao thông TP gồm 18 màn hình 42 inch để giám sát camera giao thông, 30 màn hình ghép thành 2 Video Wall (1 video wall có 9 màn hình 46 inch và 1 video wall có 21 màn hình 49 inch) để giám sát, vận hành các hệ thống điều khiển giao thông tích hợp. Bên cạnh đó, TP cũng triển khai một số các giải pháp khác liên quan đến việc ứng dụng CNTT trong lĩnh vực GTVT như: Đưa vào hoạt động hệ thống thu phí dịch vụ sử dụng đường bộ điện tử tự động không dừng (ETC) tại Trạm thu phí cầu Phú Mỹ, Trạm thu phí An Sương - An Lạc. Đồng thời, triển khai thí điểm sử dụng vé điện tử smartcard dành cho cho xe buýt; triển khai thực hiện việc thu phí 13 và quản lý công tác thu phí sử dụng lòng đường để đỗ xe ô tô thông qua ứng dụng di động MyParking trên 22 tuyến đường trên địa bàn TP;. Lý do chọn đề tài Trong tình hình giao thông thành phố còn nhiều phức tạp như hiện nay, công tác quản lý giao thông đô thị còn nhiều bất cập, chưa giải quyết hoàn toàn được tình trạng ùn tắc giao thông thường xuyên trên địa bàn thành phố.
Công tác quản lý, khai thác dữ liệu thông tin giao thông đô thị còn nhiều hạn chế. Do đó, tôi chọn đề tài “Quản lý thông tin giao thông đô thị dựa vào dữ liệu từ cộng đồng và phân tích dữ liệu lớn” để từ đó sử dụng dữ liệu giao thông có được tiến hành phân tích và xây dựng báo cáo giúp các nhà quản lý giao thông cũng như công chúng những người tham gia, quan tâm đến vấn đề giao thông dễ dàng tìm hiểu thông tin giao thông. Mục tiêu nghiên cứu Xây dựng và triển khai kho dữ liệu để lưu trữ và quản lý thông tin giao thông một cách hiệu quả hơn. Với việc quản lý thông tin giao thông đô thị dựa vào dữ liệu từ cộng đồng và phân tích dữ liệu lớn hệ thống sẽ giúp ích trong việc quản lý: thông tin về hạ tầng giao thông, tình trạng giao thông, xác định được tình trạng giao thông của từng con đường cụ thể, lưu lượng phương tiện tham gia giao thông ở các thời điểm khác nhau.
Phát hiện ra những điểm nóng giao thông và những nguyên nhân gây ra tình trạng giao thông đó từ đó có các phương án giải quyết vấn đề. Đối tượng và phạm vi nghiên cứu Xây dựng Kho dữ liệu đặc biệt là DWH u về quản lý thông tin giao thông TP.HCM là một quá trình lâu dài với nhiều công việc. Trong luận văn này, dữ liệu DWH được xây dựng chủ yếu tập trung vào xử lý, chuẩn dữ liệu thông tin giao thông từ nhiều nguồn khác nhau để đưa vào kho dữ liệu. Quy mô hệ thống thử nghiệm được xây dựng áp dụng cho việc quản lý thông tin giao thông ở thành phố Hồ Chí Minh.
Tập trung thiết kế mô hình dữ liệu và thu thập dữ liệu từ hệ thống nguồn, xử lý chuẩn hóa dữ liệu, thiết kế một số các báo cáo, thống kê và tra cứu 14 cơ bản. Ý nghĩa khoa học và thực tiễn của đề tài nghiên cứu Ý nghĩa khoa học: Chuẩn hóa dữ liệu từ nhiều nguồn khác nhau vào kho dữ liệu. Làm tiền đề cho việc phát triển các hệ thống quản lý thông tin sau này. Ý nghĩa thực tiễn: Kết quả nghiên cứu làm cơ sở để công tác theo dõi, quản lý cũng như khi cần tra cứu các thông tin giao thông hiệu quả hơn.
Từ các nhà quản lý cũng như người dân, những người quan tâm đến dữ liệu giao thông sẽ nắm được tình trạng giao thông một cách chính xác hơn. 15 Chương 2: TỔNG QUAN VỀ DATA WAREHOUSE 2. Định nghĩa kho dữ liệu Kho dữ liệu trong tiếng Anh là Data Warehousing. Kho dữ liệu là kho lưu trữ điện tử của một lượng lớn thông tin của một doanh nghiệp hoặc tổ chức.
Kho dữ liệu là một thành phần quan trọng của phân tích kinh doanh, sử dụng các kĩ thuật phân tích trên dữ liệu doanh nghiệp. Khái niệm kho dữ liệu được giới thiệu vào năm 1988 bởi 2 nhà nghiên cứu của IBM là Barry Devlin và Paul Murphy. Nhu cầu lưu trữ dữ liệu phát triển khi các hệ thống máy tính trở nên phức tạp hơn và phải xử lí lượng dữ liệu ngày càng tăng. Một cuốn sách quan trọng về lưu trữ dữ liệu là "Xây dựng kho dữ liệu" của W.