Xây Dựng Kho Dữ Liệu và OLAP Trên Dữ Liệu Các Vụ Tai Nạn Giao Thông Tại Anh (2005-2015)

Khám phá đề tài xây dựng kho dữ liệu và OLAP trên dữ liệu tai nạn giao thông tại Anh giai đoạn 2005-2015, phân tích và ứng dụng hiệu quả.

Chuyên ngành

Công nghệ thông tin

Người đăng

Ẩn danh

Thể loại

đề tài nckh

2020

234
3
0

Phí lưu trữ

55 Point

Mục lục chi tiết

LỜI CẢM ƠN

NHẬN XÉT CỦA GIẢNG VIÊN

1. CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI

1.1. Giới thiệu bộ dữ liệu

1.2. Thông tin về bộ dữ liệu

1.3. Ý nghĩa của đề tài

1.4. Mô tả bộ dữ liệu gốc

1.4.1. Mô tả dữ liệu

1.4.2. Mô tả thuộc tính

1.4.3. Mô tả thuộc tính từng bảng khi tạo sơ đồ hình sao

1.4.3.1. Bảng Dim_Urban_or_Rural_Area
1.4.3.2. Bảng Dim_Accident_Severity
1.4.3.3. Bảng Dim_Police_Force
1.4.3.4. Bảng Dim_Road_Surface_Conditions
1.4.3.5. Bảng Dim_Weather_Conditions
1.4.3.6. Bảng Dim_Light_Conditions
1.4.3.7. Bảng Dim_Road_Type
1.4.3.8. Bảng Dim_Date
1.4.3.9. Bảng Dim_Time
1.4.3.10. Bảng Fact

1.4.4. Sơ đồ hình sao

1.4.5. Các câu hỏi truy vấn (15 câu)

2. CHƯƠNG 2: QUÁ TRÌNH SSIS

2.1. Tạo Database trống trong SQL để đổ dữ liệu vào

2.2. Tạo Project và thiết lập kết nối

2.2.1. Tạo mới “Integration Service Project”

2.2.2. Thêm và cấu hình kết nối tới Database của hệ quản trị SQL Server

2.3. Quá trình làm sạch dữ liệu

2.4. Thực hiện tạo các bảng Dim

2.4.1. Tạo bảng Dim_Urban_or_Rural_Area

2.4.2. Tạo bảng Dim_Accident_Severity

2.4.3. Tạo bảng Dim_Police_Force

2.4.4. Tạo bảng Dim_Road_Surface_Conditions

2.5. Tạo bảng Dim_Weather_Conditions

2.6. Tạo bản Dim_Light_Conditions

2.7. Tạo bảng Dim_Road_Type

3. CHƯƠNG 3: QUÁ TRÌNH SSAS

4. CHƯƠNG 4: QUÁ TRÌNH SSRS

5. CHƯƠNG 5: DATA MINING

6. CHƯƠNG 6: TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Xây Dựng Kho Dữ Liệu và OLAP Từ Dữ Liệu Tai Nạn Giao Thông

Xây dựng kho dữ liệu và OLAP từ dữ liệu tai nạn giao thông từ năm 2005 đến 2015 là một nhiệm vụ quan trọng. Dữ liệu này không chỉ giúp phân tích các vụ tai nạn mà còn hỗ trợ trong việc đưa ra các quyết định chính sách. Việc sử dụng các công nghệ hiện đại như OLAP giúp tối ưu hóa quá trình phân tích dữ liệu, từ đó nâng cao hiệu quả trong việc quản lý an toàn giao thông.

1.1. Giới Thiệu Về Dữ Liệu Tai Nạn Giao Thông

Dữ liệu tai nạn giao thông được thu thập từ nhiều nguồn khác nhau, bao gồm các cơ quan chức năng và các tổ chức nghiên cứu. Dữ liệu này bao gồm thông tin về thời gian, địa điểm, mức độ nghiêm trọng và các yếu tố liên quan khác.

1.2. Ý Nghĩa Của Việc Xây Dựng Kho Dữ Liệu

Việc xây dựng kho dữ liệu giúp tổ chức và lưu trữ thông tin một cách có hệ thống. Điều này không chỉ giúp dễ dàng truy xuất dữ liệu mà còn hỗ trợ trong việc phân tích và đưa ra các giải pháp hiệu quả nhằm giảm thiểu tai nạn giao thông.

II. Các Thách Thức Trong Việc Phân Tích Dữ Liệu Tai Nạn Giao Thông

Phân tích dữ liệu tai nạn giao thông gặp nhiều thách thức, bao gồm độ chính xác của dữ liệu, sự đa dạng trong các yếu tố ảnh hưởng và khả năng truy cập dữ liệu. Những thách thức này cần được giải quyết để đảm bảo kết quả phân tích đáng tin cậy.

2.1. Độ Chính Xác Của Dữ Liệu

Độ chính xác của dữ liệu là yếu tố quan trọng trong phân tích. Dữ liệu không chính xác có thể dẫn đến những quyết định sai lầm trong việc quản lý an toàn giao thông.

2.2. Sự Đa Dạng Trong Các Yếu Tố Ảnh Hưởng

Các yếu tố như thời tiết, điều kiện đường xá và hành vi của người tham gia giao thông đều ảnh hưởng đến tần suất và mức độ nghiêm trọng của tai nạn. Việc phân tích các yếu tố này là rất cần thiết.

III. Phương Pháp Xây Dựng Kho Dữ Liệu và OLAP Hiệu Quả

Để xây dựng kho dữ liệu và OLAP hiệu quả, cần áp dụng các phương pháp hiện đại như ETL (Extract, Transform, Load) và sử dụng các công cụ phân tích dữ liệu mạnh mẽ. Những phương pháp này giúp tối ưu hóa quy trình xử lý và phân tích dữ liệu.

3.1. Quy Trình ETL Trong Xây Dựng Kho Dữ Liệu

Quy trình ETL bao gồm việc trích xuất dữ liệu từ các nguồn khác nhau, chuyển đổi dữ liệu thành định dạng phù hợp và tải dữ liệu vào kho dữ liệu. Điều này giúp đảm bảo dữ liệu được tổ chức một cách hợp lý.

3.2. Sử Dụng Công Cụ OLAP Để Phân Tích Dữ Liệu

Công cụ OLAP cho phép người dùng thực hiện các truy vấn phức tạp và phân tích dữ liệu một cách nhanh chóng. Việc sử dụng OLAP giúp nâng cao khả năng ra quyết định dựa trên dữ liệu.

IV. Ứng Dụng Thực Tiễn Của Kho Dữ Liệu Tai Nạn Giao Thông

Kho dữ liệu tai nạn giao thông không chỉ phục vụ cho việc phân tích mà còn hỗ trợ trong việc xây dựng các chính sách an toàn giao thông. Các kết quả phân tích có thể được sử dụng để cải thiện hạ tầng giao thông và nâng cao ý thức của người tham gia giao thông.

4.1. Cải Thiện Hạ Tầng Giao Thông

Dựa trên các phân tích từ kho dữ liệu, các cơ quan chức năng có thể xác định các khu vực có nguy cơ cao và thực hiện các biện pháp cải thiện hạ tầng giao thông.

4.2. Nâng Cao Ý Thức Người Dân

Các kết quả phân tích cũng có thể được sử dụng để tổ chức các chiến dịch tuyên truyền nhằm nâng cao ý thức của người dân về an toàn giao thông.

V. Kết Luận và Tương Lai Của Kho Dữ Liệu Tai Nạn Giao Thông

Kho dữ liệu và OLAP từ dữ liệu tai nạn giao thông là một công cụ mạnh mẽ trong việc quản lý an toàn giao thông. Tương lai của việc sử dụng dữ liệu này sẽ ngày càng phát triển với sự hỗ trợ của công nghệ mới.

5.1. Xu Hướng Phát Triển Công Nghệ

Công nghệ mới như trí tuệ nhân tạo và học máy sẽ giúp cải thiện khả năng phân tích và dự đoán tai nạn giao thông.

5.2. Tầm Quan Trọng Của Dữ Liệu Trong Quản Lý An Toàn Giao Thông

Dữ liệu sẽ tiếp tục đóng vai trò quan trọng trong việc xây dựng các chính sách và chiến lược an toàn giao thông hiệu quả.

12/07/2025
Đề tài xây dựng kho dữ liệu và olap trên dữ liệu các vụ tai nạn giao thông tại anh 2005 2015

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI 1.1 Giới thiệu bộ dữ liệu 1.1 Thông tin về bộ dữ liệu Đơn vị cung cấp dữ liệu: Bộ giao thông vận tải vương quốc Anh. Thời gian thu thập dữ liệu: từ năm 2005 đến 2015. Dữ liệu được xuất bản và công khai tại: https://data.uk/dataset/road-accidents-safety-data 1.2 Ý nghĩa của đề tài An toàn giao thông luôn là chủ đề được toàn xã hội quan tâm và hướng tới xây dựng văn hóa giao thông tiến bộ nhất để giảm thiểu những thiệt hại do tai nạn giao thông gây ra. Ngày nay, xã hội càng phố biến bấy Đề tài NCKH nhiêu kéo theo là sự đông đúc trên đường phố cùng với tai nạn giao thông ngày càng tăng lên đáng kể.

Vì vậy, vấn đề an toàn giao thông thực sự là một vấn đề quan trọng của nhân loại. Hiện nay mỗi ngày chúng ta có thể thống kê được rất nhiều những vụ tai nạn giao thông để lại biết bao hậu quả đáng buồn. Tại sao việc an toàn giao thông lại khó đến vậy? Nguyên nhân điều này là do đâu? Đó là do người dân không chỉ chủ quan mà còn thiếu ý thức trách nhiệm trong khi tham gia giao thông lạn lách, đánh võng, không đội nón bão hiểm. Nhất là tình trạng người tham gia giao thông có nồng độ cồn vượt quá mức quy định ảnh hưởng đến sự tỉnh táo của tay lái và gây tai nạn.

Không ít những trường hợp mà mẹ mất con, con mất cha, gia đình đau xót, cá nhân mất mát sau những tai nạn như vậy, người còn sống cũng ít nhiều để lại những hậu di chứng về sau. Đó đều là mất mát do giao thông gây nên. Để lại nhiều hậu quả đau lòng như vậy, rõ ràng an toàn giao thông đóng một vai trò quan trọng cho cá nhân và cho xã hội. Việc chấp hành các nội 7 dung trong điều luật về an toàn giao thông sẽ góp phần giảm thiểu số vụ tai nạn đáng tiếc xảy ra cũng giảm theo và bớt đi phần nào những nổi đau đớn mất mát mà gia đình và cá nhân phải chịu đựng khi có một người vì tai nạn giao thông mà mất đi sinh mạng hoặc dị tật cả đời.

Thêm vào đó, giảm thiểu tai nạn giao thông cũng là giảm thiểu chi phí do việc này gây ra. Đối với một xã hội mà an toàn giao thông được giữ vững, luật giao thông được chấp nhận, người tham gia giao thông có ý thức và an toàn thì nhất định là một xã hội ngày càng đi lên. Mỗi chúng ta để thực hiện được an toàn giao thông thì cần tự xác lập cho mình ý thức trách nhiệm về việc chấp hành những quy định khi tham gia giao thông. Nhưng ngày nay, không thiếu những hành vi coi thường luật giao thông để rồi gây ra những hậu quả đáng tiếc cho gia đình và xã hội.

Những hành vi ấy nhất định cần có biện pháp xử lí đích đáng.’Phía trước tay lái là cuộc sống”. Hãy nhớ khẩu hiệu đó và luôn ý thức trách nhiệm giữ an toàn giao thông cho người khác ở mọi lúc mọi nơi.2 Mô tả bộ dữ liệu gốc tài NCKH 1.1 Mô tả dữ liệu Các vụ tai nạn ô tô ở vương quốc Anh từ năm 2005- 2015. Link: https://www.com/silicon99/dft-accident-data 1.2 Mô tả thuộc tính File dataset: Accidents0515 Accidents0515: gồm 1.653 dòng dữ liệu, 32 thuộc tính. STT Field Name Description Type 1 Accident_Index Mã vụ tai nạn String 8 Tọa độ địa phương ở 2 Location_Easting_OSGR String Anh (X) Tọa độ địa phương ở 3 Location_Northing_OSGR String Anh (Y) 4 Longitude Kinh độ String 5 Latitude Vĩ độ String 6 Police_Force Đồn cảnh sát Int 7 Accident_Severity Mức độ nghiêm trọng Int Số phương tiện bị hư 8 Number_of_Vehicles Int hại liên quan tai nạn 9 Number_of_Casualties Số thương vong Int 10 Date Ngày xảy ra tai nạn Date 11 Day_of_Week Thứ trong tuần int 12 Time Thời gian xảy ra tai nạn DateTime Tên khu vực địa 13 Đề tài NCKH Local_Authority_(District) phương xảy ra vụ việc Int Tên đường chính xảy ra 14 Local_Authority_(Highway) String tai nạn 15 1st_Road_Class Phân loại đường bộ Int 16 1st_Road_Number Số đường Int 17 Road_Type Loại đường Int 18 Speed_limit Tốc độ giới hạn float 19 Junction_Detail Chi tiết giao lộ Int 20 Junction_Control Kiểm soát giao lộ Int 21 2nd_Road_Class Phân loại đường bộ Int 22 2nd_Road_Number Số đường Int Pedestrian_Crossing- Sự kiểm soát người đi 23 Int Human_Control bộ qua đường Pedestrian_Crossing- Cơ sở vật chất cho 24 Int Physical_Facilities người đi bộ qua đường 9 25 Light_Conditions Điều kiện ánh sáng Int 26 Weather_Conditions Điều kiện thời tiết Int 27 Road_Surface_Conditions Điều kiện mặt đường Int 28 Special_Conditions_at_Site Điều kiện đặc biệt Int 29 Carriageway_Hazards Mối hiểm họa Int Thành thị hoặc nông 30 Urban_or_Rural_Area Int thông Cảnh sát có tham gia Did_Police_Officer_Attend_Sc 31 vào hiện trường tai nạn Int ene_of_Accident hay không? Khu vực địa lý của vị 32 LSOA_of_Accident_Location String trí xảy ra tai nạn 1.3 Mô tả thuộc tính từng bảng khi tạo sơ đồ hình sao Đề tài NCKH  Bảng Dim_Urban_or_Rural_Area Field Name Description Type Urban_or_Rural_Area Mã thành thị hoặc int nông thôn Name_Urban_or_Rural_Area Tên thành thị và varchar nông thôn  Bảng Dim_Accident_Severity Field Name Description Type ID_Accident_Severity Mã mức độ nghiệm int trọng Accident_Severity Mức độ nghiêm trọng varchar  Bảng Dim_Police_Force Field Name Description Type ID_Police_Force Mã đồn cảnh sát int Police_Force Đồn cảnh sát varchar  Bảng Dim_Road_Surface_Conditions 10 Field Name Description Type ID_Road_Surface_Condition Mã điều kiện mặt int s đường Road_Surface_Conditions Điều kiện mặt đường varchar  Bảng Dim_Weather_Conditions Field Name Description Type ID_Weather_Conditions Mã thời tiết int Weather_Conditions Thời tiết varchar  Bảng Dim_Light_Conditions Field Name Description Type ID_Light_Conditions Mã điều kiện ánh sáng int Light_Conditions Điều kiện ánh sáng varchar  Bảng Dim_Road_Type Field Name Description Type ID_Road_Type Road_Type Đề tài NCKH Mã tên đường Tên đường int varchar  Bảng Dim_Date Field Name Description Type Date_Accident Ngày xảy ra tai Date nạn Day_Accident Ngày int Month_Accident Tháng int Year_Accident Năm int  Bảng Dim_Time Field Name Description Type Time_Accident Thời gian xảy SmallDateTime ra tai nạn Hour_Accident Giờ int Minutes_Accident Phút int  Bảng Fact STT Field Name Description Type 11 1 Accident_Index Mã vụ tai nạn Varchar 2 ID_Police_Force Đồn cảnh sát Int 3 ID_Accident_Severity Mức độ nghiêm trọng Int Số phương tiện bị hư 4 Number_of_Vehicles Int hại liên quan tai nạn 5 Number_of_Casualties Số thương vong Int 6 Date_Accident Ngày xảy ra tai nạn Date Thời gian xảy ra tai 7 Time_Accident SmallDateTime nạn 8 ID_Road_Type Loại đường Int 9 Speed_limit Tốc độ giới hạn Float 10 ID_Light_Conditions Điều kiện ánh sáng Int 11 ID_Weather_Conditions Điều kiện thời tiết Int 12 Đề tài NCKH ID_Road_Surface_Conditions Điều kiện mặt đường Thành thị hoặc nông Int 13 Urban_or_Rural_Area Int thông 12 1.4 Sơ đồ hình sao Đề tài NCKH 1.5 Các câu hỏi truy vấn (15 câu) Câu 1: Thống kê số vụ tai nạn giao thông ở nông thôn, thành thị, cả nước là bao nhiêu? Câu 2: Số lượng xe lớn nhất thiệt hại, số xe thiệt hại nhỏ nhất do điều kiện bề mặt đường trong năm 2015? Câu 3: Sắp xếp số người thương vong theo chiều tăng dần, theo các năm? Câu 4: Top 3 khung giờ xảy ra nhiều tai nạn nhất? Câu 5: Top 3 khung giờ xảy ra ít tai nạn nhất? Câu 6: Thống kê tổng số người thương vong xảy ra từ năm 2008 đến 2015 tại mỗi thành phố cùng thời tiết và điều kiện ánh sáng? Câu 7: Số lượng xe lớn nhất và nhỏ nhất thiệt hại do điều kiện bề mặt đường (Không có Dry ) được sắp xếp theo chiều giảm dần theo số lượng xe lớn nhất, của năm 2013.

13 Câu 8: Liệt kê 10 đồn cảnh sát ghi nhận tai nạn, có số xe thiệt hại nhiều nhất, nhưng số thương vong lớn hơn 10000 người.Từ năm 2012 đến năm 2015? Câu 9: Thống kê số thương vong theo từng tháng của năm 2007? Câu 10: Sắp xếp các đồn cảnh sát bắt đầu bằng chữ S theo chiều giảm dần số vụ tai nạn giao thông, qua các tháng trong năm? Câu 11: Truy vấn 5 loại đường,tổng số xe tai nạn được sắp xếp giảm dần, lấy bắt đầu từ vị trí thứ 2. Thống kê theo từng năm. Câu 12: Thống kê theo năm, vùng (nông thôn hay thành thị) 5 điều kiện thời tiết gây ra số lượng vụ tai nạn cao nhất và ngoại trừ vùng Unallocated Câu 13: Thống kê ở thành phố (Urban) các loại đường, điều kiện ánh sáng, điều kiện thời tiết được sắp xếp giảm dần theo số vụ tai nạn. Ứng với tốc độ lớn hơn 30 km/h.

Đề tài NCKH Câu 14: Thống kê các tên đồn cảnh sát có tổng số của những người bị thương ít nhất là 5000 với mức độ nghiêm trọng (Dim_Accident_Severity) –filter(sắp xếp tăng dần theo tốc độ lớn nhất). Câu 15: Thống kê theo năm, tháng tổng số xe bị hư hại, số người bị thương, tổng số vụ tai nạn, tốc độ lớn nhất xảy ra tại các loại đường với tốc độ lớn nhất là 20-70km/h ,với tổng số lượng vụ tai nạn là lớn hơn hoặc bằng 5 vụ, mức độ nguy hiểm là tử vong (Fatal). 14 CHƯƠNG 2: QUÁ TRÌNH SSIS 2.1 Tạo Database trống trong SQL để đổ dữ liệu vào Để tạo Database mới có tên là “Accidents” ta thực hiện như sau: - Khởi động SQL Server 2014 Management. - Viết câu lệnh CREATE DATABASE Accident_DW.2 Tạo Project và thiết lập kết nối 2.1 Tạo mới “Integration Service Project” - Khởi động Visual Studio 2017.

- Chọn File ->New->Project. - Ở Installed, chọn tab Business Intelligence -> Integration Services Project. - Đặt tên Project là “SSIS_Accidents”.2 Thêm và cấu hình kết nối tới Database của hệ quản trị SQL Server 2.1 Kết nối tới Database “Accident_DW” Đề tài NCKH - Tại phần Solution Explorer, click chuột phải vào folder Connection Managers, sau đó chọn New Connection Manager để tiến hành tạo một kết nối mới. - Chọn OLEDB, sau đó chọn Add để kết nối tới hệ quản trị SQL Server.

16 - Chọn New để tiếp tục. Đề tài NCKH - Điền tên Server Name, chọn database “Accident_DW” trong Select or enter a database name. Sau đó nhấn ok để hoàn tất. 17 Đề tài NCKH 18 - Kết nối đã thành công.3 Quá trình làm sạch dữ liệu - Tạo “Data Flow Task”: Kéo thả công cụ Data Flow Task ở SSIS Toolbox sang vùng làm Đề tài NCKH việc Control Flow.

Sau đó tiến hành đổi tên “Quá trình làm sạch dữ liệu”: - Click vào tab Data Flow để tiến hành làm sạch dữ liệu: 19 - Kéo thả Flat File Source, Conditional Split, 2 bảng OLE DB Destination, Sort. + Đổi tên Flat File Source thành Data Gốc Accident CSV. + Đổi tên 1 bảng OLE DB Destination thành Data Sạch. Đề tài NCKH - Kích chuột vào Data Gốc Accident CSV, chọn edit.

- Tại phần Flat file connection manager, chọn New. 20 - Chọn đường dẫn tới file Accidents0515. Sau đó nhấn OK. Đề tài NCKH 21 - Tích chọn những cột cần thiết.

Sau đó nhấn OK. - Kích chuột vào Conditional Split, chọn edit. - Nhằm thực hiện chia dữ liệu thành 2 phần là DataNull và DataNotNull.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ