Bối cảnh và vấn đề nghiên cứu

Vấn đề an toàn giao thông là chủ đề nhận được sự quan tâm của toàn xã hội nhằm giảm thiểu những thiệt hại về người và tài sản. Thực tế gia tăng mật độ phương tiện trên đường phố kéo theo số lượng các vụ tai nạn giao thông diễn biến phức tạp. Nhiều vụ tai nạn xuất phát từ nguyên nhân chủ quan và ý thức chấp hành luật giao thông chưa cao của người tham gia giao thông, chẳng hạn như hành vi phóng nhanh, lạng lách, không đội mũ bảo hiểm hoặc điều khiển phương tiện khi nồng độ cồn vượt quá mức quy định. Những hậu quả để lại không chỉ là mất mát sinh mạng và thương tật suốt đời cho nạn nhân mà còn tạo ra gánh nặng chi phí lớn cho gia đình và xã hội.

Từ thực tiễn trên, đề tài hướng đến việc ứng dụng công nghệ kho dữ liệu và phân tích đa chiều nhằm phân tích sâu các yếu tố liên quan đến tai nạn giao thông, phục vụ công tác quản lý và ra quyết định.

  • Mục tiêu nghiên cứu: Xây dựng kho dữ liệu (Data Warehouse) và khối dữ liệu đa chiều (OLAP Cube) từ tập dữ liệu tai nạn giao thông, thực hiện quá trình trích xuất - làm sạch - nạp dữ liệu (ETL), thiết kế các báo cáo thống kê trực quan và áp dụng các thuật toán khai phá dữ liệu (Data Mining).
  • Nhiệm vụ nghiên cứu:
    1. Khảo sát, mô tả và làm sạch bộ dữ liệu gốc gồm 32 thuộc tính.
    2. Thiết kế mô hình dữ liệu đa chiều dạng sơ đồ hình sao (Star Schema).
    3. Xây dựng quy trình ETL bằng công cụ SQL Server Integration Services (SSIS).
    4. Triển khai khối dữ liệu đa chiều bằng SQL Server Analysis Services (SSAS), thiết lập Measures, Hierarchies, Attribute Relationships và Named Sets.
    5. Xử lý và giải quyết 15 câu hỏi truy vấn nghiệp vụ phục vụ phân tích.
    6. Xây dựng các báo cáo trực quan hóa bằng SQL Server Reporting Services (SSRS) và Microsoft Power BI.
    7. Huấn luyện và đánh giá các mô hình khai phá dữ liệu (Decision Trees, Clustering, Naive Bayes).
  • Đối tượng và phạm vi nghiên cứu:
    • Đối tượng nghiên cứu: Dữ liệu ghi nhận các vụ tai nạn giao thông đường bộ (thông tin phương tiện, thương vong, điều kiện thời tiết, ánh sáng, mặt đường, vị trí, thời gian và đồn cảnh sát phụ trách).
    • Phạm vi không gian: Vương quốc Anh (United Kingdom).
    • Phạm vi thời gian: Dữ liệu thu thập trong giai đoạn từ năm 2005 đến năm 2015.

Cơ sở lý thuyết và phương pháp

Đề tài áp dụng các nền tảng lý thuyết và công nghệ trong lĩnh vực Kho dữ liệu, Xử lý phân tích trực tuyến (OLAP) và Khai phá dữ liệu (Data Mining):

  • Khung lý thuyết và mô hình ứng dụng:
    • Mô hình Kho dữ liệu: Sử dụng mô hình dữ liệu đa chiều sơ đồ hình sao (Star Schema) với một bảng sự kiện (Fact Table) trung tâm liên kết với 9 bảng chiều (Dimension Tables).
    • Phân tích đa chiều (OLAP): Thiết lập các cấu trúc phân cấp (Hierarchies), quan hệ thuộc tính (Attribute Relationships), định nghĩa tập hợp đặt tên (Named Sets) và ngôn ngữ truy vấn biểu thức đa chiều MDX (MultiDimensional eXpressions).
    • Khai phá dữ liệu (Data Mining): Ứng dụng các thuật toán khai phá tích hợp của Microsoft gồm Cây quyết định (Microsoft Decision Trees), Phân cụm (Microsoft Clustering) và Phân lớp xác suất (Microsoft Naive Bayes). Đánh giá hiệu năng mô hình thông qua biểu đồ độ chính xác (Mining Accuracy Chart).
  • Phương pháp nghiên cứu thực tế:
    • Phương pháp tiền xử lý và ETL: Thực hiện lọc dữ liệu thiếu, kiểm tra điều kiện giá trị rỗng (Null Value Check) trên 13 trường dữ liệu then chốt, phân tách luồng dữ liệu (Conditional Split), sắp xếp (Sort) và nạp dữ liệu vào cơ sở dữ liệu quan hệ.
    • Phương pháp phân tích và trực quan hóa: Xây dựng báo cáo bảng biểu có nhóm dữ liệu (Grouping) và tính tổng (Total) trên SSRS; thiết kế bảng điều khiển phân tích trực quan trên Power BI; phân tích tương tác qua bảng tổng hợp (Pivot Table) trên Microsoft Excel.
  • Nguồn dữ liệu:
    • Đơn vị cung cấp: Bộ Giao thông Vận tải Vương quốc Anh (Department for Transport - DfT).
    • Nguồn công khai: Bộ dữ liệu Accidents0515 (chứa 1.653 dòng dữ liệu mẫu và 32 trường thuộc tính) kết hợp cùng các tập tin dữ liệu bổ trợ (Urban_Rural.csv, dữ liệu đồn cảnh sát, loại đường, điều kiện bề mặt, thời tiết, ánh sáng).

Thiết kế và triển khai hệ thống

1. Cấu trúc bộ dữ liệu gốc

Tập dữ liệu gốc Accidents0515 bao gồm 32 trường thuộc tính mô tả chi tiết từng khía cạnh của các vụ tai nạn giao thông:

STT Tên thuộc tính (Field Name) Kiểu dữ liệu Diễn giải nội dung
1 Accident_Index String Mã định danh duy nhất của vụ tai nạn
2 Location_Easting_OSGR String Tọa độ địa phương ở Anh (trục X)
3 Location_Northing_OSGR String Tọa độ địa phương ở Anh (trục Y)
4 Longitude String Kinh độ xảy ra tai nạn
5 Latitude String Vĩ độ xảy ra tai nạn
6 Police_Force Int Mã định danh đồn cảnh sát xử lý
7 Accident_Severity Int Mức độ nghiêm trọng của vụ tai nạn
8 Number_of_Vehicles Int Số lượng phương tiện liên quan bị hư hại
9 Number_of_Casualties Int Số người thương vong trong vụ tai nạn
10 Date Date Ngày xảy ra vụ tai nạn
11 Day_of_Week Int Thứ trong tuần
12 Time DateTime Thời gian xảy ra tai nạn
13 Local_Authority_(District) Int Tên khu vực địa phương xảy ra vụ việc
14 Local_Authority_(Highway) String Tên tuyến đường chính xảy ra tai nạn
15 1st_Road_Class Int Phân loại đường bộ cấp 1
16 1st_Road_Number Int Số hiệu tuyến đường cấp 1
17 Road_Type Int Loại hình đường giao thông
18 Speed_limit Float Giới hạn tốc độ cho phép trên đoạn đường
19 Junction_Detail Int Chi tiết đặc điểm giao lộ
20 Junction_Control Int Hình thức kiểm soát tại giao lộ
21 2nd_Road_Class Int Phân loại đường bộ cấp 2
22 2nd_Road_Number Int Số hiệu tuyến đường cấp 2
23 Pedestrian_Crossing-Human_Control Int Tình trạng kiểm soát người đi bộ qua đường
24 Pedestrian_Crossing-Physical_Facilities Int Cơ sở vật chất hỗ trợ người đi bộ qua đường
25 Light_Conditions Int Điều kiện ánh sáng tại thời điểm tai nạn
26 Weather_Conditions Int Điều kiện thời tiết khi xảy ra vụ việc
27 Road_Surface_Conditions Int Điều kiện mặt đường
28 Special_Conditions_at_Site Int Các điều kiện đặc biệt tại hiện trường
29 Carriageway_Hazards Int Mối hiểm họa trên phần đường xe chạy
30 Urban_or_Rural_Area Int Khu vực xảy ra tai nạn (thành thị/nông thôn)
31 Did_Police_Officer_Attend_Scene_of_Accident Int Cảnh sát có đến hiện trường tai nạn hay không
32 LSOA_of_Accident_Location String Mã khu vực địa lý của vị trí tai nạn

2. Thiết kế mô hình sơ đồ hình sao (Star Schema)

Hệ thống được chuẩn hóa thành mô hình dữ liệu đa chiều gồm 1 bảng Fact và 9 bảng Dimension:

  • Bảng sự kiện (Fact):
    • Khóa ngoại và thuộc tính liên kết: Accident_Index (Varchar), ID_Police_Force (Int), ID_Accident_Severity (Int), Date_Accident (Date), Time_Accident (SmallDateTime), ID_Road_Type (Int), ID_Light_Conditions (Int), ID_Weather_Conditions (Int), ID_Road_Surface_Conditions (Int), Urban_or_Rural_Area (Int).
    • Thuộc tính đo lường (Measures): Number_of_Vehicles (Int), Number_of_Casualties (Int), Speed_limit (Float).
  • Các bảng chiều (Dimension Tables):
    1. Dim_Urban_or_Rural_Area: Gồm Urban_or_Rural_Area (Int - Khóa chính), Name_Urban_or_Rural_Area (Varchar).
    2. Dim_Accident_Severity: Gồm ID_Accident_Severity (Int - Khóa chính), Accident_Severity (Varchar).
    3. Dim_Police_Force: Gồm ID_Police_Force (Int - Khóa chính), Police_Force (Varchar).
    4. Dim_Road_Surface_Conditions: Gồm ID_Road_Surface_Conditions (Int - Khóa chính), Road_Surface_Conditions (Varchar).
    5. Dim_Weather_Conditions: Gồm ID_Weather_Conditions (Int - Khóa chính), Weather_Conditions (Varchar).
    6. Dim_Light_Conditions: Gồm ID_Light_Conditions (Int - Khóa chính), Light_Conditions (Varchar).
    7. Dim_Road_Type: Gồm ID_Road_Type (Int - Khóa chính), Road_Type (Varchar).
    8. Dim_Date: Gồm Date_Accident (Date - Khóa chính), Day_Accident (Int), Month_Accident (Int), Year_Accident (Int).
    9. Dim_Time: Gồm Time_Accident (SmallDateTime - Khóa chính), Hour_Accident (Int), Minutes_Accident (Int).

3. Quy trình công nghệ và triển khai

  • Môi trường kỹ thuật:
    • Hệ quản trị cơ sở dữ liệu: Microsoft SQL Server 2014 Management Studio (Cơ sở dữ liệu đích: Accident_DW).
    • Môi trường tích hợp: Microsoft Visual Studio 2017 (Business Intelligence Projects).
  • Triển khai ETL với SSIS (SSIS_Accidents):
    • Làm sạch dữ liệu: Sử dụng Data Flow Task, kết nối nguồn dữ liệu Flat File Source (tệp Accidents0515), áp dụng công cụ Conditional Split kiểm tra giá trị null trên 13 trường dữ liệu (Accident_Index, Police_Force, Accident_Severity, Number_of_Vehicles, Number_of_Casualties, Date, Time, Road_Type, Speed_limit, Light_Conditions, Weather_Conditions, Road_Surface_Conditions, Urban_or_Rural_Area). Dữ liệu được tách thành hai nhánh: DataNull và DataNotNull. Nhánh dữ liệu sạch được nạp vào OLE DB Destination.
    • Tải các bảng chiều: Sử dụng Sequence Container chứa các Data Flow Task riêng biệt để trích xuất từ các file CSV/Excel nguồn (Flat File Source, Excel Source), chuẩn hóa qua tác vụ sắp xếp (Sort) và nạp vào từng bảng Dimension trong cơ sở dữ liệu Accident_DW.
    • Tải bảng Fact: Nạp dữ liệu sự kiện, đồng thời quản lý việc tạo và xóa các ràng buộc toàn vẹn khóa ngoại trên SQL Server trước và sau khi thực thi gói SSIS Package.
  • Xây dựng khối OLAP với SSAS:
    • Xây dựng Data Source View kết nối cơ sở dữ liệu Accident_DW.
    • Cấu hình các bảng chiều, thiết lập quan hệ thuộc tính (Attribute Relationships) và cấu trúc phân cấp thời gian/địa lý (Hierarchies).
    • Deploy Cube lên máy chủ SQL Server Analysis Services, thiết lập Measures, xóa bỏ các dòng dữ liệu không xác định (Unknown), định nghĩa các Named Sets để tối ưu hóa truy vấn MDX.
  • Khai phá dữ liệu (Data Mining):
    • Thiết lập cấu trúc Mining Structure trên Cube dữ liệu tai nạn.
    • Xây dựng và xử lý các mô hình khai phá với 3 thuật toán: Cây quyết định (Microsoft Decision Trees), Phân cụm (Microsoft Clustering) và Phân lớp Naive Bayes (Microsoft Naive Bayes).
    • Đánh giá độ chính xác phân loại bằng biểu đồ Mining Accuracy Chart.

Nội dung chính theo từng chương

Chương 1: Tổng quan về đề tài

Chương này giới thiệu bối cảnh thực tiễn, thông tin đơn vị cung cấp dữ liệu (Bộ Giao thông Vận tải Anh), đường dẫn nguồn dữ liệu và ý nghĩa xã hội của việc nghiên cứu an toàn giao thông. Tác giả phân tích chi tiết cấu trúc 32 thuộc tính của tập dữ liệu gốc Accidents0515, xác lập thiết kế sơ đồ hình sao (gồm bảng Fact và 9 bảng Dim) và đề xuất 15 câu hỏi truy vấn phục vụ phân tích nghiệp vụ:

  1. Thống kê số vụ tai nạn giao thông ở nông thôn, thành thị, cả nước.
  2. Xác định số lượng xe thiệt hại lớn nhất và nhỏ nhất do điều kiện bề mặt đường trong năm 2015.
  3. Sắp xếp số người thương vong theo chiều tăng dần qua các năm.
  4. Xác định top 3 khung giờ xảy ra nhiều vụ tai nạn nhất.
  5. Xác định top 3 khung giờ xảy ra ít vụ tai nạn nhất.
  6. Thống kê tổng số người thương vong xảy ra từ năm 2008 đến 2015 tại mỗi thành phố theo điều kiện thời tiết và ánh sáng.
  7. Thống kê số lượng xe thiệt hại lớn nhất và nhỏ nhất do điều kiện bề mặt đường (loại trừ mặt đường khô ráo - Dry), sắp xếp giảm dần theo số lượng xe lớn nhất trong năm 2013.
  8. Liệt kê 10 đồn cảnh sát ghi nhận số xe thiệt hại nhiều nhất có số thương vong trên 10.000 người trong giai đoạn 2012 - 2015.
  9. Thống kê số thương vong chi tiết theo từng tháng của năm 2007.
  10. Sắp xếp các đồn cảnh sát có tên bắt đầu bằng chữ "S" theo chiều giảm dần số vụ tai nạn qua các tháng trong năm.
  11. Truy vấn 5 loại đường có tổng số xe tai nạn nhiều nhất (sắp xếp giảm dần, lấy từ vị trí thứ 2 trở đi) theo từng năm.
  12. Thống kê theo năm và vùng (nông thôn/thành thị) về 5 điều kiện thời tiết gây ra số lượng tai nạn cao nhất (loại trừ vùng Unallocated).
  13. Thống kê tại khu vực thành thị (Urban) về các loại đường, điều kiện ánh sáng, thời tiết có số vụ tai nạn sắp xếp giảm dần ứng với tốc độ giới hạn trên 30 km/h.
  14. Thống kê danh sách đồn cảnh sát ghi nhận tổng số người bị thương tối thiểu 5.000 người theo mức độ nghiêm trọng, sắp xếp tăng dần theo tốc độ lớn nhất.
  15. Thống kê theo năm và tháng về tổng số xe hư hại, số người bị thương, tổng số vụ tai nạn và tốc độ lớn nhất xảy ra trên các loại đường có tốc độ giới hạn 20-70 km/h, có từ 5 vụ tai nạn trở lên và mức độ nguy hiểm là tử vong (Fatal).

Chương 2: Quá trình SSIS

Chương 2 trình bày chi tiết các bước kỹ thuật xây dựng gói ETL trong Visual Studio 2017 với dự án SSIS_Accidents:

  • Tạo cơ sở dữ liệu Accident_DW trên SQL Server 2014 Management Studio.
  • Cấu hình OLE DB Connection Manager kết nối đến cơ sở dữ liệu.
  • Thiết kế Data Flow Task làm sạch dữ liệu: nạp file Accidents0515, dùng Conditional Split với biểu thức kiểm tra ISNULL trên 13 trường để tách luồng DataNull và DataNotNull.
  • Tạo Sequence Container "Tạo các bảng Dim", lần lượt cấu hình nguồn dữ liệu, tác vụ Sort và đích OLE DB Destination cho từng bảng: Dim_Urban_or_Rural_Area, Dim_Accident_Severity, Dim_Police_Force, Dim_Road_Surface_Conditions, Dim_Weather_Conditions, Dim_Light_Conditions, Dim_Road_Type, Dim_Date, Dim_Time.
  • Nạp dữ liệu vào bảng Fact, thiết lập và hủy các ràng buộc toàn vẹn khóa ngoại trước/sau khi chạy Package và thực thi toàn bộ luồng ETL.

Chương 3: Quá trình SSAS

Nội dung chương 3 tập trung vào việc hiện thực hóa khối phân tích đa chiều OLAP:

  • Khởi tạo dự án Analysis Services, tạo Data Source kết nối cơ sở dữ liệu Accident_DW và xây dựng Data Source View.
  • Cấu hình các bảng chiều, thiết lập phân cấp thuộc tính (Hierarchies) và định nghĩa mối quan hệ giữa các thuộc tính (Attribute Relationship).
  • Deploy khối Cube lên máy chủ SSAS.
  • Tạo mới các đại lượng đo lường (Measures), cấu hình loại bỏ/xử lý các bản ghi chứa giá trị Unknown, định nghĩa các Named Sets phục vụ lọc dữ liệu nâng cao.
  • Kiểm thử và thực thi các câu truy vấn phân tích bằng ngôn ngữ MDX, kết nối Cube với Power BI và Microsoft Excel Pivot Table để khai thác 15 câu hỏi nghiệp vụ.

Chương 4: Quá trình SSRS

Chương này mô tả việc thiết kế hệ thống báo cáo tĩnh và động bằng SQL Server Reporting Services kết hợp với Microsoft Power BI:

  • Cấu hình Report Services Project, thiết lập Shared Data Source và tạo các Dataset tương ứng từ khối Cube.
  • Thiết kế các báo cáo SSRS chuyên biệt:
    • Báo cáo thống kê số vụ tai nạn giao thông phân bổ theo khu vực nông thôn, thành thị và trên phạm vi cả nước.
    • Báo cáo thống kê tổng hợp số phương tiện thiệt hại, số người bị thương và tổng số vụ tai nạn theo từng điều kiện thời tiết trong giai đoạn 2005 - 2015 (ứng dụng kỹ thuật Table, Grouping và Total).
    • Báo cáo thống kê theo tháng và năm về thiệt hại phương tiện, người bị thương, số vụ tai nạn trên các tuyến đường tốc độ 20-70 km/h đối với các vụ tai nạn có mức độ nghiêm trọng tử vong (Fatal) và số lượng $\ge 5$ vụ.
  • Xây dựng 3 báo cáo tương tác trực quan trên nền tảng Power BI:
    • Report 1: Thống kê phân bố số vụ tai nạn giao thông qua các khu vực địa lý.
    • Report 2: Thống kê tổng số thương vong theo từng điều kiện thời tiết qua các năm từ 2005 đến 2015.
    • Report 3: Thống kê tổng số xe thiệt hại, tổng số thương vong và tổng số vụ tai nạn xảy ra tại mỗi đồn cảnh sát giai đoạn 2005 - 2015.

Chương 5: Data Mining

Chương 5 triển khai kỹ thuật khai phá tri thức từ kho dữ liệu tai nạn giao thông:

  • Xây dựng cấu trúc khai phá dữ liệu (Mining Structure) và thiết lập các biến đầu vào/biến dự báo từ các thuộc tính tai nạn.
  • Cấu hình và huấn luyện 3 mô hình thuật toán:
    • Thuật toán Cây quyết định (Microsoft Decision Trees) để xác định các quy tắc phân nhánh dẫn đến mức độ nghiêm trọng của tai nạn.
    • Thuật toán Phân cụm (Microsoft Clustering) để nhóm các vụ tai nạn có đặc điểm tương đồng về thời tiết, ánh sáng và mặt đường.
    • Thuật toán Phân lớp Naive Bayes (Microsoft Naive Bayes) để tính toán xác suất xảy ra tai nạn dựa trên các điều kiện độc lập.
  • Sử dụng công cụ Mining Accuracy Chart (biểu đồ Lift Chart / ROC Chart) để so sánh và đánh giá độ chính xác dự báo giữa các mô hình thuật toán.

Chương 6: Tài liệu tham khảo

Liệt kê danh mục các tài liệu học thuật, giáo trình môn học Kho dữ liệu và OLAP, tài liệu hướng dẫn kỹ thuật của Microsoft và các nguồn dữ liệu trực tuyến phục vụ quá trình thực hiện đồ án.

Kết quả và đóng góp

  • Kết quả đạt được:
    • Xây dựng hoàn chỉnh kho dữ liệu Accident_DW theo mô hình sơ đồ hình sao với 1 bảng Fact trung tâm và 9 bảng Dimension chuẩn hóa.
    • Xây dựng thành công gói SSIS Package tự động hóa quy trình ETL, xử lý và làm sạch dữ liệu từ các tệp nguồn CSV/Excel, loại bỏ dữ liệu thiếu trên 13 trường thuộc tính quan trọng.
    • Triển khai và cấu hình hoàn chỉnh khối Cube trên SSAS với các cấu trúc Hierarchies, Attribute Relationships, Measures và Named Sets.
    • Giải quyết đầy đủ 15 câu hỏi truy vấn nghiệp vụ phức tạp thông qua các câu lệnh MDX, Pivot Table Excel, báo cáo phân cấp SSRS và báo cáo trực quan tương tác trên Power BI.
    • Xây dựng và đánh giá thành công 3 mô hình khai phá dữ liệu (Decision Trees, Clustering, Naive Bayes) phục vụ việc tìm kiếm các mẫu tri thức ẩn trong dữ liệu tai nạn.
  • Đóng góp của đề tài:
    • Đóng góp một giải pháp hoàn chỉnh từ khâu thiết kế dữ liệu, tích hợp dữ liệu đến phân tích và khai phá dữ liệu trong lĩnh vực an toàn giao thông đường bộ.
    • Cung cấp các mẫu báo cáo đa chiều giúp cơ quan quản lý dễ dàng nhận diện các yếu tố có nguy cơ cao dẫn đến tai nạn (như điều kiện thời tiết xấu, điều kiện chiếu sáng, loại đường, giới hạn tốc độ và khu vực địa lý).

Hạn chế và hướng nghiên cứu tiếp

  • Hạn chế:
    • Nghiên cứu giới hạn trên tập dữ liệu tai nạn giao thông của Vương quốc Anh trong mốc thời gian 2005 - 2015, chưa cập nhật các dữ liệu mới hơn.
    • Quá trình làm sạch dữ liệu bằng Conditional Split chủ yếu áp dụng phương thức lọc bỏ các bản ghi chứa giá trị null ở các trường bắt buộc, chưa áp dụng các kỹ thuật điền khuyết dữ liệu nâng cao (imputation).
  • Hướng nghiên cứu tiếp:
    • Mở rộng tích hợp các tập dữ liệu tai nạn giao thông tại các quốc gia khác hoặc dữ liệu giao thông thực tế tại Việt Nam.
    • Nghiên cứu áp dụng thêm các thuật toán học máy nâng cao và các giải pháp phân tích dữ liệu lớn (Big Data) để xử lý dữ liệu giao thông theo thời gian thực (real-time stream processing).

Giá trị tham khảo

Đồ án là tài liệu tham khảo cho sinh viên các ngành Công nghệ Thông tin, Hệ thống Thông tin và Khoa học Dữ liệu khi thực hiện các đồ án môn học hoặc khóa luận tốt nghiệp liên quan đến:

  • Quy trình thiết kế kho dữ liệu và mô hình hóa đa chiều (Star Schema).
  • Kỹ thuật xây dựng gói ETL nâng cao trên SQL Server Integration Services (SSIS).
  • Kỹ thuật xây dựng khối OLAP Cube, thiết lập phân cấp thuộc tính và viết truy vấn MDX trên SQL Server Analysis Services (SSAS).
  • Kỹ năng thiết kế báo cáo quản trị bằng SSRS và xây dựng Dashboard phân tích trực quan trên Microsoft Power BI.
  • Phương pháp ứng dụng các thuật toán Microsoft Data Mining trong việc phân loại và phân cụm dữ liệu thực tế.

Câu hỏi thường gặp

1. Bộ dữ liệu sử dụng trong đồ án có nguồn gốc từ đâu và quy mô như thế nào?
Bộ dữ liệu do Bộ Giao thông Vận tải Vương quốc Anh (Department for Transport) thu thập và công bố công khai cho giai đoạn 2005 - 2015. Tập dữ liệu gốc Accidents0515 chứa 1.653 dòng dữ liệu với 32 thuộc tính mô tả chi tiết về vị trí, thời gian, điều kiện thời tiết, ánh sáng, mặt đường, phương tiện và thương vong.

2. Sơ đồ hình sao trong kho dữ liệu được thiết kế gồm những bảng nào?
Mô hình gồm 1 bảng Fact (Fact) và 9 bảng Dimension: Dim_Urban_or_Rural_Area (vùng thành thị/nông thôn), Dim_Accident_Severity (mức độ nghiêm trọng), Dim_Police_Force (đồn cảnh sát), Dim_Road_Surface_Conditions (điều kiện mặt đường), Dim_Weather_Conditions (điều kiện thời tiết), Dim_Light_Conditions (điều kiện ánh sáng), Dim_Road_Type (loại đường), Dim_Date (thời gian theo ngày, tháng, năm) và Dim_Time (thời gian theo giờ, phút).

3. Quy trình làm sạch dữ liệu trong SSIS được thực hiện theo nguyên tắc nào?
Hệ thống sử dụng tác vụ Data Flow Task kết hợp công cụ Conditional Split. Luồng dữ liệu được kiểm tra bằng biểu thức điều kiện ISNULL trên 13 trường thuộc tính then chốt (Accident_Index, Police_Force, Accident_Severity, Number_of_Vehicles, Number_of_Casualties, Date, Time, Road_Type, Speed_limit, Light_Conditions, Weather_Conditions, Road_Surface_Conditions, Urban_or_Rural_Area). Dữ liệu thỏa mãn điều kiện không chứa giá trị null (DataNotNull) được đưa vào nhánh làm sạch để nạp vào kho dữ liệu.

4. Những công cụ và thuật toán nào được triển khai trong phân hệ khai phá dữ liệu (Data Mining)?
Phân hệ Data Mining sử dụng bộ công cụ khai phá dữ liệu tích hợp của Microsoft trên nền tảng SSAS với 3 thuật toán chính: Cây quyết định (Microsoft Decision Trees), Phân cụm (Microsoft Clustering) và Microsoft Naive Bayes. Kết quả phân loại và hiệu năng của các mô hình được so sánh và kiểm chứng bằng biểu đồ độ chính xác Mining Accuracy Chart.

5. Đề tài hỗ trợ những hình thức báo cáo và trực quan hóa dữ liệu nào?
Đề tài xây dựng các báo cáo phân cấp trên SQL Server Reporting Services (SSRS) tập trung vào thống kê theo khu vực địa lý, theo điều kiện thời tiết và theo các vụ tai nạn tử vong có tốc độ giới hạn 20-70 km/h. Đồng thời, hệ thống triển khai 3 Dashboard tương tác trên Microsoft Power BI và hỗ trợ phân tích động qua Pivot Table trên Microsoft Excel.

Kết luận

Báo cáo đồ án môn học "Xây dựng kho dữ liệu và OLAP trên dữ liệu các vụ tai nạn giao thông tại Anh 2005 - 2015" tại Trường Đại học Công nghệ Thông tin - ĐHQG TP.HCM đã triển khai toàn diện giải pháp Kho dữ liệu và Kinh doanh thông minh (Business Intelligence). Nghiên cứu đã thực hiện thành công chuỗi quy trình từ thu thập, làm sạch, trích xuất dữ liệu bằng SSIS, mô hình hóa kho dữ liệu dạng sơ đồ hình sao, triển khai khối OLAP đa chiều trên SSAS đến trực quan hóa báo cáo qua SSRS, Power BI và khai phá tri thức với các thuật toán Data Mining. Hệ thống đáp ứng đầy đủ việc giải quyết 15 câu hỏi nghiệp vụ phân tích tai nạn giao thông, đóng vai trò là tài liệu thực hành có giá trị ứng dụng cao trong lĩnh vực kỹ thuật dữ liệu và phân tích nghiệp vụ.