Hệ Thống Xử Lý Dữ Liệu Đa Chiều Tại Đại Học Giao Thông Vận Tải Hà Nội

Kho dữ liệu (Data warehouse - DW) là một tập hợp các cơ sở dữ liệu tích hợp, hướng chuyên đề, được thiết kế cho việc truy vấn và phân tích hơn là xử lý giao dịch để hỗ trợ cho chức năng trợ giúp quyết định, mà mỗi đơn vị dữ liệu đều liên quan tới một khoảng thời gian cụ thể. Kích thước của kho dữ liệu thường rất lớn, được tổ chức, lưu trữ và phân tích phục vụ cho việc cung cấp các thông tin liên quan đến nghiệp vụ của tổ chức. Kho dữ liệu phục vụ cho việc phân tích với kết quả mang tính thông tin cao. Các hệ thống thông tin thu thập, xử lý dữ liệu loại này còn gọi là hệ xử lý phân tích trực tuyến - OLAP.

Dữ liệu hướng chuyên đề: Kho dữ liệu được thiết kế để giúp cho việc phân tích dữ liệu. Ví dụ để biết nhiều hơn về dữ liệu bán hàng của tổ chức, doanh nghiệp có thể xây dựng một kho dữ liệu tập trung vào chuyên đề bán hàng. Sử dụng kho dữ liệu này có thể trả lời được các câu hỏi có liên quan đến bán hàng như: “Khu vực nào tiêu thụ sản phẩm là Video nhiều nhất trong quí I năm 2003”. Đây là khả năng cho phép định nghĩa kho dữ liệu theo các chuyên đề, tạo ra kho dữ liệu hướng chuyên đề.

Chính từ những đặc điểm này, nếu chúng ta sử dụng CSDL xử lý giao dịch trực tuyến cho phân tích trực tuyến thì thường gặp những khó khăn sau: Các yêu cầu phân tích, tổng kết những khối lượng lớn dữ liệu, ảnh hưởng tới khả năng của hệ thống. Sự thực hiện của hệ thống khi đáp ứng những yêu cầu phân tích phức tạp có thể chậm hoặc không ổn định, cung cấp sự hỗ trợ không đầy đủ cho những người sử dụng trong phân tích trực tuyến. Sự thay đổi dữ liệu thường xuyên gây trở ngại cho tính tin cậy của thông tin phân tích.

Kho dữ liệu và hệ OLTP xây dựng phục vụ cho nhu cầu khác nhau. Sự khác nhau cơ bản giữa hai hệ thống này là dạng chuẩn của dữ liệu, kho dữ liệu thường không sử dụng dạng chuẩn 3NF, còn trong các hệ thống OLTP thường sử dụng chuẩn 3NF. Sau đây là sự khác nhau tiêu biểu giữa kho dữ liệu và các hệ thống OLTP.

Kiến trúc đơn giản nhất của một kho dữ liệu là người sử dụng cuối truy nhập trực tiếp dữ liệu được dẫn xuất từ nhiều hệ thống nguồn thông qua kho dữ liệu. Mô hình của kiến trúc này như sau: Các nguồn dữ liệu, Các người sử dụng, Kho dữ liệu, Hệ thống tác nghiệp, Phân tích, Siêu dữ liệu, Hệ thống tác nghiệp, Kho dữ liệu, Dữ liệu, Tạo báo cáo, Dữ liệu thô tổng hợp, Các file phẳng, Khai phá, Siêu dữ liệu.

Cần phải làm sạch và xử lý dữ liệu tác nghiệp trước khi đưa chúng vào trong kho. Công việc này có thể được thực hiện một cách tự động, hầu hết các kho dữ liệu dùng một vùng tạm thay thế. Một vùng tạm sẽ làm đơn giản hóa việc xây dựng tổng hợp và quản lý kho dữ liệu. Mô hình của kiến trúc này như sau: Các nguồn dữ liệu, Các người, Vùng tạm, Kho dữ liệu, Dữ liệu sử dụng, Hệ thống tác nghiệp, Phân tích, Siêu dữ liệu, Hệ thống tác nghiệp, Dữ liệu, Dữ liệu thô, Tạo báo cáo tổng hợp, Các file phẳng, Khai phá, Siêu dữ liệu.

Các LS được phát triển xung quanh các vùng nghiệp vụ phục vụ cho dự án. Các ứng dụng được phát triển cùng với dữ liệu mà các dữ liệu này lại đáp ứng nhiều nhu cầu khác nhau. Cùng là một dữ liệu nhưng lại có tên khác nhau, hoặc thuộc các hệ thống đo lường khác nhau. Kết quả cuối cùng là các nguồn dữ liệu cần được đánh giá và các định nghĩa cần được đưa vào siêu dữ liệu để nhắm tới các vấn đề sau: Xác định các nguồn khác nhau, cấu trúc file khác nhau, các nền khác nhau.

Một phần quan trọng trong cài đặt là sử dụng những dữ liệu đã được tinh chế từ những hệ thống tác nghiệp và đưa chúng vào một khuôn dạng thích hợp cho các ứng dụng thông tin. Những công cụ này thực hiện tất cả các công việc chuyển đổi, tóm tắt, những thay đổi quan trọng, những thay đổi về cấu trúc và những công đoạn cần thiết cho sự chuyển đổi dữ liệu riêng rẽ thành thông tin có thể được dùng trong những công cụ hỗ trợ quyết định.

Công nghệ OLAP giúp nhà quản lý thiết lập một mô hình OLAP cho ứng dụng cụ thể của mình trong việc tổ chức CSDL đa chiều, và giúp cho họ dễ dàng trong hoạt động phân tích, tìm kiếm thông tin theo những khía cạnh khác nhau của dữ liệu, nhằm thu thập được tối đa những gì họ cần hiểu rõ, để từ đó có thể ra được những quyết định tốt nhất một cách nhanh chóng.

Các mô hình ứng dụng OLAP rất đa dạng, từ phân tích bán hàng, phân tích thị trường, đến phân tích rủi ro tài chính. OLAP cho phép người dùng khám phá dữ liệu từ nhiều góc độ khác nhau, tìm ra các xu hướng và mối quan hệ ẩn sâu trong dữ liệu.

Luận văn sẽ tập trung vào các công việc chính là nghiên cứu vấn đề tổ chức, xây dựng kho dữ liệu, nhấn mạnh vào nghiên cứu mô hình CSDL đa chiều và phân tích dữ liệu trực tuyến để trợ giúp ra quyết định. Hệ trợ giúp quyết định theo tiếp cận này, có thể giúp cho nhà quản lý thiết lập một mô hình OLAP cho ứng dụng cụ thể của mình trong việc tổ chức CSDL đa chiều, và giúp cho họ dễ dàng trong hoạt động phân tích, tìm kiếm thông tin theo những khía cạnh khác nhau của dữ liệu, nhằm thu thập được tối đa những gì họ cần hiểu rõ, để từ đó có thể ra được những quyết định tốt nhất một cách nhanh chóng.

Hướng phát triển của công nghệ OLAP là tích hợp với các công nghệ khác như khai phá dữ liệu, học máy để tạo ra các hệ thống thông minh hơn, có khả năng tự động phân tích và đưa ra các gợi ý, dự báo chính xác hơn. Ứng dụng của OLAP sẽ ngày càng mở rộng trong nhiều lĩnh vực khác nhau, từ kinh doanh, tài chính, đến y tế, giáo dục.