MỞ ĐẦU Thế kỷ 21 là thời đại của nền kinh tế trí thức. Mọi hoạt động của chúng ta muốn đạt hiệu quả cao, giành đƣợc thắng lợi trong thế cạnh tranh gay gắt thì nhất thiết phải có những phƣơng pháp để có đƣợc những thông tin, tri thức cần thiết một cách nhanh và chính xác. Việc áp dụng công nghệ thông tin vào thực tiễn sản xuất nghiệp vụ đã mang lại những hiệu quả và lợi ích to lớn. Công nghệ ngày càng đƣợc phát triển, hoàn thiện hơn để đáp ứng những yêu cầu ngày càng cao của thực tế nghiên cứu, quản lý sản xuất và nghiệp vụ.
Sự mở rộng qui mô áp dụng từ những ứng dụng đơn lẻ đến các hệ thống thông tin cỡ lớn đã dẫn đến những thành công vƣợt bậc trong nghiệp vụ. Các hệ thống thông tin từ chỗ chỉ giải quyết những xử lý công việc hàng ngày nay đã tiến tới đáp ứng đƣợc những yêu cầu ở mức độ cao hơn. Các nhà quản lý điều hành không những biết đƣợc công việc đang diễn ra nhƣ thế nào mà còn biết cái gì sẽ xảy ra sau đó, có nghĩa là thông tin mang tính phân tích và hệ thống thông tin có khả năng hỗ trợ quyết định. Hiện nay, phƣơng pháp xây dựng kho dữ liệu đã phát triển cả về lý thuyết cũng nhƣ thực tế.
Lý thuyết xây dựng kho dữ liệu đã đƣợc hình thành rõ nét, bên cạnh đó các nhà cung cấp phần mềm cũng đã đƣa ra các công cụ để xây dựng, lƣu trữ, duy trì và phát triển kho dữ liệu. Một kho dữ liệu có thể giúp đỡ các nhà quản lý, các doanh nghiệp … có khả năng quản lý dữ liệu, khai thác thông tin để đƣa ra những quyết định nhanh chóng và phù hợp Quá trình tìm hiểu thực tế việc tin học hóa quán lý hành chính nhà nƣớc cho thấy việc tổng hợp và quản lý các thông tin về kinh tế - xã hội hàng ngày, để cung cấp thông tin cho “quá trình phân tích, hoạch định chiến lƣợc và hỗ trợ ra quyết định” là một nhu cầu bức thiết của những ngƣời quản lý, là thách thức, bài toán thực tế đang đƣợc tìm hƣớng giải quyết. Đề tài này dựa trên những lý thuyết, phƣơng pháp luận, công cụ xây dựng kho dữ liệu, từ đó triển khai xây dựng một kho dữ liệu thực tế, nhằm hƣớng tới giải quyết yêu cầu của bài toán nói trên. Luận văn gồm 3 chƣơng: Chƣơng 1: Lý thuyết xây dựng kho dữ liệu.
Chƣơng này trình bày những khái niệm cô đọng nhất về Data warehouse và các bƣớc thiết kế kho dữ liệu cho Hệ thống Chƣơng 2. Mô tả, đánh giá, phân tích quy trình nghiệp vụ của Hệ thống Tổng hợp thông tin kinh tế - xã hội phục vụ điều hành cho Bộ Xây Dựng Chƣơng 3. Xây dựng kho dữ liệu thử nghiệm. Chƣơng này trình bày việc xây dựng kho dữ liệu thử nghiệm dựa trên SQL Server 2005 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 10 Giới thiệu bài toán Xây dựng kho dữ liệu cho Hệ thống tổng hợp thông tin kinh tế - xã hội Tổng hợp Kinh tế - Xã hội (KTXH) là một hệ thống thông tin đƣợc xây dựng nhằm góp phần tin học hóa quản lý hành chính nhà nƣớc.
“Thông tin tổng hợp KTXH” đƣợc hiểu là thông tin phản ánh các diễn biến về KTXH đã đƣợc tổng hợp từ các hiện tƣợng KTXH phát sinh ở các đơn vị kinh tế cơ sở để phục vụ công tác chỉ đạo điều hành trong hệ thống các cơ quan hành chính nhà nƣớc. Đơn vị kinh tế cơ sở gồm: Cơ quan nhà nƣớc, đơn vị sự nghiệp, đơn vị thuộc lực lƣợng vũ trang nhân dân, tổ chức chính trị, tổ chức chính trị - xã hội, tổ chức chính trị xã hội - nghề nghiệp, tổ chức xã hội, tổ chức xã hội - nghề nghiệp, doanh nghiệp và các đơn vị trực thuộc doanh nghiệp thuộc mọi thành phần kinh tế, hợp tác xã, tổ hợp tác, hộ kinh doanh cá thể, hộ gia đình, cá nhân, các tổ chức khác của Việt Nam ở trong nƣớc, ở nƣớc ngoài và tổ chức, cá nhân nƣớc ngoài hoạt động trên lãnh thổ Việt Nam. Quá trình tìm hiểu thực tế cho thấy mỗi Ủy ban nhân dân tỉnh hoặc các bộ, ngành đều có nhu cầu nắm bắt, tổng hợp và quản lý các thông tin về kinh tế - xã hội hàng ngày, để cung cấp thông tin cho “quá trình phân tích, hoạch định chiến lƣợc và hỗ trợ ra quyết định”. Hệ thống Tổng hợp thông tin kinh tế xã hội đã đƣợc tìm hiểu, khảo sát và triển khải thử tại nhiều địa phƣơng nhƣ Thanh Hóa, Hà Nam, Lạng Sơn … các bộ ngành nhƣ bộ Xây dựng … Từ khảo sát thực tế đã chỉ ra những bất cấp trong việc thu thập và lƣu trữ thông tin kinh tế - xã hội hàng ngày của các UBND, các bộ các ngành.
Việc thu thập thông tin thủ công, thông tin đƣợc lƣu trong các file tài liệu rời rạc hoặc những CSDL riêng biệt, gây khó khăn cho việc tổng hợp số liệu, thống kê số liệu, dẫn đến việc phân tích thông tin, hỗ trợ các quyết định chiến lƣợc của các cấp lãnh đạo chƣa thực sự nhanh chóng và hiệu quả. Để giải quyết những bất cập và đáp ứng nhu cầu thực tế, đã có nhiều đề án cụ thể đƣợc đƣa ra xem xét, một trong số các đề án giải quyết những hạn chế nêu trên là xây dựng kho dữ liệu. Khối lƣợng công việc rất lớn, có phạm vi rộng và thời gian thực hiện khéo dài. Do vậy, bài toán trong luận án này sẽ tìm hiểu, đi sâu và xây dựng kho dữ liệu cho HTTT tổng hợp KTXH phục vụ điều hành của Bộ Xây Dựng.
HTTT tổng hợp KTXH phục vụ điều hành quản lý tại Bộ XD có nhiệm vụ xác định, tạo lập, lƣu trữ, xử lý và quản lý các thông tin tổng hợp liên quan đến tất cả các lĩnh vực hoạt động KTXH nhƣ kinh tế tổng hợp, kinh tế ngành, tổ chức cán bộ,. của Bộ XD, từ đó hình thành các kho dữ liệu về các số liệu chỉ tiêu tổng hợp KTXH và các thông tin báo cáo, nhằm: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 11 Cung cấp thông tin tổng hợp phục vụ chỉ đạo điều hành của lãnh đạo, các hoạt động chuyên môn, nghiệp vụ của các bộ phận và các chuyên viên tại văn phòng Bộ XD, tại các cục, vụ, viện, và các đơn vị trực thuộc Bộ XD (kể cả các sở XD thuộc các tỉnh/ thành phố trong cả nƣớc). Phục vụ việc thực hiện chế độ thông tin báo cáo từ các đơn vị lên văn phòng Bộ XD và từ Bộ lên Chính phủ. Mục tiêu Việc xây dựng kho dữ liệu cho HTTT tổng hợp KTXH phải đảm bảo đƣợc các yêu cầu cơ bản: Xác định đầy đủ nội dung thông tin tổng hợp KTXH Chuẩn hoá hệ thống chỉ tiêu, hệ thống mẫu biểu số liệu (BMSL), thống nhất các loại số liệu, các thông tin danh mục dùng chung; Có khả năng trích lọc, chuyển đổi, kết xuất, tích hợp dữ liệu từ các CSDL chuyên ngành của các đơn vị (nếu có) vào Kho dữ liệu thông tin tổng hợp KTXH.
Lƣu trữ, quản lý toàn bộ các số liệu chỉ tiêu, dữ liệu báo cáo của các đơn vị cấp cục, vụ, viện và của Bộ, hình thành các kho dữ liệu về số liệu chỉ tiêu, về các thông tin báo cáo, đƣợc phân loại một cách có hệ thống và thống nhất. Các kho dữ liệu sẽ đƣợc tổ chức theo mô hình thống nhất để có thể tích hợp chúng với nhau một cách thuận tiện và dễ dàng. Trên cơ sở các kho dữ liệu về thông tin tổng hợp KTXH, tổ chức các hình thức khai thác thông tin dƣới dạng thông tin kết xuất theo khuôn dạng định sẵn và các dạng thông tin kết xuất động theo yêu cầu, cung cấp các công cụ thống kê, phân tích, dự báo liên quan đến các lĩnh vực KTXH để hỗ trợ ra quyết định, xuất bản thông tin lên Phạm vi thực hiện Bài toàn xây dựng kho dữ liệu cho hệ thống thông tin tổng hợp kinh tế - xã hội sẽ đƣợc cụ thể hóa bằng việc xây dựng kho dữ liệu thử nghiệm cho hệ thống thông tin tổng hợp KT – XH phục vụ điều hành của Bộ Xây dựng. Bài toán sẽ đi tìm hiểu và phân tích các quy trình xác định, tạo lập, lƣu trữ và khai thác thông tin trong hệ thống tổng hợp KTXH, tìm hiểu các loại, kiểu dữ liệu đƣợc lƣu trữ để từ đó xây dựng cơ sở dữ liệu cho kho dữ liệu Công cụ sử dụng trong việc xây dựng kho dữ liệu đƣợc sử dụng trong bài toán là hệ quản trị cơ sở dữ liệu Microsoft SQL Server 2005 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 12 CHƢƠNG 1 – LÝ THUYẾT XÂY DỰNG KHO DỮ LIỆU 1.1 Các khái niệm cơ bản về kho dữ liệu 1.1 Kho dữ liệu – data warehouse 1.1 Định nghĩa kho dữ liệu – data warehouse Kho dữ liệu (Data Warehouse - DW) là tuyển tập các cơ sở dữ liệu tích hợp, hƣớng chủ đề, đƣợc thiết kế để hỗ trợ cho chức năng trợ giúp quyết định, mà mỗi đơn vị dữ liệu đều liên quan tới một khoảng thời gian cụ thể.
Công nghệ “Kho dữ liệu” (Data Warehouse Technology) là tập các phƣơng pháp, kỹ thuật và các công cụ có thể kết hợp, hỗ trợ nhau để cung cấp thông tin cho ngƣời sử dụng trên cơ sở tích hợp từ nhiều nguồn dữ liệu, nhiều môi trƣờng khác nhau (Theo John Ladley) Công nghệ DW ra đời nhằm đáp ứng mọi yêu cầu về thông tin của ngƣời sử dụng, hỗ trợ để các nhân viên của "tổ chức" thực hiện tốt, hiệu quả công việc của minh, nhƣ có những quyết định hợp lý, nhanh và bán đƣợc nhiều hàng hơn, năng sản cao hơn, thu đƣợc lợi nhuận cao hơn, v. Giúp cho tổ chức, xác định, quản lý và điều hành các dự án, các nghiệp vụ một cách hiệu quả và chính xác, ngoài ra DW tích hợp dữ liệu và các siêu dữ liệu từ nhiều nguồn khác nhau Kho dữ liệu thƣờng rất lớn tới hàng trăm GB hay thậm chí hàng Terabyte. Kho dữ liệu đƣợc xây dựng để tiện lợi cho việc truy cập theo nhiều nguồn, nhiều kiểu dữ liệu khác nhau sao cho có thể kết hợp đƣợc cả những ứng dụng của các công nghệ hiện đại và kế thừa đƣợc từ những hệ thống đã có sẵn từ trƣớc.