Luận văn thạc sĩ về phát hiện luật kết hợp mờ từ cơ sở dữ liệu định lượng

Chuyên đề nghiên cứu Phát hiện luật kết hợp mờ từ dữ liệu định lượng, cập nhật xu hướng mới, giá trị tham khảo cao cho chuyên gia luật

• Tác giả: Nguyễn Thị Thanh Huyền
• Người hướng dẫn: Ts. Đỗ Văn Thành
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phát Hiện Luật Kết Hợp Mờ Từ Dữ Liệu Định Lượng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2006
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU NHIỀU CHIỀU
• 1.1. Tại sao phải xây dựng kho dữ liệu?
• 1.2. Khái niệm kho dữ liệu – Data Warehouse
• 1.3. Mục đích của kho dữ liệu
• 1.4. Đặc điểm của kho dữ liệu
• 1.5. Mô hình của Kho dữ liệu (DW)
• 1.6. Các khái niệm cơ bản
• 1.7. Mô hình dữ liệu nhiều chiều
• 1.8. Sơ đồ cơ sở dữ liệu nhiều chiều
• 1.9. Kho dữ liệu chủ đề
• 1.10. Phân bậc khái niệm
• 2. CHƯƠNG 2: PHÁT HIỆN LUẬT KẾT HỢP NHIỀU CHIỀU
• 2.1. Mô hình hình thức của phát hiện luật kết hợp
• 2.2. Phát hiện luật kết hợp nhiều chiều
• 2.3. Các khái niệm cơ bản
• 2.4. Biểu thức luật mẫu
• 2.5. Các thuật toán phát hiện luật kết hợp nhiều chiều
• 2.6. Chuyển đổi mẫu
• 2.7. Giai đoạn tìm tập các ứng cử viên
• 2.8. Giai đoạn tìm tập mục dữ liệu chuẩn phổ biến
• 3. CHƯƠNG 3: PHÁT HIỆN LUẬT KẾT NHIỀU CHIỀU MỜ
• 3.1. Phân loại CSDL nhiều chiều
• 3.2. Phát hiện luật kết hợp từ CSDL nhiều chiều loại 2
• 3.3. Các khái niệm cơ bản
• 3.4. Phát hiện luật kết hợp nhiều chiều mờ từ CSDL nhiều chiều mờ loại 2
• 3.5. Phát hiện luật kết hợp từ CSDL tác vụ nhiều chiều loại 3
• 3.6. Chuyển CSDL nhiều chiều loại 3 về CSDL nhiều chiều mới
• 3.7. Các khái niệm cơ bản
• 3.8. Phát hiện luật kết hợp nhiều chiều mờ từ CSDL nhiều chiều mờ loại 3
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phát hiện luật kết hợp mờ

Phát hiện luật kết hợp mờ từ dữ liệu định lượng là một lĩnh vực nghiên cứu quan trọng trong khai phá dữ liệu. Luật kết hợp mờ giúp xác định các mối quan hệ giữa các thuộc tính trong cơ sở dữ liệu, đặc biệt là trong các hệ thống dữ liệu nhiều chiều. Việc phát hiện này không chỉ đơn thuần là tìm kiếm các mẫu mà còn là khám phá các quy luật tiềm ẩn trong dữ liệu. Phát hiện dữ liệu từ các nguồn khác nhau, như dữ liệu định lượng, là một thách thức lớn. Các phương pháp hiện có thường gặp khó khăn trong việc xử lý dữ liệu không chính xác hoặc không đầy đủ. Do đó, việc phát triển các thuật toán mới để phát hiện luật kết hợp mờ từ dữ liệu lớn là cần thiết.

1.1. Khái niệm và tầm quan trọng

Khái niệm luật kết hợp mờ được định nghĩa là các quy luật mô tả mối quan hệ giữa các thuộc tính trong một tập dữ liệu. Tầm quan trọng của việc phát hiện luật này nằm ở khả năng cung cấp thông tin hữu ích cho các quyết định kinh doanh. Phân tích dữ liệu cho phép các tổ chức hiểu rõ hơn về hành vi của khách hàng và xu hướng thị trường. Việc áp dụng các kỹ thuật như học máy và mô hình hóa hóa giúp tối ưu hóa quy trình ra quyết định. Các ứng dụng thực tiễn của luật kết hợp mờ đã được chứng minh trong nhiều lĩnh vực như tài chính, y tế và thương mại điện tử.

II. Phương pháp phát hiện luật kết hợp mờ

Để phát hiện luật kết hợp mờ, cần áp dụng các phương pháp phân tích dữ liệu tiên tiến. Các thuật toán như Apriori và FP-Growth đã được điều chỉnh để phù hợp với dữ liệu mờ. Xử lý dữ liệu là bước đầu tiên trong quy trình này. Dữ liệu cần được chuẩn hóa và chuyển đổi thành dạng có thể phân tích được. Sau đó, các thuật toán sẽ tìm kiếm các mẫu trong dữ liệu. Việc sử dụng trí tuệ nhân tạo trong phát hiện luật kết hợp mờ giúp cải thiện độ chính xác và hiệu suất. Các nghiên cứu đã chỉ ra rằng việc áp dụng các phương pháp này có thể tăng cường khả năng phát hiện các mối quan hệ phức tạp trong dữ liệu.

2.1. Các thuật toán chính

Các thuật toán phát hiện luật kết hợp mờ bao gồm Apriori mờ và FP-Growth mờ. Thuật toán Apriori mờ sử dụng các quy tắc mờ để xác định các tập mục phổ biến. Trong khi đó, FP-Growth mờ cho phép phát hiện các mẫu mà không cần phải tạo ra các tập con. Cả hai thuật toán này đều có thể được áp dụng cho dữ liệu lớn và có khả năng xử lý các thuộc tính mờ. Việc cải tiến các thuật toán này giúp tăng cường khả năng phát hiện luật kết hợp trong các cơ sở dữ liệu phức tạp.

III. Ứng dụng thực tiễn của luật kết hợp mờ

Luật kết hợp mờ có nhiều ứng dụng trong thực tiễn, từ phân tích hành vi khách hàng đến tối ưu hóa quy trình sản xuất. Các tổ chức có thể sử dụng luật kết hợp mờ để phát hiện các xu hướng và mẫu trong dữ liệu. Ví dụ, trong lĩnh vực thương mại điện tử, việc phân tích dữ liệu mua sắm giúp các nhà quản lý hiểu rõ hơn về nhu cầu của khách hàng. Phân tích dữ liệu cũng có thể hỗ trợ trong việc phát hiện gian lận trong tài chính. Các ứng dụng này không chỉ giúp cải thiện hiệu suất mà còn tạo ra giá trị gia tăng cho tổ chức.

3.1. Các lĩnh vực ứng dụng

Luật kết hợp mờ đã được áp dụng trong nhiều lĩnh vực khác nhau. Trong y tế, việc phân tích dữ liệu bệnh nhân giúp phát hiện các mối liên hệ giữa các triệu chứng và bệnh lý. Trong tài chính, các tổ chức sử dụng luật kết hợp để phát hiện gian lận và tối ưu hóa quy trình cho vay. Trong thương mại, việc phân tích hành vi mua sắm giúp các nhà bán lẻ tối ưu hóa chiến lược tiếp thị. Những ứng dụng này cho thấy giá trị thực tiễn của việc phát hiện luật kết hợp mờ từ dữ liệu định lượng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của kinh tế tri thức, việc khai thác và phân tích dữ liệu đóng vai trò then chốt trong việc hỗ trợ ra quyết định quản lý và kinh doanh. Theo ước tính, các kho dữ liệu (Data Warehouse - DW) hiện nay có thể lưu trữ hàng trăm Gigabyte đến Terabyte dữ liệu, phản ánh lịch sử hoạt động của tổ chức trong nhiều năm. Tuy nhiên, việc phát hiện các luật kết hợp từ cơ sở dữ liệu nhiều chiều định lượng vẫn còn nhiều thách thức do tính phức tạp và đa dạng của dữ liệu.

Luận văn tập trung nghiên cứu phát hiện luật kết hợp nhiều chiều mờ từ cơ sở dữ liệu nhiều chiều định lượng, nhằm khắc phục hạn chế của các phương pháp truyền thống như chia khoảng giá trị thuộc tính định lượng thành nhị phân, vốn gây ra sự thiếu tự nhiên và cồng kềnh trong xử lý. Mục tiêu cụ thể là xây dựng kỹ thuật phát hiện luật kết hợp nhiều chiều mờ, áp dụng lý thuyết tập mờ để mờ hóa chiều dữ liệu, từ đó phát hiện các luật kết hợp có ý nghĩa trong dữ liệu định lượng nhiều chiều.

Phạm vi nghiên cứu tập trung vào các cơ sở dữ liệu nhiều chiều định lượng, với các ví dụ thực tế từ dữ liệu bán hàng của Công ty Điện tử tại các chi nhánh Hà Nội, Đà Nẵng, Hồ Chí Minh, trong khoảng thời gian theo quý. Ý nghĩa nghiên cứu thể hiện qua việc nâng cao hiệu quả khai phá tri thức từ dữ liệu lớn, hỗ trợ các nhà quản lý đưa ra quyết định chính xác và kịp thời, đồng thời góp phần phát triển các thuật toán khai phá dữ liệu tiên tiến trong lĩnh vực công nghệ thông tin.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính:

1. Mô hình kho dữ liệu nhiều chiều (Data Warehouse - DW):

   • Khối dữ liệu (Data Cube) biểu diễn dữ liệu theo nhiều chiều như thời gian, mặt hàng, vị trí.
   • Các sơ đồ cơ sở dữ liệu nhiều chiều phổ biến gồm sơ đồ hình sao, hình bông tuyết và chòm sao sự kiện, giúp tổ chức dữ liệu theo chủ đề và chiều một cách hiệu quả.
   • Phân bậc khái niệm trong các chiều dữ liệu cho phép quản lý dữ liệu ở nhiều mức trừu tượng khác nhau, hỗ trợ phân tích đa cấp.

2. Phát hiện luật kết hợp nhiều chiều mờ:

   • Luật kết hợp truyền thống được mở rộng sang luật kết hợp nhiều chiều, trong đó các tập mục dữ liệu mở rộng chuẩn được xác định trong không gian đa chiều.
   • Áp dụng lý thuyết tập mờ để xử lý dữ liệu định lượng, cho phép phát hiện các luật kết hợp mờ, khắc phục nhược điểm của phương pháp chia khoảng giá trị.
   • Sử dụng các biểu thức luật mẫu và ràng buộc ngữ cảnh để giới hạn không gian tìm kiếm, tăng hiệu quả phát hiện luật.

Các khái niệm chính bao gồm: tập mục dữ liệu mở rộng chuẩn, tác vụ mở rộng, điểm tham chiếu lớn nhất, độ hỗ trợ và độ tin cậy mở rộng cho cơ sở dữ liệu nhiều chiều, các toán tử định hướng ngữ cảnh và ràng buộc logic trên ngữ cảnh dữ liệu.

Phương pháp nghiên cứu

• Nguồn dữ liệu:
  Sử dụng dữ liệu bán hàng thực tế của Công ty Điện tử tại các chi nhánh Hà Nội, Đà Nẵng, Hồ Chí Minh, được tổ chức theo các chiều thời gian (quý), mặt hàng và vị trí. Dữ liệu có kích thước lớn, thể hiện dưới dạng khối dữ liệu 3 chiều với các tiêu chuẩn đánh giá như tổng số bán (triệu VNĐ).

• Phương pháp phân tích:

  • Chuyển đổi dữ liệu định lượng nhiều chiều thành dữ liệu mờ thông qua kỹ thuật mờ hóa chiều dữ liệu.
  • Áp dụng thuật toán phát hiện luật kết hợp nhiều chiều mờ, bao gồm các giai đoạn tìm tập ứng cử viên, tìm tập mục dữ liệu chuẩn phổ biến, và phát hiện luật kết hợp mờ thu gọn.
  • Sử dụng các biểu thức luật mẫu và ràng buộc ngữ cảnh để giới hạn phạm vi tìm kiếm, tăng hiệu quả tính toán.

• Timeline nghiên cứu:

  • Giai đoạn 1: Tổng quan và xây dựng cơ sở lý thuyết về kho dữ liệu nhiều chiều và luật kết hợp (tháng 1-3).
  • Giai đoạn 2: Phát triển thuật toán phát hiện luật kết hợp nhiều chiều mờ và thử nghiệm trên dữ liệu mẫu (tháng 4-6).
  • Giai đoạn 3: Đánh giá kết quả, so sánh với các phương pháp hiện có và hoàn thiện luận văn (tháng 7-8).

Cỡ mẫu nghiên cứu bao gồm hàng nghìn bản ghi tác vụ mở rộng trong cơ sở dữ liệu nhiều chiều, được chọn ngẫu nhiên từ dữ liệu bán hàng thực tế nhằm đảm bảo tính đại diện và độ tin cậy của kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Phát hiện luật kết hợp nhiều chiều mờ hiệu quả:
   Thuật toán đề xuất đã phát hiện được các luật kết hợp mờ với độ hỗ trợ và độ tin cậy cao, ví dụ: luật “∇1(a), ∇2(c) → ∇3(d)” có độ hỗ trợ 10% và độ tin cậy 67%, cho thấy mối quan hệ chặt chẽ giữa các mặt hàng trong các ngữ cảnh thời gian và vị trí khác nhau.

2. Giảm thiểu không gian tìm kiếm nhờ luật mẫu:
   Việc sử dụng biểu thức luật mẫu giúp giảm đáng kể số lượng luật cần kiểm tra, từ hàng nghìn xuống còn khoảng 20-30% số luật ban đầu, tăng tốc độ xử lý lên đến 40%.

3. Khả năng xử lý dữ liệu định lượng nhiều chiều:
   Kỹ thuật mờ hóa chiều dữ liệu cho phép xử lý trực tiếp dữ liệu định lượng mà không cần chia nhỏ thành nhị phân, giảm thiểu sự cồng kềnh và mất tự nhiên trong biểu diễn dữ liệu.

4. Tính chất Apriori vẫn được bảo toàn:
   Thuật toán phát hiện luật kết hợp nhiều chiều mờ giữ nguyên tính chất Apriori, giúp loại bỏ nhanh các tập mục dữ liệu không phổ biến, nâng cao hiệu quả tính toán.

Thảo luận kết quả

Nguyên nhân của các phát hiện trên là do việc áp dụng lý thuyết tập mờ kết hợp với mô hình dữ liệu nhiều chiều giúp khai thác tri thức một cách tự nhiên và hiệu quả hơn so với phương pháp chia khoảng giá trị truyền thống. So sánh với các nghiên cứu trước đây, phương pháp này khắc phục được nhược điểm về tính cồng kềnh và thiếu tự nhiên trong xử lý dữ liệu định lượng.

Kết quả có thể được trình bày qua biểu đồ so sánh độ hỗ trợ và độ tin cậy của các luật phát hiện được, cũng như bảng tổng hợp số lượng luật trước và sau khi áp dụng luật mẫu. Điều này minh chứng cho hiệu quả và tính khả thi của thuật toán trong thực tế.

Ý nghĩa của nghiên cứu không chỉ nằm ở việc phát hiện các luật kết hợp có giá trị trong dữ liệu bán hàng mà còn mở rộng khả năng ứng dụng trong các lĩnh vực khác như tài chính, y tế, giáo dục, nơi dữ liệu định lượng nhiều chiều phổ biến.

Đề xuất và khuyến nghị

1. Triển khai hệ thống phát hiện luật kết hợp nhiều chiều mờ trong doanh nghiệp:

   • Động từ hành động: Xây dựng và tích hợp phần mềm khai phá dữ liệu.
   • Target metric: Tăng tỷ lệ phát hiện luật có ý nghĩa lên 30% trong 6 tháng.
   • Chủ thể thực hiện: Bộ phận công nghệ thông tin và phân tích dữ liệu.

2. Đào tạo nhân sự về kỹ thuật khai phá dữ liệu mờ:

   • Động từ hành động: Tổ chức các khóa đào tạo chuyên sâu.
   • Target metric: 80% nhân viên phân tích dữ liệu được đào tạo trong 1 năm.
   • Chủ thể thực hiện: Phòng nhân sự phối hợp với chuyên gia công nghệ.

3. Mở rộng nghiên cứu áp dụng cho các lĩnh vực khác:

   • Động từ hành động: Thực hiện nghiên cứu ứng dụng trong tài chính, y tế.
   • Target metric: Hoàn thành ít nhất 2 đề tài ứng dụng trong 2 năm tới.
   • Chủ thể thực hiện: Các viện nghiên cứu và trường đại học.

4. Cải tiến thuật toán phát hiện luật kết hợp nhiều chiều mờ:

   • Động từ hành động: Nghiên cứu tối ưu thuật toán, giảm thời gian tính toán.
   • Target metric: Giảm thời gian xử lý dữ liệu lớn xuống dưới 50% hiện tại trong 1 năm.
   • Chủ thể thực hiện: Nhóm nghiên cứu công nghệ thông tin.

Đối tượng nên tham khảo luận văn

1. Nhà quản lý doanh nghiệp:

   • Lợi ích: Hiểu rõ cách khai thác dữ liệu để ra quyết định kinh doanh chính xác.
   • Use case: Xây dựng chiến lược bán hàng dựa trên các luật kết hợp phát hiện từ dữ liệu.

2. Chuyên gia phân tích dữ liệu và khoa học dữ liệu:

   • Lợi ích: Áp dụng thuật toán phát hiện luật kết hợp nhiều chiều mờ trong phân tích dữ liệu phức tạp.
   • Use case: Phân tích xu hướng tiêu dùng theo thời gian và vị trí.

3. Nhà nghiên cứu công nghệ thông tin và khai phá dữ liệu:

   • Lợi ích: Tham khảo phương pháp mới trong phát hiện luật kết hợp từ dữ liệu định lượng nhiều chiều.
   • Use case: Phát triển thuật toán khai phá dữ liệu nâng cao.

4. Sinh viên và học viên cao học ngành công nghệ thông tin, quản trị kinh doanh:

   • Lợi ích: Nắm vững kiến thức về kho dữ liệu, mô hình dữ liệu nhiều chiều và khai phá tri thức.
   • Use case: Tham khảo để thực hiện các đề tài nghiên cứu hoặc luận văn.

Câu hỏi thường gặp

1. Phát hiện luật kết hợp nhiều chiều mờ là gì?
   Đây là kỹ thuật khai phá dữ liệu nhằm tìm ra các mối quan hệ giữa các thuộc tính trong cơ sở dữ liệu nhiều chiều định lượng, sử dụng lý thuyết tập mờ để xử lý dữ liệu không rõ ràng hoặc mơ hồ, giúp phát hiện các luật kết hợp có ý nghĩa trong dữ liệu phức tạp.

2. Tại sao cần áp dụng lý thuyết tập mờ trong phát hiện luật kết hợp?
   Lý thuyết tập mờ giúp xử lý dữ liệu định lượng một cách tự nhiên hơn so với phương pháp chia khoảng giá trị thành nhị phân, giảm thiểu sự cồng kềnh và mất thông tin, từ đó nâng cao chất lượng và tính chính xác của các luật phát hiện được.

3. Thuật toán phát hiện luật kết hợp nhiều chiều mờ có ưu điểm gì?
   Thuật toán giữ nguyên tính chất Apriori, giúp loại bỏ nhanh các tập mục dữ liệu không phổ biến, đồng thời sử dụng biểu thức luật mẫu để giảm không gian tìm kiếm, tăng tốc độ xử lý và hiệu quả phát hiện luật.

4. Phương pháp này có thể áp dụng cho những loại dữ liệu nào?
   Phương pháp phù hợp với các cơ sở dữ liệu nhiều chiều định lượng, đặc biệt là dữ liệu bán hàng, tài chính, y tế, giáo dục, nơi dữ liệu có nhiều chiều và giá trị thuộc tính mang tính định lượng hoặc mờ.

5. Làm thế nào để triển khai kỹ thuật này trong doanh nghiệp?
   Doanh nghiệp cần xây dựng hệ thống kho dữ liệu nhiều chiều, tích hợp phần mềm khai phá dữ liệu sử dụng thuật toán phát hiện luật kết hợp nhiều chiều mờ, đồng thời đào tạo nhân sự để vận hành và phân tích kết quả, từ đó hỗ trợ ra quyết định kinh doanh hiệu quả.

Kết luận

• Luận văn đã xây dựng thành công kỹ thuật phát hiện luật kết hợp nhiều chiều mờ từ cơ sở dữ liệu nhiều chiều định lượng, khắc phục hạn chế của các phương pháp truyền thống.
• Thuật toán đề xuất giữ nguyên tính chất Apriori, sử dụng biểu thức luật mẫu và ràng buộc ngữ cảnh để nâng cao hiệu quả và tốc độ xử lý.
• Kết quả thử nghiệm trên dữ liệu bán hàng thực tế cho thấy khả năng phát hiện các luật kết hợp có độ hỗ trợ và độ tin cậy cao, hỗ trợ tốt cho việc ra quyết định.
• Nghiên cứu mở ra hướng phát triển ứng dụng trong nhiều lĩnh vực khác như tài chính, y tế, giáo dục, góp phần nâng cao giá trị khai phá tri thức từ dữ liệu lớn.
• Đề xuất các bước tiếp theo bao gồm triển khai ứng dụng thực tế, đào tạo nhân sự và cải tiến thuật toán nhằm đáp ứng nhu cầu ngày càng cao của các tổ chức và doanh nghiệp.

Quý độc giả và các nhà nghiên cứu được khuyến khích áp dụng và phát triển tiếp các kết quả này để nâng cao hiệu quả khai phá dữ liệu trong thực tiễn.

Trích đoạn nội dung tài liệu

Chương 1 TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU NHIỀU CHIỀU 1.1 Tại sao phải xây dựng kho dữ liệu? Nhân loại đang sống trong thời đại của nền kinh tế tri thức. Mọi hoạt động của con người muốn đạt hiệu quả cao, giành được thắng lợi trong thế cạnh tranh gay gắt thì nhất thiết phải có những phương pháp để có được những thông tin, tri thức có chất lượng cần thiết một cách nhanh chóng và kịp thời. Thông tin có thể có được ở mọi nơi, mọi thời điểm và tồn tại ở nhiều dạng khác nhau: âm thanh, hình ảnh, văn bản. Việc áp dụng công nghệ thông tin vào thực tiễn sản xuất kinh doanh đã mang lại những hiệu quả và lợi ích to lớn.

Công nghệ ngày càng được phát triển, hoàn thiện hơn để đáp ứng những yêu cầu ngày càng cao của thực tế nghiên cứu, quản lý sản xuất và kinh doanh. Sự mở rộng qui mô áp dụng từ những ứng dụng đơn lẻ đến các hệ thống thông tin cỡ lớn đã dẫn đến những thành công vượt bậc trong kinh doanh. Các hệ thống thông tin từ chỗ chỉ giải quyết những xử lý công việc hàng ngày đã tiến tới đáp ứng được những yêu cầu ở mức độ cao hơn. Các nhà quản lý điều hành có thể biết được công việc đang diễn ra như thế nào.

Tuy nhiên việc xây dựng một hệ thống như thế vấp phải một số hạn chế về mặt kỹ thuật, đặc biệt là khi kích thước cũng như độ phức tạp của hệ thống thông tin tăng lên. Những hệ thống thông tin xây dựng theo phương pháp truyền thống chưa đáp ứng được yêu cầu của người sử dụng và các nhà quản lý hệ thống thông tin. Khắc phục những hạn chế nêu trên là công việc rất phức tạp bởi vì dữ liệu ngày một nhiều, lưu trữ phân tán ở nhiều dạng không tương thích với nhau, thậm chí còn ở những dạng phi cấu trúc. Nhiều hệ CSDL đã được xây dựng không tương thích với nhau và không tương thích với những hệ thông tin mới được xây dựng.

Một vấn đề đặt ra là làm thế nào để tổ chức, khai thác z 11 được những khối lượng dữ liệu khổng lồ và đa dạng từ những hệ thống thông tin đã được xây dựng ? Có một số vấn đề tồn tại chủ yếu của hệ thống thông tin: 1. Phát triển chương trình trên các Hệ thống thông tin khác nhau là không đơn giản Một chức năng có thể được thể hiện ở rất nhiều chương trình, nhưng việc tổ chức và sử dụng lại nó là rất khó khăn do hạn chế về kỹ thuật. Việc chuyển đổi dữ liệu từ các khuôn dạng tác nghiệp khác nhau để phù hợp với người sử dụng là phức tạp. Duy trì những chương trình này gặp rất nhiều vấn đề: Mỗi thay đổi ở một ứng dụng sẽ ảnh hưởng đến tất cả các ứng dụng khác có quan hệ với nó.

Nhưng thông thường sự phụ thuộc lẫn nhau giữa các chương trình không rõ ràng hoặc không xác định được. Khối lượng dữ liệu lưu trữ tăng rất nhanh: do không kiểm soát được khả năng chồng chéo dữ liệu trong các hệ thống thông tin. Quản trị dữ liệu phức tạp: do thiếu những định nghĩa chuẩn, thống nhất về dữ liệu dẫn đến việc mất khả năng kiểm soát đồng thời nhiều hệ thống thông tin và một thành phần dữ liệu có thể tồn tại ở nhiều nguồn khác nhau Giải pháp cho tất cả các vấn đề tồn tại nêu trên chính là xây dựng một kho dữ liệu (Data Warehouse).2 Khái niệm kho dữ liệu – Data Warehouse Định nghĩa: Kho dữ liệu (Data Warehouse - DW) được hiểu là bộ dữ liệu có giá trị lịch sử, theo chuỗi thời gian, được tích hợp và định hướng vào từng chủ đề nhằm hỗ trợ quá trình ra quyết định trong quản lý .[4] Kho dữ liệu thường rất lớn tới hàng trăm GigaByte hay thậm chí hàng Terabyte. z 12 Kho dữ liệu được xây dựng để thuận lợi cho việc truy cập dữ liệu theo nhiều nguồn được phát triển dựa trên nhiều hệ quản trị CSDL khác nhau sao cho có thể kết hợp được cả những ứng dụng của các công nghệ hiện đại và kế thừa được từ những hệ thống đã có sẵn từ trước.

Dữ liệu phát sinh từ các hoạt động hàng ngày và được thu thập xử lí để phục vụ công việc kinh doanh cụ thể của một tổ chức thường được gọi là dữ liệu tác nghiệp (operational data) và hoạt động thu thập xử lí loại dữ liệu này được gọi là xử lí giao dịch trực tuyến (On_line Transaction Processing - OLPT). Ngược lại, kho dữ liệu phục vụ cho việc phân tích với kết quả mang tính thông tin cao. Các hệ thống thông tin thu thập xử lí dữ liệu loại này còn được gọi là hệ xử lí phân tích trực tuyến (On_Line Analytical Processing - OLAP). Nói cách khác, kho dữ liệu là một tập hợp các CSDL rất lớn tới hàng trăm Gigabyte hay thậm chí hàng Tera byte dữ liệu từ nhiều phân hệ của hệ thống, lưu trữ và phân tích phục vụ cho việc cung cấp các dịch vụ thông tin liên quan tới các hoạt động sản xuất, kinh doanh một tổ chức, cơ quan hay doanh nghiệp.

Dòng dữ liệu trong một tổ chức (cơ quan, doanh nghiệp, công ty, v.) có thể mô tả khái quát như sau: CSDL tác nghiệp Hệ thống Kho dữ liệu Kho dữ liệu cá thông tin (dữ liệu lịch sử) nhân cũ Dữ liệu chủ đề Siêu dữ liệu Hình 1: Luồng dữ liệu trong một tổ chức z 13 Dữ liệu cá nhân (Personal Data) không thuộc phạm vi quản lý của hệ quản trị kho dữ liệu. Nó chứa các thông tin được trích xuất từ các hệ thống dữ liệu tác nghiệp, kho dữ liệu và từ những kho dữ liệu chủ đề liên quan bằng các phép gộp, tổng hợp hay xử lý bằng một cách nào đó.3 Mục đích của kho dữ liệu Mục tiêu chính của kho dữ liệu là nhằm đáp ứng các tiêu chuẩn cơ bản: 1. Đáp ứng mọi yêu cầu về thông tin của người sử dụng. Tích hợp dữ liệu và các siêu dữ liệu từ nhiều nguồn khác nhau.

Phục vụ phân tích phát hiện tri thức mới từ dữ liệu: a. Hỗ trợ để các nhân viên của tổ chức thực hiện tốt, hiệu quả công việc của mình như: có những quyết định hợp lý, nhanh và chính xác. Hỗ trợ tổ chức xây dựng chiến lược, kế hoạch hoạt động sản xuất, kinh doanh hiệu quả. Để đạt được những yêu cầu trên, khi xây dựng DW cần chú ý: • Nâng cao chất lượng dữ liệu bằng các phương pháp làm sạch và tinh lọc dữ liệu theo những hướng chủ đề nhất định • Tổng hợp và kết hợp dữ liệu • Đồng bộ hoá các nguồn dữ liệu với DW • Phân định và đồng nhất các hệ quản trị cơ sở dữ liệu tác nghiệp như là các công cụ chuẩn để phục vụ cho DW.

• Quản lí siêu dữ liệu • Cung cấp thông tin được tích hợp, tóm tắt hoặc được liên kết, tổ chức theo các chủ đề z 14 • DW được sử dụng trong các hệ thống hỗ trợ quyết định (Decision suport system - DSS), hỗ trợ cho các truy vấn đặc biệt.4 Đặc điểm của kho dữ liệu Kho dữ liệu (DW) có những tính chất cơ bản sau [3],[4]: 1. Tính tích hợp (Integration) Dữ liệu trong DW được tổ chức theo nhiều cách khác nhau sao cho phù hợp với các qui ước đặt tên, thống nhất về số đo, cơ cấu mã hoá và cấu trúc vật lý của dữ liệu, v. Một DW là một khung nhìn thông tin mức toàn doanh nghiệp, thống nhất các khung nhìn khác nhau thành một khung nhìn theo một chủ điểm nào đó. Ví dụ hệ thống OLTP (xử lí giao dịch trực tuyến) truyền thống được xây dựng trên một vùng kinh doanh, một hệ thống bán hàng và một hệ thống marketing có thể có chung một dạng thông tin về khách hàng, nhưng các vấn đề về tài chính có thể cần một khung nhìn khác cho thông tin về khách hàng.

Một DW sẽ có một khung nhìn toàn thể về một khách hàng. Khung nhìn đó bao gồm các phần dữ liệu khác nhau từ tài chính và marketing. Tính tích hợp thể hiện ở chỗ: Dữ liệu tập hợp trong kho dữ liệu được thu thập từ nhiều nguồn và trộn ghép với nhau tạo thành một thể thống nhất. Ví dụ: Dữ liệu từ những chương trình ứng dụng thực hiện trên các CSDL tác nghiệp được tích hợp lại theo cách mã hoá và số đo thống nhất như sau: z 15 Sự tích hợp CSDL tác nghiệp Data Warehouse Appl.

C: male, female Appl. A: pipeline cm cm Appl. B: pipeline inch (2,54 cm) Appl.914 cm) Hình 2: Tích hợp dữ liệu Hệ thống dữ liệu tác nghiệp Hệ thống kiểm tra Tài khoản Lê Anh Tuấn Kho dữ liệu Nam Mở Tài khoản năm 1994 Hệ thống Tài khoản tiết kiệm Khách hàng Lê Anh Tuấn Tích hợp Lê Anh Tuấn M (Mã) Nam và biến đổi 132 - Cầu Giấy Mở Tài khoản năm 1992 Khách hàng từ năm 1992 Hệ thống Tài khoản đầu tư Lê Anh Tuấn 132 - Cầu Giấy Mở tài khoản năm 1995 Hình 3: Tích hợp dữ liệu 1.Hướng chủ đề Dữ liệu trong DW được tổ chức theo các chủ đề giúp thuận lợi, dễ dàng trong việc xác định những thông tin cần thiết trong từng hoạt động mỗi cơ quan, đơn vị. Ví dụ, trong hệ thống quản lý tài chính cũ có thể dữ liệu được tổ z 16 chức theo chức năng: cho vay, quản lý tín dụng, quản lý ngân sách, v.

Ngược lại, trong DW về tài chính, dữ liệu được tổ chức theo chủ điểm dựa chủ yếu theo các đối tượng: khách hàng, sản phẩm, các doanh nghiệp, v. Sự khác nhau của hai cách tiếp cận trên dẫn đến sự khác nhau về nội dung dữ liệu được lưu trữ trong hệ thống: ƒ DW không lưu trữ dữ liệu chi tiết, chỉ cần lưu trữ những dữ liệu có tính tổng hợp phục vụ chủ yếu cho quá trình phân tích để trợ giúp quyết định. ƒ Các hệ thống ứng dụng tác nghiệp (Operational Application System- OAS), CSDL tác nghiệp cần những dữ liệu chi tiết, phục vụ trực tiếp cho những yêu cầu xử lý theo các chức năng của lĩnh vực ứng dụng hiện thời. Do vậy mối quan hệ của dữ liệu trong những hệ thống này cũng khác, đòi hỏi phải có tính chi tiết hơn, có tính thời sự, v.

Dữ liệu gắn thời gian và có tính lịch sử Kho dữ liệu bao hàm một khối lượng lớn dữ liệu lịch sử.