Luận văn thạc sĩ: Khai phá dữ liệu sử dụng luật kết hợp (Nguyễn Ngọc Long)

Luận văn thạc sĩ khai phá dữ liệu: Ứng dụng luật kết hợp. Nghiên cứu chuyên sâu về khai phá dữ liệu, sử dụng luật kết hợp để phân tích và tìm kiếm tri thức hữu ích.

• Tác giả: Nguyễn Ngọc Long
• Người hướng dẫn: PGS. Vũ Đức Thi
• Trường học: Trường Đại học Công Nghệ
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Khai phá dữ liệu sử dụng luật kết hợp
• Loại tài liệu: Luận văn thạc sỹ
• Năm xuất bản: 2005
• Địa điểm: Hà Nội

Mục lục chi tiết

• TÓM TẮT
• MỞ ĐẦU
• 1. CHƢƠNG 1 TỔNG QUAN VỀ TỔ CHỨC - KHAI THÁC CSDL VÀ PHÁT HIỆN TRI THỨC
• 1.1. Nhu cầu, cách nhìn nhận và thực hiện trong các hệ CSDL truyền thống
• 1.2. Các vấn đề hạn chế và mục tiêu cần có đƣợc
• 1.3. Tìm kiếm bƣớc phát triển mới trong tổ chức khai thác CSDL
• 1.4. Quá trình phát hiện tri thức
• 1.4.1. Phát hiện tri thức
• 1.4.2. Các giai đoạn của quá trình phát hiện tri thức
• 2. CHƢƠNG 2 TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU
• 2.1. Mục tiêu của khai phá dữ liệu
• 2.2. Các quá trình khai phá dữ liệu
• 2.3. Các công việc chính của khai phá dữ liệu
• 2.4. Kiến trúc của hệ thống khai phá dữ liệu
• 2.5. Các thành phần của giải thuật khai phá dữ liệu
• 2.6. Các hƣớng tiếp cận cơ bản và kỹ thuật áp dụng
• 2.7. Các ứng dụng của khai phá dữ liệu
• 2.8. Một số phƣơng pháp khai phá dữ liệu phổ biến
• 2.8.1. Phƣơng pháp quy nạp (induction). Cây quyết định và luật
• 2.8.2. Phát hiện các luật kết hợp
• 2.8.3. Phân nhóm và phân đoạn (Clasterring and Segmentation)
• 2.8.4. Các phƣơng pháp dựa trên mẫu
• 2.8.5. Mô hình phụ thuộc dựa trên đồ thị xác xuất
• 2.8.6. Mô hình học quan hệ
• 2.8.7. Khai phá dữ liệu văn bản
• 2.8.8. Giải thuật di truyền
• 2.9. Nhìn nhận và đánh giá chung
• 3. CHƢƠNG 3 KHAI PHÁ DỮ LIỆU SỬ DỤNG LUẬT KẾT HỢP
• 3.1. Luật kết hợp. Các khái niệm cơ sở
• 3.2. Một số tính chất của tập mục phổ biến và luật kết hợp
• 3.3. Các loại luật kết hợp
• 3.4. Khai phá luật kết hợp đơn chiều, đơn mức, luật kết hợp Boolean
• 3.5. Thuật toán Apriori
• 3.6. Phát triển thuật toán Apriori
• 3.7. Thuật toán sinh các luật kết hợp từ tập mục phổ biến
• 3.8. Khai phá tập mục phổ biến không sinh các ứng cử
• 3.9. Khai phá luật kết hợp định lƣợng
• 3.10. Khai phá luật kết hợp đa mức
• 3.10.1. Luật kết hợp đa mức
• 3.10.2. Các cách tiếp cận khai phá luật kết hợp đa mức
• 3.11. Khai phá luật kết hợp đóng
• 3.12. Khắc phục hạn chế của thuật toán Apriori
• 3.13. Tập mục phổ biến đóng
• 3.14. Thuật toán Charm
• 4. CHƢƠNG 4 THỬ NGHIỆM KHAI PHÁ LUẬT KẾT HỢP
• 4.1. Mô tả dữ liệu
• 4.2. Xây dựng chƣơng trình
• 4.3. Kết quả thu đƣợc
• KẾT LUẬN CỦA LUẬN VĂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Luận Văn Thạc Sĩ Về Khai Phá Dữ Liệu Luật Kết Hợp

Luận văn thạc sĩ về khai phá dữ liệu sử dụng luật kết hợp là một lĩnh vực nghiên cứu quan trọng, đặc biệt trong bối cảnh bùng nổ dữ liệu. Luận văn này tập trung vào việc khám phá và áp dụng các thuật toán khai phá luật kết hợp để tìm ra các mối quan hệ tiềm ẩn trong các tập dữ liệu lớn. Mục tiêu chính là trích xuất thông tin có giá trị, hỗ trợ ra quyết định trong nhiều lĩnh vực khác nhau, từ kinh doanh đến khoa học. Các khái niệm cơ bản như độ hỗ trợ (support), độ tin cậy (confidence) và độ nâng (lift) đóng vai trò then chốt trong việc đánh giá hiệu quả của các luật kết hợp. Theo Nguyễn Ngọc Long (2005), "Khai phá dữ liệu trở thành trung tâm của hàng loạt các nghiên cứu và thảo luận cực kỳ sôi động nhằm tìm kiếm và khám phá ra được nhiều cách thức, phương pháp hiệu quả với mong muốn tìm ra được càng ngày càng nhiều các tri thức mới, quan trọng và bổ ích." Điều này nhấn mạnh tầm quan trọng của data mining trong việc tạo ra tri thức từ big data.

1.1. Vai Trò Của Luật Kết Hợp Trong Khai Phá Dữ Liệu

Luật kết hợp là một trong những kỹ thuật cốt lõi của khai phá dữ liệu. Nó cho phép chúng ta khám phá các mối quan hệ giữa các biến hoặc các mục trong một tập dữ liệu. Ví dụ, trong lĩnh vực bán lẻ, phân tích giỏ hàng (market basket analysis) sử dụng luật kết hợp để xác định các sản phẩm thường được mua cùng nhau. Điều này có thể giúp các nhà bán lẻ tối ưu hóa bố trí sản phẩm, thiết kế các chương trình khuyến mãi hiệu quả và cải thiện doanh số bán hàng. Việc hiểu rõ các khái niệm cơ bản về luật kết hợp như độ hỗ trợ, độ tin cậy, và độ nâng là yếu tố then chốt để áp dụng thành công kỹ thuật này. Các công cụ như Weka, R, Python, và SPSS Modeler thường được sử dụng để thực hiện phân tích luật kết hợp.

1.2. Ứng Dụng Của Khai Phá Luật Kết Hợp Trong Thực Tế

Ứng dụng luật kết hợp trong khai phá dữ liệu rất đa dạng và phong phú. Trong lĩnh vực y tế, nó có thể được sử dụng để xác định các yếu tố nguy cơ liên quan đến một bệnh cụ thể, hoặc để tìm ra các phương pháp điều trị hiệu quả. Trong lĩnh vực tài chính, nó có thể được sử dụng để phát hiện các giao dịch gian lận, hoặc để dự đoán xu hướng thị trường. Các ví dụ cụ thể bao gồm việc sử dụng luật kết hợp để xác định các sản phẩm thường được mua cùng nhau trên một trang web thương mại điện tử, hoặc để tìm ra các mối quan hệ giữa các triệu chứng bệnh trong một hồ sơ bệnh án. Điều này giúp các tổ chức đưa ra quyết định dựa trên dữ liệu, cải thiện hiệu quả hoạt động và tăng cường khả năng cạnh tranh. Khai phá dữ liệu sử dụng luật kết hợp rất cần thiết trong phân tích dữ liệu lớn.

II. Thách Thức Các Vấn Đề Trong Luận Văn Khai Phá Dữ Liệu Luật Kết Hợp

Việc khai phá dữ liệu sử dụng luật kết hợp không phải lúc nào cũng dễ dàng. Một trong những thách thức lớn nhất là xử lý các tập dữ liệu lớn. Các thuật toán association rule mining có thể tốn kém về mặt tính toán, đặc biệt khi số lượng mục và giao dịch tăng lên. Một thách thức khác là đánh giá hiệu quả của các luật kết hợp. Không phải tất cả các luật đều hữu ích hoặc có ý nghĩa. Việc xác định các luật quan trọng nhất và loại bỏ các luật không liên quan là một nhiệm vụ quan trọng. Ngoài ra, việc giải thích và trình bày các luật kết hợp một cách dễ hiểu cho người dùng không chuyên cũng là một thách thức.

2.1. Vấn Đề Xử Lý Dữ Liệu Lớn Trong Khai Phá Luật Kết Hợp

Khi làm việc với big data, các thuật toán khai phá luật kết hợp phải đối mặt với nhiều thách thức. Đầu tiên, thời gian tính toán có thể tăng lên đáng kể khi kích thước dữ liệu tăng lên. Điều này đòi hỏi phải sử dụng các kỹ thuật tối ưu hóa, chẳng hạn như thuật toán Apriori cải tiến hoặc các phương pháp song song hóa. Thứ hai, việc quản lý bộ nhớ có thể trở thành một vấn đề, đặc biệt khi số lượng mục và giao dịch lớn. Điều này đòi hỏi phải sử dụng các cấu trúc dữ liệu hiệu quả và các kỹ thuật giảm thiểu bộ nhớ. Cuối cùng, việc xử lý dữ liệu nhiễu và dữ liệu thiếu có thể ảnh hưởng đến chất lượng của các luật kết hợp. Điều này đòi hỏi phải sử dụng các kỹ thuật làm sạch dữ liệu và xử lý dữ liệu thiếu trước khi thực hiện phân tích luật kết hợp. Việc đánh giá hiệu quả thuật toán luật kết hợp là vô cùng quan trọng.

2.2. Đánh Giá Và Lựa Chọn Luật Kết Hợp Phù Hợp

Việc đánh giá và lựa chọn các luật kết hợp phù hợp là một bước quan trọng trong khai phá dữ liệu. Các độ đo như độ hỗ trợ, độ tin cậy, và độ nâng có thể được sử dụng để đánh giá chất lượng của các luật. Tuy nhiên, các độ đo này không phải lúc nào cũng đủ để xác định các luật quan trọng nhất. Ví dụ, một luật có độ hỗ trợ cao có thể không có ý nghĩa thực tế, hoặc một luật có độ tin cậy cao có thể chỉ phản ánh một mối quan hệ ngẫu nhiên. Do đó, cần phải sử dụng các phương pháp bổ sung, chẳng hạn như phân tích trực quan hoặc đánh giá chuyên gia, để xác định các luật có giá trị nhất. Việc đánh giá hiệu quả thuật toán luật kết hợp còn cần phải xem xét tới tính dễ hiểu của luật.

III. Phương Pháp Thuật Toán Apriori Trong Luận Văn Khai Phá Dữ Liệu

Trong khai phá dữ liệu sử dụng luật kết hợp, thuật toán Apriori đóng vai trò quan trọng. Thuật toán này sử dụng cách tiếp cận lặp đi lặp lại để tìm kiếm các tập mục phổ biến trong một tập dữ liệu lớn. Bằng cách bắt đầu với các tập mục đơn lẻ và dần dần mở rộng chúng, Apriori có thể xác định các mẫu mà không cần phải duyệt toàn bộ không gian tìm kiếm. Apriori đặc biệt hữu ích trong các ứng dụng như phân tích giỏ hàng, nơi cần xác định các sản phẩm thường được mua cùng nhau. Theo tài liệu gốc, thuật toán Apriori hoạt động bằng cách "sinh ra các tập ứng cử để tính trong một lần duyệt bằng việc sử dụng chỉ các tập mục đã được tìm thấy là phổ biến trong lần duyệt trước đó mà không cần quan tâm tới các tác vụ trong CSDL." Điều này giúp giảm đáng kể thời gian tính toán và làm cho Apriori trở thành một lựa chọn phổ biến trong data mining.

3.1. Quy Trình Hoạt Động Của Thuật Toán Apriori

Thuật toán Apriori hoạt động theo một quy trình rõ ràng gồm hai bước chính: bước kết nối và bước tỉa. Trong bước kết nối, thuật toán tạo ra các ứng cử viên tập mục từ các tập mục phổ biến đã được tìm thấy trong lần lặp trước đó. Trong bước tỉa, thuật toán loại bỏ các ứng cử viên không đáp ứng ngưỡng hỗ trợ tối thiểu. Quy trình này lặp lại cho đến khi không còn ứng cử viên nào được tạo ra. Ưu điểm của Apriori là tính đơn giản và dễ hiểu, nhưng nó cũng có một số hạn chế, đặc biệt là khi làm việc với dữ liệu lớn. Một trong những hạn chế đó là việc cần phải quét dữ liệu nhiều lần, điều này có thể tốn kém về mặt thời gian. Tuy nhiên, các biến thể và cải tiến của Apriori đã được phát triển để giảm thiểu những hạn chế này.

3.2. Ưu Điểm Và Hạn Chế Của Thuật Toán Apriori

Mặc dù thuật toán Apriori là một công cụ mạnh mẽ để khai phá luật kết hợp, nó cũng có những ưu điểm và hạn chế cần được xem xét. Ưu điểm lớn nhất của Apriori là tính đơn giản và dễ hiểu. Nó cũng có khả năng tìm ra các tập mục phổ biến một cách hiệu quả trong nhiều loại dữ liệu khác nhau. Tuy nhiên, Apriori cũng có một số hạn chế. Đầu tiên, nó có thể tốn kém về mặt tính toán khi làm việc với dữ liệu lớn. Thứ hai, nó có thể tạo ra một số lượng lớn các ứng cử viên tập mục, điều này có thể làm chậm quá trình khai phá. Cuối cùng, nó có thể không hiệu quả trong việc tìm kiếm các luật kết hợp có độ hỗ trợ thấp. Các thuật toán khai phá luật kết hợp khác, như FP-Growth, đã được phát triển để khắc phục những hạn chế này.

IV. FP Growth Giải Pháp Thay Thế Apriori Trong Khai Phá Dữ Liệu

FP-Growth (Frequent Pattern Growth) là một thuật toán khai phá luật kết hợp hiệu quả, khắc phục những nhược điểm của Apriori bằng cách không tạo ra các tập ứng cử rõ ràng. Thay vào đó, nó xây dựng một cấu trúc cây gọi là FP-Tree (Frequent Pattern Tree), biểu diễn dữ liệu một cách nén. Điều này cho phép FP-Growth tìm kiếm các tập mục phổ biến mà không cần phải quét dữ liệu nhiều lần. FP-Growth đặc biệt hữu ích khi làm việc với các tập dữ liệu lớn, nơi Apriori có thể trở nên quá chậm. Cấu trúc cây FP-Tree sẽ giúp tối ưu hóa các thao tác, giúp cho việc khai phá dữ liệu trở nên nhanh chóng hơn.

4.1. Cách Thức Hoạt Động Của Thuật Toán FP Growth

Thuật toán FP-Growth hoạt động theo hai bước chính. Đầu tiên, nó xây dựng một FP-Tree từ tập dữ liệu. FP-Tree là một cấu trúc cây biểu diễn các tập mục và tần suất xuất hiện của chúng. Thứ hai, nó khai phá các tập mục phổ biến từ FP-Tree bằng cách sử dụng một quy trình gọi là FP-Growth mining. Quy trình này bắt đầu từ các nút lá của cây và dần dần di chuyển lên gốc, tìm kiếm các mẫu phổ biến. Ưu điểm của FP-Growth là nó không cần phải tạo ra các tập ứng cử rõ ràng, điều này giúp giảm đáng kể thời gian tính toán so với Apriori.

4.2. So Sánh FP Growth Và Apriori Hiệu Quả Và Ứng Dụng

So với Apriori, FP-Growth có một số ưu điểm và nhược điểm. Ưu điểm lớn nhất của FP-Growth là hiệu quả của nó khi làm việc với dữ liệu lớn. Nó cũng có khả năng tìm kiếm các luật kết hợp có độ hỗ trợ thấp một cách hiệu quả hơn. Tuy nhiên, FP-Growth có thể phức tạp hơn để triển khai và hiểu so với Apriori. Ngoài ra, nó có thể yêu cầu nhiều bộ nhớ hơn để lưu trữ FP-Tree. Lựa chọn giữa Apriori và FP-Growth phụ thuộc vào kích thước và đặc điểm của dữ liệu, cũng như yêu cầu hiệu suất của ứng dụng. Với phân tích dữ liệu lớn, FP-Growth thường được ưa chuộng hơn, nhưng Apriori vẫn có thể là lựa chọn phù hợp cho các tập dữ liệu nhỏ hơn hoặc các ứng dụng đơn giản.

V. Ứng Dụng Khai Phá Luật Kết Hợp Trong Phân Tích Giỏ Hàng Thực Tế

Luật kết hợp có rất nhiều ứng dụng thực tế, nhưng có lẽ ứng dụng phổ biến nhất là trong phân tích giỏ hàng (market basket analysis). Đây là quá trình xác định các sản phẩm thường được mua cùng nhau bởi khách hàng. Thông tin này có thể được sử dụng để tối ưu hóa bố trí sản phẩm, thiết kế các chương trình khuyến mãi hiệu quả và cải thiện doanh số bán hàng. Ví dụ, nếu phân tích cho thấy rằng khách hàng thường mua bia và tã cùng nhau, nhà bán lẻ có thể đặt hai sản phẩm này gần nhau để tăng doanh số bán hàng. Hoặc họ có thể tạo ra một chương trình khuyến mãi đặc biệt cho khách hàng mua cả hai sản phẩm.

5.1. Tối Ưu Hóa Bố Trí Sản Phẩm Trong Bán Lẻ Dựa Trên Luật Kết Hợp

Một trong những ứng dụng trực tiếp nhất của phân tích giỏ hàng là tối ưu hóa bố trí sản phẩm trong cửa hàng bán lẻ. Bằng cách xác định các sản phẩm thường được mua cùng nhau, nhà bán lẻ có thể đặt các sản phẩm này gần nhau để tăng khả năng khách hàng sẽ mua cả hai. Ví dụ, nếu phân tích cho thấy rằng khách hàng thường mua cà phê và bánh ngọt cùng nhau, nhà bán lẻ có thể đặt hai sản phẩm này gần khu vực thanh toán để thu hút khách hàng. Hoặc họ có thể đặt các sản phẩm liên quan đến nhau (ví dụ, kem cạo râu và dao cạo) gần nhau để tăng doanh số bán hàng.

5.2. Thiết Kế Chương Trình Khuyến Mãi Hiệu Quả Từ Phân Tích Luật Kết Hợp

Luật kết hợp cũng có thể được sử dụng để thiết kế các chương trình khuyến mãi hiệu quả. Bằng cách xác định các sản phẩm thường được mua cùng nhau, nhà bán lẻ có thể tạo ra các chương trình khuyến mãi đặc biệt cho khách hàng mua cả hai sản phẩm. Ví dụ, họ có thể giảm giá cho khách hàng mua cả bia và tã, hoặc tặng một sản phẩm miễn phí cho khách hàng mua một số lượng sản phẩm nhất định. Các chương trình khuyến mãi này có thể giúp tăng doanh số bán hàng và thu hút khách hàng mới. Ngoài ra, còn có thể giúp ích cho việc phân tích dữ liệu lớn.

VI. Kết Luận Hướng Phát Triển Luận Văn Về Khai Phá Dữ Liệu Luật Kết Hợp

Luận văn thạc sĩ về khai phá dữ liệu sử dụng luật kết hợp là một lĩnh vực nghiên cứu đang phát triển nhanh chóng, với nhiều hướng đi tiềm năng. Các nghiên cứu trong tương lai có thể tập trung vào việc phát triển các thuật toán khai phá luật kết hợp hiệu quả hơn, đặc biệt là cho các tập dữ liệu lớn. Ngoài ra, có thể khám phá các ứng dụng mới của luật kết hợp trong các lĩnh vực khác nhau, chẳng hạn như y tế, tài chính, và giáo dục. Cuối cùng, có thể nghiên cứu các phương pháp để giải thích và trình bày các luật kết hợp một cách dễ hiểu cho người dùng không chuyên. Theo Nguyễn Ngọc Long, khai phá dữ liệu có một tiềm năng to lớn trong việc tạo ra những lợi nhuận đáng kể trong nền kinh tế, vì vậy, các nghiên cứu sâu rộng trong lĩnh vực này là vô cùng cần thiết.

6.1. Các Hướng Nghiên Cứu Tiềm Năng Trong Tương Lai

Trong tương lai, các nghiên cứu có thể tập trung vào phát triển các thuật toán khai phá luật kết hợp hiệu quả hơn. Điều này có thể bao gồm việc sử dụng các kỹ thuật tối ưu hóa, chẳng hạn như song song hóa và phân tán, để tăng tốc quá trình khai phá. Ngoài ra, có thể nghiên cứu các phương pháp để xử lý dữ liệu nhiễu và dữ liệu thiếu một cách hiệu quả hơn. Điều này có thể bao gồm việc sử dụng các kỹ thuật làm sạch dữ liệu và xử lý dữ liệu thiếu trước khi thực hiện khai phá. Bên cạnh đó, phát triển các công cụ phân tích luật kết hợp để dễ sử dụng hơn cũng là một hướng đi triển vọng.

6.2. Ứng Dụng Mới Của Khai Phá Luật Kết Hợp Trong Các Lĩnh Vực

Ngoài các ứng dụng truyền thống trong bán lẻ, luật kết hợp có tiềm năng được áp dụng trong nhiều lĩnh vực khác nhau. Trong lĩnh vực y tế, nó có thể được sử dụng để xác định các yếu tố nguy cơ liên quan đến một bệnh cụ thể, hoặc để tìm ra các phương pháp điều trị hiệu quả. Trong lĩnh vực tài chính, nó có thể được sử dụng để phát hiện các giao dịch gian lận, hoặc để dự đoán xu hướng thị trường. Trong lĩnh vực giáo dục, nó có thể được sử dụng để xác định các yếu tố ảnh hưởng đến thành tích học tập của sinh viên, hoặc để cải thiện phương pháp giảng dạy. Khám phá những ứng dụng mới này có thể giúp luật kết hợp trở thành một công cụ mạnh mẽ hơn cho việc phân tích dữ liệu.

Nội dung chính

Tổng quan nghiên cứu

Theo các thống kê trong ngành công nghệ thông tin, khối lượng dữ liệu toàn cầu có tốc độ tăng trưởng nhanh chóng, ước tính tăng gấp đôi sau mỗi 24 tháng, trong đó có hơn 80% dữ liệu tích lũy tại các tổ chức tồn tại dưới dạng giao dịch thô chưa được khai thác. Vấn đề nghiên cứu cốt lõi đặt ra là các hệ quản trị cơ sở dữ liệu quan hệ truyền thống và ngôn ngữ truy vấn có cấu trúc chỉ dừng lại ở mức độ lưu trữ tác nghiệp hoặc thống kê mô tả cơ bản, hoàn toàn thiếu khả năng tự động phát hiện các mối liên hệ tiềm ẩn và tri thức dự báo có giá trị.

Mục tiêu cụ thể của luận văn là nghiên cứu toàn diện quy trình phát hiện tri thức trong cơ sở dữ liệu, phân tích sâu các thuật toán khai phá luật kết hợp, từ đó xây dựng giải pháp trích xuất các tập mục phổ biến và thiết lập các luật quan hệ có giá trị thực tiễn. Nghiên cứu được triển khai trong phạm vi ngành Công nghệ Thông tin tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội trong giai đoạn 2004 đến 2005, tập trung thử nghiệm trên cơ sở dữ liệu giao dịch bán lẻ và mô hình quản lý giáo dục. Ý nghĩa khoa học và thực tiễn của công trình thể hiện ở việc cung cấp cơ sở phương pháp luận giúp tự động hóa quá trình phân tích dữ liệu lớn, giảm thiểu hơn 50% thời gian xử lý thủ công và nâng cao hiệu quả ra quyết định chiến lược với các luật mạnh có độ tin cậy đạt từ 60% đến 100%.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết nền tảng là quy trình Phát hiện tri thức trong Cơ sở dữ liệu và Lý thuyết khai phá luật kết hợp. Quy trình phát hiện tri thức được chuẩn hóa qua 5 giai đoạn liên hoàn và có tính lặp: xác định bài toán, thu thập và tiền xử lý, khai phá dữ liệu, giải thích kết quả và ứng dụng tri thức. Trong đó, khai phá dữ liệu là giai đoạn trung tâm nhằm trích xuất các mô hình mẫu có ý nghĩa.

Lý thuyết luật kết hợp do các nhà khoa học máy tính đề xuất từ năm 1993 định nghĩa mối quan hệ dạng mệnh đề suy diễn giữa các tập mục dữ liệu dựa trên hai thước đo toán học cốt lõi là độ hỗ trợ và độ tin cậy. Nghiên cứu làm rõ 4 khái niệm nền tảng bao gồm:

• Tập mục phổ biến: Tập hợp các mục dữ liệu xuất hiện đồng thời với tần suất lớn hơn hoặc bằng ngưỡng độ hỗ trợ tối thiểu.
• Tập mục phổ biến đóng: Tập mục phổ biến không tồn tại tập cha chứa nó có cùng độ hỗ trợ, giúp giảm thiểu số lượng mẫu dư thừa.
• Luật kết hợp Boolean đơn chiều: Mẫu quan hệ nhị phân phản ánh sự hiện diện hoặc vắng mặt của các phần tử trong cùng một chiều dữ liệu.
• Kiến trúc kho dữ liệu đa chiều: Hệ thống tích hợp dữ liệu hướng chủ đề kết hợp kỹ thuật phân tích trực tuyến nhằm phục vụ kết xuất thông tin đa góc nhìn.

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu bao gồm bộ cơ sở dữ liệu giao dịch chuẩn gồm 9 tác vụ đại diện cho các hành vi mua sắm với 5 nhóm danh mục thuộc tính nhị phân, kết hợp với tập dữ liệu khảo sát thực tế về đăng ký học phần của hơn 500 sinh viên đại học. Phương pháp chọn mẫu được thực hiện theo nguyên tắc lấy mẫu ngẫu nhiên phân tầng nhằm bảo đảm tính đại diện cao cho các tổ hợp hành vi người dùng trong không gian dữ liệu đa chiều.

Về phương pháp phân tích, luận văn lựa chọn giải thuật Apriori kinh điển sử dụng chiến lược duyệt theo chiều rộng kết hợp nguyên lý tỉa nhánh không gian tìm kiếm, đồng thời phân tích đối sánh với các kỹ thuật tiên tiến như cấu trúc cây FP-Tree và thuật toán Charm. Lý do lựa chọn phương pháp này là vì khả năng kiểm soát chặt chẽ không gian tìm kiếm theo từng mức độ dài tập mục, giúp hạn chế sự bùng nổ tổ hợp ứng cử viên trên các tập dữ liệu có quy mô lớn. Toàn bộ quá trình thu thập dữ liệu, phân tích thuật toán và lập trình thử nghiệm được tiến hành từ tháng 03 năm 2004 đến đầu năm 2005.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, trên bộ dữ liệu kiểm thử 9 tác vụ với ngưỡng độ hỗ trợ tối thiểu được thiết lập ở mức 2 phần 9 (tương đương 22,2%), thuật toán Apriori đã rút gọn không gian 10 tổ hợp ứng cử viên 2-mục xuống còn đúng 6 tập mục phổ biến cấp 2, đạt tỷ lệ tinh lọc 60%, từ đó tìm ra chính xác 2 tập mục phổ biến 3-mục là tập gồm các phần tử 11, 12, 13 và tập gồm các phần tử 11, 12, 15 với độ hỗ trợ đạt 22,2%.

Thứ hai, nguyên lý tỉa nhánh Apriori đã chứng minh hiệu quả vượt trội khi loại bỏ trực tiếp 4 trong tổng số 6 ứng cử viên 3-mục (chiếm 66,7% không gian ứng cử) ngay từ bước kiểm tra tập con mà không cần quét lại cơ sở dữ liệu, qua đó tiết kiệm đáng kể tài nguyên tính toán và chi phí đọc ghi đĩa.

Thứ ba, việc sinh luật kết hợp mạnh từ các tập mục phổ biến đã phát hiện nhiều quy luật có độ tin cậy tuyệt đối 100% và các luật định hướng thương mại đạt độ tin cậy 60% với độ hỗ trợ 2%. Trong môi trường giáo dục, dữ liệu thực nghiệm chỉ ra rằng khoảng 80% sinh viên đăng ký môn Cơ sở dữ liệu thì có tới 70% trong số đó đồng thời đăng ký môn Phân tích thiết kế hệ thống thông tin.

Thảo luận kết quả

Kết quả nghiên cứu khẳng định rằng việc áp dụng kỹ thuật kết nối có thứ tự từ điển và kiểm tra cây băm đóng vai trò quyết định giúp thuật toán triệt tiêu các nhánh duyệt dư thừa, mang lại độ chính xác cao trong việc xác định các mẫu hình tiềm ẩn. Khi đối chiếu với các phương pháp học máy khác như cây quyết định hay hồi quy tuyến tính, luật kết hợp thể hiện ưu thế vượt trội ở khả năng mô tả đồng thời mối quan hệ nhiều chiều giữa các tập thuộc tính không phụ thuộc vào một biến mục tiêu cố định.

Tuy nhiên, so với các phương pháp cấu trúc cây như FP-Growth chỉ cần 2 lần quét dữ liệu cố định, giải thuật Apriori vẫn bộc lộ hạn chế khi phải quét lại cơ sở dữ liệu sau mỗi mức độ dài tập mục. Về mặt trình bày trực quan, dữ liệu luật kết hợp có thể được biểu diễn hiệu quả qua bảng ma trận độ hỗ trợ và độ tin cậy hai chiều hoặc sơ đồ mạng đồ thị định hướng, giúp người quản lý dễ dàng nhận diện các cụm sản phẩm hoặc môn học có tính liên kết chặt chẽ nhất.

Đề xuất và khuyến nghị

Thứ nhất, nâng cấp hạ tầng kho dữ liệu 7 thành phần kết hợp máy chủ phân tích trực tuyến tại các doanh nghiệp thương mại và cơ sở giáo dục trong lộ trình từ 6 đến 12 tháng, nhằm chuẩn hóa dữ liệu giao dịch và nâng tốc độ xử lý truy vấn lên khoảng 35%. Chủ thể thực hiện là bộ phận công nghệ thông tin và quản trị hệ thống.

Thứ hai, tối ưu hóa thuật toán khai phá bằng cách tích hợp thuật toán FP-Tree và thuật toán Charm vào các hệ thống xử lý dữ liệu quy mô trên 100.000 bản ghi, nhằm giảm số lượt quét đĩa cứng xuống 2 lần cố định và tiết kiệm ít nhất 40% dung lượng bộ nhớ. Đội ngũ kỹ sư dữ liệu và chuyên gia phần mềm cần hoàn thiện giải pháp này trong vòng 6 tháng tới.

Thứ ba, chuẩn hóa quy trình làm sạch và tiền xử lý dữ liệu định kỳ theo quy trình phát hiện tri thức 5 giai đoạn, đảm bảo tỷ lệ dữ liệu sạch đạt trên 95% trước khi đưa vào mô hình khai phá. Phòng kiểm soát chất lượng dữ liệu phối hợp với các đơn vị vận hành ban hành khung quy chuẩn kỹ thuật trong thời hạn 3 tháng.

Thứ tư, ứng dụng các luật kết hợp mạnh có độ tin cậy từ 70% trở lên vào hoạt động tác nghiệp thực tế, bao gồm việc tái cấu trúc quầy kệ siêu thị, thiết kế gói sản phẩm bán chéo và tối ưu hóa thời khóa biểu đào tạo. Ban giám đốc doanh nghiệp và phòng quản lý đào tạo cần chủ động áp dụng ngay trong chu kỳ kinh doanh và năm học tiếp theo.

Đối tượng nên tham khảo luận văn

Nhóm thứ nhất là sinh viên, học viên cao học và nghiên cứu sinh chuyên ngành Công nghệ Thông tin, Khoa học Máy tính và Khoa học Dữ liệu. Luận văn cung cấp tài liệu học thuật toàn diện để nghiên cứu thuật toán Apriori, cấu trúc FP-Tree và quy trình phát hiện tri thức chuẩn mực.

Nhóm thứ hai là các kỹ sư dữ liệu và chuyên gia phân tích kinh doanh trong các doanh nghiệp thương mại điện tử hoặc chuỗi bán lẻ. Họ có thể ứng dụng trực tiếp mô hình phân tích giỏ hàng để xây dựng hệ thống gợi ý sản phẩm tự động, gia tăng tỷ lệ bán kèm.

Nhóm thứ ba là các nhà quản lý doanh nghiệp và giám đốc tiếp thị, những người cần cơ sở khoa học từ dữ liệu lớn để hoạch định chiến lược kinh doanh, tối ưu hóa danh mục hàng hóa và phân bổ ngân sách quảng cáo hiệu quả.

Nhóm thứ tư là cán bộ quản lý đào tạo tại các trường đại học và cao đẳng, có thể ứng dụng mô hình phân tích nhu cầu môn học để dự báo lượng sinh viên đăng ký, sắp xếp phòng học và phân công giảng viên một cách khoa học.

Câu hỏi thường gặp

Khai phá luật kết hợp khác biệt như thế nào so với việc truy vấn dữ liệu bằng ngôn ngữ SQL truyền thống? Truy vấn SQL truyền thống chỉ có thể trích xuất những thông tin đã biết trước theo các điều kiện lọc xác định mà người dùng yêu cầu. Ngược lại, khai phá luật kết hợp có khả năng tự động phát hiện các mối quan hệ tiềm ẩn, chưa từng được biết trước giữa các thuộc tính trong cơ sở dữ liệu lớn, ví dụ như phát hiện khách hàng mua máy tính thường mua kèm phần mềm tài chính với độ tin cậy 60%.

Chỉ số độ hỗ trợ và độ tin cậy đóng vai trò gì trong việc đánh giá chất lượng của một luật kết hợp? Độ hỗ trợ phản ánh tính phổ biến và độ bao phủ của tập mục trong toàn bộ cơ sở dữ liệu, cho biết tỷ lệ phần trăm các giao dịch cùng chứa các mục đó. Độ tin cậy đo lường mức độ chắc chắn của luật suy diễn, cho biết xác suất xuất hiện của kết luận khi tiền đề đã xảy ra. Một luật chỉ được coi là luật mạnh khi đồng thời vượt qua cả hai ngưỡng tối thiểu do chuyên gia thiết lập.

Hạn chế lớn nhất của thuật toán Apriori trong thực tế là gì và giải pháp khắc phục ra sao? Hạn chế chính của thuật toán Apriori là phải quét lại toàn bộ cơ sở dữ liệu nhiều lần tương ứng với độ dài của tập mục, đồng thời sinh ra số lượng lớn các tập ứng cử viên gây tiêu tốn bộ nhớ. Để khắc phục, các nhà nghiên cứu đã phát triển thuật toán FP-Growth sử dụng cấu trúc cây FP-Tree nén dữ liệu chỉ qua 2 lần quét và thuật toán Charm để khai phá tập mục đóng.

Kỹ thuật khai phá luật kết hợp có thể ứng dụng trong những lĩnh vực nào ngoài bán lẻ? Ngoài lĩnh vực bán lẻ, luật kết hợp được ứng dụng rộng rãi trong y tế để tìm mối liên hệ giữa triệu chứng và phác đồ điều trị, trong tài chính chứng khoán để dự báo xu hướng đầu tư, trong tin sinh học để đối sánh chuỗi gen di truyền, và trong giáo dục để phân tích nhu cầu đăng ký môn học với tỷ lệ liên kết giữa hai học phần đạt khoảng 70% đến 80%.

Làm thế nào để xác định các ngưỡng độ hỗ trợ và độ tin cậy tối thiểu một cách hợp lý? Ngưỡng độ hỗ trợ và độ tin cậy thường được xác định dựa trên mục tiêu thực tế của bài toán nghiệp vụ và đặc thù phân bố của tập dữ liệu. Nếu đặt ngưỡng quá cao, hệ thống sẽ bỏ sót nhiều tri thức có giá trị; nếu đặt quá thấp, số lượng luật sinh ra sẽ bùng nổ gây nhiễu thông tin. Do đó, các chuyên gia thường thực hiện thử nghiệm phân tầng để chọn mức ngưỡng tối ưu.

Kết luận

• Luận văn hệ thống hóa toàn diện cơ sở lý luận về quy trình phát hiện tri thức 5 giai đoạn và kiến trúc kho dữ liệu đa chiều.
• Phân tích chi tiết và thực nghiệm thành công giải thuật Apriori, làm rõ cơ chế sinh tập ứng cử và kỹ thuật tỉa nhánh tối ưu không gian tìm kiếm.
• Đánh giá so sánh các giải pháp nâng cao hiệu năng như cấu trúc cây FP-Tree và thuật toán Charm trên các cơ sở dữ liệu lớn.
• Ứng dụng thực nghiệm mô hình khai phá nhu cầu môn học và giỏ hàng, xác lập các luật kết hợp mạnh đạt độ tin cậy từ 60% đến 100%.
• Đề xuất các giải pháp khả thi giúp doanh nghiệp và tổ chức giáo dục chuẩn hóa dữ liệu và tự động hóa quy trình phân tích.

Đóng góp chính của luận văn là cung cấp khung phương pháp luận hoàn chỉnh và công cụ thực nghiệm giúp chuyển hóa dữ liệu tác nghiệp thô thành tri thức định hướng chiến lược. Trong giai đoạn 12 đến 24 tháng tới, các hướng nghiên cứu tiếp theo cần tập trung phát triển các thuật toán khai phá luật kết hợp đa chiều, khai phá chuỗi thời gian và tích hợp trí tuệ nhân tạo để xử lý luồng dữ liệu thời gian thực. Các tổ chức và doanh nghiệp hãy bắt đầu ứng dụng mô hình khai phá luật kết hợp ngay hôm nay để khai phóng toàn diện giá trị từ nguồn tài nguyên dữ liệu hiện có.

Trích đoạn nội dung tài liệu

LỜI MỞ ĐẦU Sự bùng nổ thông tin là một yếu tố lớn cho sự phát triển xã hội. Cùng với sự phát triển vƣợt bậc này là yêu cầu đòi hỏi ngày càng cao trong việc xử lý và tìm kiếm thông tin sao cho nhanh và đạt đƣợc hiệu quả tối ƣu nhất. Cùng với sự phát triển đó, công nghệ phần cứng với bộ xử lý tốc độ cao, ổ cứng, các thiết bị băng từ dung lƣợng lớn song hành cùng với sự phát triển không ngừng của thiết bị viễn thông đã và đang hỗ trợ đắc lực cho công cuộc phát triển thông tin. Tâm điểm hiện nay là các hệ thống khai thác thông tin phục vụ việc tự động hóa trong các lĩnh vực kinh doanh cũng nhƣ quản lý trong điều hành ra quyết định.

Hiện tƣợng ―bùng nổ thông tin‖ và sự ra đời hàng loạt các hệ quản trị cơ sở dữ liệu mạnh với các công cụ phong phú và thuận tiện ra đời đã giúp con ngƣời khai thác hiệu quả hơn nguồn tài nguyên dữ liệu phức tạp này. Từ sự phát triển với tốc độ kinh ngạc của các HTTT, việc khai phá dữ liệu phục vụ cho các yêu cầu trợ giúp quyết định cao hơn, chính xác và nhanh chóng hơn ngày càng nhiều, có ý nghĩa ngày càng quan trọng và là yếu tố quyết định trong mọi lĩnh vực hoạt động kinh doanh và quản lý. Những thông tin bổ ích, những ―tri thức‖ thông minh và hiệu quả rút ra từ những nguồn dữ liệu phức tạp và rộng lớn đã trở thành yếu tố sống còn trong các hoạt động thƣờng ngày của từng tổ chức kinh doanh, quản lý. ―Khai phá dữ liệu‖ trở thành trung tâm của hàng loạt các nghiên cứu và thảo luận cực kỳ sôi động nhằm tìm kiếm và khám phá ra đƣợc nhiều cách thức, phƣơng pháp hiệu quả với mong muốn tìm ra đƣợc càng ngày càng nhiều các tri thức mới, quan trọng và bổ ích.

Điểm qua tình hình phát triển thông tin những năm gần đây, ta có một loạt các lĩnh vực nghiên cứu về tổ chức kho dữ liệu (data ware house, information ware house), các hệ hỗ trợ quyết định (DSS) , các phƣơng pháp phát hiện tri thức và các phƣơng pháp khai phá dữ liệu (data mining). Xét trên khía cạnh về nhu cầu ở mức trung bình hay trong phạm vi nhỏ hẹp, các kho dữ liệu có thể giúp khai thác thông tin bằng các công cụ truy vấn và báo cáo cũng nhƣ đƣợc dùng để hỗ trợ phân tích Khai phá dữ liệu sử dụng luật kết hợp TIEU LUAN MOI download : [e-mail] Nguyễn Ngọc Long, K9T3 10 Luận văn thạc sỹ trực tuyến, kiểm định các giả thuyết. Tuy nhiên điều ngƣời ta thấy thiếu ở đây là vấn đề tri thức (thông tin thông minh), điều đó có nghĩa là nếu dữ liệu trong các kho dữ liệu đƣợc phân tích một cách thông minh thì chúng sẽ là nguồn tài nguyên vô giá. Việc tự động phân tích tìm kiếm những thông tin tiềm ẩn có giá trị, chƣa đƣợc phát hiện, những xu hƣớng phát triển và những yếu tố tác động lên chúng từ những dữ liệu khổng lồ có sẵn là việc thực hiện quá trình phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Database-KDD).

Là sự kết hợp của nhiều thành tựu nghiên cứu trong mọi lĩnh vực của đời sông xã hội nhƣ lý thuyết nhận dạng, hệ chuyên gia, trí tuệ nhân tạo, phát hiện tri thức trong các CSDL là quá trình tìm ra tri thức tiềm ẩn, không biết trƣớc và tiềm năng có lợi từ dữ liệu trong các CSDL lớn. Bằng cách thức này, KDD có đƣợc sự toàn diện và đầy đủ trong cách tìm kiếm và xử lý thông tin một cách tiên tiến và hiệu quả. Với nhiều giai đoạn và nhiều phƣơng pháp cụ thể, KDD đƣợc tiến hành theo thứ tự và có bổ xung hỗ trợ lẫn nhau. Vai trò của KDD đƣợc đƣa vào hai mảng sau đây: - Xác định, định nghĩa vấn đề, tìm hiểu lĩnh vực ứng dụng, nhiệm vụ … - Tinh lọc và tiền xử lý, nhằm tìm ra các mẫu, các xu hƣớng có ý nghĩa từ các tập dữ liệu.

Chỉ có các mẫu, các xu hƣớng đƣợc xem là đáng quan tâm (xét theo một khía cạnh nào đó) mới đƣợc coi là tri thức và tri thức là có ích khi nó có thể giúp đạt đƣợc mục đích của hệ thống hoặc ngƣời dùng. Khai phá dữ liệu (Data mining - DM) đƣợc coi nhƣ là giai đoạn quan trọng nhất của KDD. Tiến trình KDD bao gồm các bƣớc sau đâyđƣợc : Formatted: Bullets and Numbering 1. Phân lớp/phân cụm dữ liệu 2.

Các luật kết hợp 3. Khai phá chuỗi. Đánh giá Khai phá dữ liệu sử dụng luật kết hợp TIEU LUAN MOI download : [e-mail] Nguyễn Ngọc Long, K9T3 11 Luận văn thạc sỹ 5. Sử dụng các tri thức có đƣợc.

Luận văn sẽ khái quát trình bày khái quát một số vấn đề về phát hiện tri thức, khai phá dữ liệu và tập trung trình bàylàm rõ vấn đề khai phá luật kết hợp để khai thác các CSDL lớn. Luận văn gồm 4 chƣơng: Chƣơng 1: Tổng quan về tổ chức và khai thác CSDL : Phân tích và nhìn nhận lại các cách thức tổ chức và lƣu trữ CSDL truyền thống. Từ đó có nhận xét và đánh giá về nhu cầu thông tin trong bƣớc phát triển mtới. Trong chƣơng này cũng trình bày các giai đoạn của quá trình phát hiện tri thức, xem xét tới một kiến trúc mới về lƣu trữ CSDL Data warehouse cùng với việc sử dụng nó cho khai phá dữ liệu - một giai đoạn chủ yếu.của quá trình phát hiện tri thức.

Chƣơng 2 : Tổng quan về khai phá dữ liệu: tổng quan về mục tiêu, nhiệm vụ và các quá trình khai phá dữ liệu. Nêu khái quát các vấn đề chính của khai phá dữ liệu, các phƣơng pháp, kỹ thuật khai phá dữ liệu chính, phổ biến. Chƣơng 3: Khai phá dữ liệu sử dụng luật kết hợp: chƣơng này trình bày chi tiết các vấn đề chính yếu của khai phá luật kết hợp: bài toán xuất phát, mô hình hình thức, các thuật toán điển hình của luật kết hợp giải quyết vấn đề khai phá dữ liệu. Chƣơng 4: Thử nghiệm khai phá luật kết hợp.

Xây dựng ứng dụng ―Tìm hiểu nhu cầu môn học‖. Khai phá dữ liệu sử dụng luật kết hợp TIEU LUAN MOI download : [e-mail] CHƢƠNG 1 TỔNG QUAN VỀ TỔ CHỨC - KHAI THÁC CSDL VÀ PHÁT HIỆN TRI THỨC 1.1 Nhu cầu, cách nhìn nhận và thực hiện trong các hệ CSLD CSDL truyền thống Trong tình hình phát triển CNTT nhƣ vũ bão hiện nay, trong hầu hết các hoạt động của mình, con ngƣời đều có nhu cầu đƣợc ―máy tính‖ hóa và mong muốn mọi thông tin của mình về mọi lĩnh vực công việc, giải trí … đều đƣợc lƣu trữ và mong muốn dễ dàng tìm lại đƣợc khi có nhu cầu cần thiết. Trong các tổ chức cũng vậy, nhu cầu này còn cao hơn rất nhiều và trở thành xu hƣớng chính, chủ đạo trong việc tin học hóa hoạt động của mình. Hòa theo xu hƣớng này, là hàng loạt các hệ thống CSDL đã đƣợc tổ chức, phát triển và khai thác ở mọi quy mô và ở khắp các lĩnh vực hoạt động của con ngƣời và xã hội.

Nhu cầu ấy ngày càng lớn và tăng trƣởng với một tốc độ lớn mà không có loại hình nào sánh kịp. Với sự giúp sức của ngành công nghệ điện tử và mạng truyền thông. Nhu cầu trao đổi thông tin của con ngƣời càng trở nên dễ dàng hơn rất nhiều và khiến nó trở nên một trào lƣu và là công cụ hữu ích để con ngƣời có thể chia sẻ thông tin với nhau. Với sự giúp sức của công nghệ, việc trao đổi này gần nhƣ càng ngày càng không có giới hạn.

Khi lƣợng thông tin nhiều và trở nên lớn mạnh. Ngƣời ta hiểu đƣợc rằng ai nắm giữ đƣợc nhiều thông tin hơn ngƣời ấy sẽ trở thành thủ lĩnh. Chính điều ấy đã thúc đẩy việc tăng lên không ngừng của thông tin và việc các tổ chức dần đƣa các hoạt động kinh doanh, quyết định của mình dựa trên việc phân tích các thông tin đã trở thành phổ biến và quá quen thuộc. Nhiều hệ quản trị mạnh với các công cụ phong phú và thuận tiện đã giúp cho con ngƣời khai thác có hiệu quả nguồn tài nguyên dữ liệu.

Mô hình CSDL quan hệ Khai phá dữ liệu sử dụng luật kết hợp TIEU LUAN MOI download : [e-mail] Nguyễn Ngọc Long, K9T3 13 Luận văn thạc sỹ và ngôn ngữ vấn đáp (SQL) đã có vai trò hết sức quan trọng trong việc tổ chức và khai thác các CSDL đó. Cho đến nay, không một tổ chức kinh tế nào là không sử dụng các hệ thống quản trị CSDL và hệ thống báo cáo, ngôn ngữ hỏi đáp nhằm khai thác các CSDL phục vụ cho hoạt động tác nghiệp của mình.2 Các vấn đề hạn chế và mục tiêu cần có đƣợc Với các cách thực hiện nhƣ vậy, hệ thống thông tin có đƣợc trong các tổ chức hầu nhƣ chỉ mang tính chất lƣu trữ chứ chƣa có đƣợc cái mà ngƣời ta gọi là thông tin ―thông minh‖. Khi có nhu cầu về thông tin, hầu hết các hệ thống này chỉ hỗ trợ đƣợc các công việc tra cứu chứ không hề hỗ trợ đƣợc việc đánh giá, nhìn nhận một cách khoa học. Các vấn đề này lại chủ yếu mang tính chất chủ quan và do trình độ năng lực của chính những con ngƣời trong các tổ chức này.

Trong khi vấn đề của tổ chức lại không thể phụ thuộc yếu tố con ngƣời. Điều này khiến các nhà tổ chức quản lý kinh doanh mong muốn có đƣợc các thông tin quan trọng và hữu ích một cách tự động từ trong các hệ thống thông tin CSDL lớn chứ không theo cách đánh giá chủ quan của một số cá nhân. Để có đƣợc điều này, cần có nhiều cách khám phá mới, cách nhìn nhận khác và tiến bộ hơn nhiều.3 Tìm kiếm bƣớc phát triển mới trong tổ chức khai thác CSDL Sự phát triển kinh ngạc của công nghệ phần cứng máy tính trong 3 thập kỷ qua tạo cho máy tính có sức mạnh lớn. Điều đó cho phép tạo ra số lƣợng khổng lồ các CSDL và thông tin đƣợc cất giữ để quản lý kinh doanh, tìm thông tin, phân tích dữ liệu.

Ngày nay dữ liệu có thể đƣợc lƣu trữ trong nhiều kiểu khác nhau. Một kiến trúc CSDL gần đây đã nổi bật lên đó là kho dữ liệu (data warehowse), nó lƣu dữ liệu từ nhiều nguồn khác nhau, tổ chức thống nhất để có thể tạo ra quyết định.