Luận văn thạc sĩ: Khai phá dữ liệu sử dụng luật kết hợp (Nguyễn Ngọc Long)

Luận văn thạc sĩ khai phá dữ liệu: Ứng dụng luật kết hợp. Nghiên cứu chuyên sâu về khai phá dữ liệu, sử dụng luật kết hợp để phân tích và tìm kiếm tri thức hữu ích.

• Tác giả: Nguyễn Ngọc Long
• Người hướng dẫn: PGS. Vũ Đức Thi
• Trường học: Trường Đại học Công Nghệ
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Khai phá dữ liệu sử dụng luật kết hợp
• Loại tài liệu: Luận văn thạc sỹ
• Năm xuất bản: 2005
• Địa điểm: Hà Nội

Mục lục chi tiết

• TÓM TẮT
• MỞ ĐẦU
• 1. CHƢƠNG 1 TỔNG QUAN VỀ TỔ CHỨC - KHAI THÁC CSDL VÀ PHÁT HIỆN TRI THỨC
• 1.1. Nhu cầu, cách nhìn nhận và thực hiện trong các hệ CSDL truyền thống
• 1.2. Các vấn đề hạn chế và mục tiêu cần có đƣợc
• 1.3. Tìm kiếm bƣớc phát triển mới trong tổ chức khai thác CSDL
• 1.4. Quá trình phát hiện tri thức
• 1.4.1. Phát hiện tri thức
• 1.4.2. Các giai đoạn của quá trình phát hiện tri thức
• 2. CHƢƠNG 2 TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU
• 2.1. Mục tiêu của khai phá dữ liệu
• 2.2. Các quá trình khai phá dữ liệu
• 2.3. Các công việc chính của khai phá dữ liệu
• 2.4. Kiến trúc của hệ thống khai phá dữ liệu
• 2.5. Các thành phần của giải thuật khai phá dữ liệu
• 2.6. Các hƣớng tiếp cận cơ bản và kỹ thuật áp dụng
• 2.7. Các ứng dụng của khai phá dữ liệu
• 2.8. Một số phƣơng pháp khai phá dữ liệu phổ biến
• 2.8.1. Phƣơng pháp quy nạp (induction). Cây quyết định và luật
• 2.8.2. Phát hiện các luật kết hợp
• 2.8.3. Phân nhóm và phân đoạn (Clasterring and Segmentation)
• 2.8.4. Các phƣơng pháp dựa trên mẫu
• 2.8.5. Mô hình phụ thuộc dựa trên đồ thị xác xuất
• 2.8.6. Mô hình học quan hệ
• 2.8.7. Khai phá dữ liệu văn bản
• 2.8.8. Giải thuật di truyền
• 2.9. Nhìn nhận và đánh giá chung
• 3. CHƢƠNG 3 KHAI PHÁ DỮ LIỆU SỬ DỤNG LUẬT KẾT HỢP
• 3.1. Luật kết hợp. Các khái niệm cơ sở
• 3.2. Một số tính chất của tập mục phổ biến và luật kết hợp
• 3.3. Các loại luật kết hợp
• 3.4. Khai phá luật kết hợp đơn chiều, đơn mức, luật kết hợp Boolean
• 3.5. Thuật toán Apriori
• 3.6. Phát triển thuật toán Apriori
• 3.7. Thuật toán sinh các luật kết hợp từ tập mục phổ biến
• 3.8. Khai phá tập mục phổ biến không sinh các ứng cử
• 3.9. Khai phá luật kết hợp định lƣợng
• 3.10. Khai phá luật kết hợp đa mức
• 3.10.1. Luật kết hợp đa mức
• 3.10.2. Các cách tiếp cận khai phá luật kết hợp đa mức
• 3.11. Khai phá luật kết hợp đóng
• 3.12. Khắc phục hạn chế của thuật toán Apriori
• 3.13. Tập mục phổ biến đóng
• 3.14. Thuật toán Charm
• 4. CHƢƠNG 4 THỬ NGHIỆM KHAI PHÁ LUẬT KẾT HỢP
• 4.1. Mô tả dữ liệu
• 4.2. Xây dựng chƣơng trình
• 4.3. Kết quả thu đƣợc
• KẾT LUẬN CỦA LUẬN VĂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Luận Văn Thạc Sĩ Về Khai Phá Dữ Liệu Luật Kết Hợp

Luận văn thạc sĩ về khai phá dữ liệu sử dụng luật kết hợp là một lĩnh vực nghiên cứu quan trọng, đặc biệt trong bối cảnh bùng nổ dữ liệu. Luận văn này tập trung vào việc khám phá và áp dụng các thuật toán khai phá luật kết hợp để tìm ra các mối quan hệ tiềm ẩn trong các tập dữ liệu lớn. Mục tiêu chính là trích xuất thông tin có giá trị, hỗ trợ ra quyết định trong nhiều lĩnh vực khác nhau, từ kinh doanh đến khoa học. Các khái niệm cơ bản như độ hỗ trợ (support), độ tin cậy (confidence) và độ nâng (lift) đóng vai trò then chốt trong việc đánh giá hiệu quả của các luật kết hợp. Theo Nguyễn Ngọc Long (2005), "Khai phá dữ liệu trở thành trung tâm của hàng loạt các nghiên cứu và thảo luận cực kỳ sôi động nhằm tìm kiếm và khám phá ra được nhiều cách thức, phương pháp hiệu quả với mong muốn tìm ra được càng ngày càng nhiều các tri thức mới, quan trọng và bổ ích." Điều này nhấn mạnh tầm quan trọng của data mining trong việc tạo ra tri thức từ big data.

1.1. Vai Trò Của Luật Kết Hợp Trong Khai Phá Dữ Liệu

Luật kết hợp là một trong những kỹ thuật cốt lõi của khai phá dữ liệu. Nó cho phép chúng ta khám phá các mối quan hệ giữa các biến hoặc các mục trong một tập dữ liệu. Ví dụ, trong lĩnh vực bán lẻ, phân tích giỏ hàng (market basket analysis) sử dụng luật kết hợp để xác định các sản phẩm thường được mua cùng nhau. Điều này có thể giúp các nhà bán lẻ tối ưu hóa bố trí sản phẩm, thiết kế các chương trình khuyến mãi hiệu quả và cải thiện doanh số bán hàng. Việc hiểu rõ các khái niệm cơ bản về luật kết hợp như độ hỗ trợ, độ tin cậy, và độ nâng là yếu tố then chốt để áp dụng thành công kỹ thuật này. Các công cụ như Weka, R, Python, và SPSS Modeler thường được sử dụng để thực hiện phân tích luật kết hợp.

1.2. Ứng Dụng Của Khai Phá Luật Kết Hợp Trong Thực Tế

Ứng dụng luật kết hợp trong khai phá dữ liệu rất đa dạng và phong phú. Trong lĩnh vực y tế, nó có thể được sử dụng để xác định các yếu tố nguy cơ liên quan đến một bệnh cụ thể, hoặc để tìm ra các phương pháp điều trị hiệu quả. Trong lĩnh vực tài chính, nó có thể được sử dụng để phát hiện các giao dịch gian lận, hoặc để dự đoán xu hướng thị trường. Các ví dụ cụ thể bao gồm việc sử dụng luật kết hợp để xác định các sản phẩm thường được mua cùng nhau trên một trang web thương mại điện tử, hoặc để tìm ra các mối quan hệ giữa các triệu chứng bệnh trong một hồ sơ bệnh án. Điều này giúp các tổ chức đưa ra quyết định dựa trên dữ liệu, cải thiện hiệu quả hoạt động và tăng cường khả năng cạnh tranh. Khai phá dữ liệu sử dụng luật kết hợp rất cần thiết trong phân tích dữ liệu lớn.

II. Thách Thức Các Vấn Đề Trong Luận Văn Khai Phá Dữ Liệu Luật Kết Hợp

Việc khai phá dữ liệu sử dụng luật kết hợp không phải lúc nào cũng dễ dàng. Một trong những thách thức lớn nhất là xử lý các tập dữ liệu lớn. Các thuật toán association rule mining có thể tốn kém về mặt tính toán, đặc biệt khi số lượng mục và giao dịch tăng lên. Một thách thức khác là đánh giá hiệu quả của các luật kết hợp. Không phải tất cả các luật đều hữu ích hoặc có ý nghĩa. Việc xác định các luật quan trọng nhất và loại bỏ các luật không liên quan là một nhiệm vụ quan trọng. Ngoài ra, việc giải thích và trình bày các luật kết hợp một cách dễ hiểu cho người dùng không chuyên cũng là một thách thức.

2.1. Vấn Đề Xử Lý Dữ Liệu Lớn Trong Khai Phá Luật Kết Hợp

Khi làm việc với big data, các thuật toán khai phá luật kết hợp phải đối mặt với nhiều thách thức. Đầu tiên, thời gian tính toán có thể tăng lên đáng kể khi kích thước dữ liệu tăng lên. Điều này đòi hỏi phải sử dụng các kỹ thuật tối ưu hóa, chẳng hạn như thuật toán Apriori cải tiến hoặc các phương pháp song song hóa. Thứ hai, việc quản lý bộ nhớ có thể trở thành một vấn đề, đặc biệt khi số lượng mục và giao dịch lớn. Điều này đòi hỏi phải sử dụng các cấu trúc dữ liệu hiệu quả và các kỹ thuật giảm thiểu bộ nhớ. Cuối cùng, việc xử lý dữ liệu nhiễu và dữ liệu thiếu có thể ảnh hưởng đến chất lượng của các luật kết hợp. Điều này đòi hỏi phải sử dụng các kỹ thuật làm sạch dữ liệu và xử lý dữ liệu thiếu trước khi thực hiện phân tích luật kết hợp. Việc đánh giá hiệu quả thuật toán luật kết hợp là vô cùng quan trọng.

2.2. Đánh Giá Và Lựa Chọn Luật Kết Hợp Phù Hợp

Việc đánh giá và lựa chọn các luật kết hợp phù hợp là một bước quan trọng trong khai phá dữ liệu. Các độ đo như độ hỗ trợ, độ tin cậy, và độ nâng có thể được sử dụng để đánh giá chất lượng của các luật. Tuy nhiên, các độ đo này không phải lúc nào cũng đủ để xác định các luật quan trọng nhất. Ví dụ, một luật có độ hỗ trợ cao có thể không có ý nghĩa thực tế, hoặc một luật có độ tin cậy cao có thể chỉ phản ánh một mối quan hệ ngẫu nhiên. Do đó, cần phải sử dụng các phương pháp bổ sung, chẳng hạn như phân tích trực quan hoặc đánh giá chuyên gia, để xác định các luật có giá trị nhất. Việc đánh giá hiệu quả thuật toán luật kết hợp còn cần phải xem xét tới tính dễ hiểu của luật.

III. Phương Pháp Thuật Toán Apriori Trong Luận Văn Khai Phá Dữ Liệu

Trong khai phá dữ liệu sử dụng luật kết hợp, thuật toán Apriori đóng vai trò quan trọng. Thuật toán này sử dụng cách tiếp cận lặp đi lặp lại để tìm kiếm các tập mục phổ biến trong một tập dữ liệu lớn. Bằng cách bắt đầu với các tập mục đơn lẻ và dần dần mở rộng chúng, Apriori có thể xác định các mẫu mà không cần phải duyệt toàn bộ không gian tìm kiếm. Apriori đặc biệt hữu ích trong các ứng dụng như phân tích giỏ hàng, nơi cần xác định các sản phẩm thường được mua cùng nhau. Theo tài liệu gốc, thuật toán Apriori hoạt động bằng cách "sinh ra các tập ứng cử để tính trong một lần duyệt bằng việc sử dụng chỉ các tập mục đã được tìm thấy là phổ biến trong lần duyệt trước đó mà không cần quan tâm tới các tác vụ trong CSDL." Điều này giúp giảm đáng kể thời gian tính toán và làm cho Apriori trở thành một lựa chọn phổ biến trong data mining.

3.1. Quy Trình Hoạt Động Của Thuật Toán Apriori

Thuật toán Apriori hoạt động theo một quy trình rõ ràng gồm hai bước chính: bước kết nối và bước tỉa. Trong bước kết nối, thuật toán tạo ra các ứng cử viên tập mục từ các tập mục phổ biến đã được tìm thấy trong lần lặp trước đó. Trong bước tỉa, thuật toán loại bỏ các ứng cử viên không đáp ứng ngưỡng hỗ trợ tối thiểu. Quy trình này lặp lại cho đến khi không còn ứng cử viên nào được tạo ra. Ưu điểm của Apriori là tính đơn giản và dễ hiểu, nhưng nó cũng có một số hạn chế, đặc biệt là khi làm việc với dữ liệu lớn. Một trong những hạn chế đó là việc cần phải quét dữ liệu nhiều lần, điều này có thể tốn kém về mặt thời gian. Tuy nhiên, các biến thể và cải tiến của Apriori đã được phát triển để giảm thiểu những hạn chế này.

3.2. Ưu Điểm Và Hạn Chế Của Thuật Toán Apriori

Mặc dù thuật toán Apriori là một công cụ mạnh mẽ để khai phá luật kết hợp, nó cũng có những ưu điểm và hạn chế cần được xem xét. Ưu điểm lớn nhất của Apriori là tính đơn giản và dễ hiểu. Nó cũng có khả năng tìm ra các tập mục phổ biến một cách hiệu quả trong nhiều loại dữ liệu khác nhau. Tuy nhiên, Apriori cũng có một số hạn chế. Đầu tiên, nó có thể tốn kém về mặt tính toán khi làm việc với dữ liệu lớn. Thứ hai, nó có thể tạo ra một số lượng lớn các ứng cử viên tập mục, điều này có thể làm chậm quá trình khai phá. Cuối cùng, nó có thể không hiệu quả trong việc tìm kiếm các luật kết hợp có độ hỗ trợ thấp. Các thuật toán khai phá luật kết hợp khác, như FP-Growth, đã được phát triển để khắc phục những hạn chế này.

IV. FP Growth Giải Pháp Thay Thế Apriori Trong Khai Phá Dữ Liệu

FP-Growth (Frequent Pattern Growth) là một thuật toán khai phá luật kết hợp hiệu quả, khắc phục những nhược điểm của Apriori bằng cách không tạo ra các tập ứng cử rõ ràng. Thay vào đó, nó xây dựng một cấu trúc cây gọi là FP-Tree (Frequent Pattern Tree), biểu diễn dữ liệu một cách nén. Điều này cho phép FP-Growth tìm kiếm các tập mục phổ biến mà không cần phải quét dữ liệu nhiều lần. FP-Growth đặc biệt hữu ích khi làm việc với các tập dữ liệu lớn, nơi Apriori có thể trở nên quá chậm. Cấu trúc cây FP-Tree sẽ giúp tối ưu hóa các thao tác, giúp cho việc khai phá dữ liệu trở nên nhanh chóng hơn.

4.1. Cách Thức Hoạt Động Của Thuật Toán FP Growth

Thuật toán FP-Growth hoạt động theo hai bước chính. Đầu tiên, nó xây dựng một FP-Tree từ tập dữ liệu. FP-Tree là một cấu trúc cây biểu diễn các tập mục và tần suất xuất hiện của chúng. Thứ hai, nó khai phá các tập mục phổ biến từ FP-Tree bằng cách sử dụng một quy trình gọi là FP-Growth mining. Quy trình này bắt đầu từ các nút lá của cây và dần dần di chuyển lên gốc, tìm kiếm các mẫu phổ biến. Ưu điểm của FP-Growth là nó không cần phải tạo ra các tập ứng cử rõ ràng, điều này giúp giảm đáng kể thời gian tính toán so với Apriori.

4.2. So Sánh FP Growth Và Apriori Hiệu Quả Và Ứng Dụng

So với Apriori, FP-Growth có một số ưu điểm và nhược điểm. Ưu điểm lớn nhất của FP-Growth là hiệu quả của nó khi làm việc với dữ liệu lớn. Nó cũng có khả năng tìm kiếm các luật kết hợp có độ hỗ trợ thấp một cách hiệu quả hơn. Tuy nhiên, FP-Growth có thể phức tạp hơn để triển khai và hiểu so với Apriori. Ngoài ra, nó có thể yêu cầu nhiều bộ nhớ hơn để lưu trữ FP-Tree. Lựa chọn giữa Apriori và FP-Growth phụ thuộc vào kích thước và đặc điểm của dữ liệu, cũng như yêu cầu hiệu suất của ứng dụng. Với phân tích dữ liệu lớn, FP-Growth thường được ưa chuộng hơn, nhưng Apriori vẫn có thể là lựa chọn phù hợp cho các tập dữ liệu nhỏ hơn hoặc các ứng dụng đơn giản.

V. Ứng Dụng Khai Phá Luật Kết Hợp Trong Phân Tích Giỏ Hàng Thực Tế

Luật kết hợp có rất nhiều ứng dụng thực tế, nhưng có lẽ ứng dụng phổ biến nhất là trong phân tích giỏ hàng (market basket analysis). Đây là quá trình xác định các sản phẩm thường được mua cùng nhau bởi khách hàng. Thông tin này có thể được sử dụng để tối ưu hóa bố trí sản phẩm, thiết kế các chương trình khuyến mãi hiệu quả và cải thiện doanh số bán hàng. Ví dụ, nếu phân tích cho thấy rằng khách hàng thường mua bia và tã cùng nhau, nhà bán lẻ có thể đặt hai sản phẩm này gần nhau để tăng doanh số bán hàng. Hoặc họ có thể tạo ra một chương trình khuyến mãi đặc biệt cho khách hàng mua cả hai sản phẩm.

5.1. Tối Ưu Hóa Bố Trí Sản Phẩm Trong Bán Lẻ Dựa Trên Luật Kết Hợp

Một trong những ứng dụng trực tiếp nhất của phân tích giỏ hàng là tối ưu hóa bố trí sản phẩm trong cửa hàng bán lẻ. Bằng cách xác định các sản phẩm thường được mua cùng nhau, nhà bán lẻ có thể đặt các sản phẩm này gần nhau để tăng khả năng khách hàng sẽ mua cả hai. Ví dụ, nếu phân tích cho thấy rằng khách hàng thường mua cà phê và bánh ngọt cùng nhau, nhà bán lẻ có thể đặt hai sản phẩm này gần khu vực thanh toán để thu hút khách hàng. Hoặc họ có thể đặt các sản phẩm liên quan đến nhau (ví dụ, kem cạo râu và dao cạo) gần nhau để tăng doanh số bán hàng.

5.2. Thiết Kế Chương Trình Khuyến Mãi Hiệu Quả Từ Phân Tích Luật Kết Hợp

Luật kết hợp cũng có thể được sử dụng để thiết kế các chương trình khuyến mãi hiệu quả. Bằng cách xác định các sản phẩm thường được mua cùng nhau, nhà bán lẻ có thể tạo ra các chương trình khuyến mãi đặc biệt cho khách hàng mua cả hai sản phẩm. Ví dụ, họ có thể giảm giá cho khách hàng mua cả bia và tã, hoặc tặng một sản phẩm miễn phí cho khách hàng mua một số lượng sản phẩm nhất định. Các chương trình khuyến mãi này có thể giúp tăng doanh số bán hàng và thu hút khách hàng mới. Ngoài ra, còn có thể giúp ích cho việc phân tích dữ liệu lớn.

VI. Kết Luận Hướng Phát Triển Luận Văn Về Khai Phá Dữ Liệu Luật Kết Hợp

Luận văn thạc sĩ về khai phá dữ liệu sử dụng luật kết hợp là một lĩnh vực nghiên cứu đang phát triển nhanh chóng, với nhiều hướng đi tiềm năng. Các nghiên cứu trong tương lai có thể tập trung vào việc phát triển các thuật toán khai phá luật kết hợp hiệu quả hơn, đặc biệt là cho các tập dữ liệu lớn. Ngoài ra, có thể khám phá các ứng dụng mới của luật kết hợp trong các lĩnh vực khác nhau, chẳng hạn như y tế, tài chính, và giáo dục. Cuối cùng, có thể nghiên cứu các phương pháp để giải thích và trình bày các luật kết hợp một cách dễ hiểu cho người dùng không chuyên. Theo Nguyễn Ngọc Long, khai phá dữ liệu có một tiềm năng to lớn trong việc tạo ra những lợi nhuận đáng kể trong nền kinh tế, vì vậy, các nghiên cứu sâu rộng trong lĩnh vực này là vô cùng cần thiết.

6.1. Các Hướng Nghiên Cứu Tiềm Năng Trong Tương Lai

Trong tương lai, các nghiên cứu có thể tập trung vào phát triển các thuật toán khai phá luật kết hợp hiệu quả hơn. Điều này có thể bao gồm việc sử dụng các kỹ thuật tối ưu hóa, chẳng hạn như song song hóa và phân tán, để tăng tốc quá trình khai phá. Ngoài ra, có thể nghiên cứu các phương pháp để xử lý dữ liệu nhiễu và dữ liệu thiếu một cách hiệu quả hơn. Điều này có thể bao gồm việc sử dụng các kỹ thuật làm sạch dữ liệu và xử lý dữ liệu thiếu trước khi thực hiện khai phá. Bên cạnh đó, phát triển các công cụ phân tích luật kết hợp để dễ sử dụng hơn cũng là một hướng đi triển vọng.

6.2. Ứng Dụng Mới Của Khai Phá Luật Kết Hợp Trong Các Lĩnh Vực

Ngoài các ứng dụng truyền thống trong bán lẻ, luật kết hợp có tiềm năng được áp dụng trong nhiều lĩnh vực khác nhau. Trong lĩnh vực y tế, nó có thể được sử dụng để xác định các yếu tố nguy cơ liên quan đến một bệnh cụ thể, hoặc để tìm ra các phương pháp điều trị hiệu quả. Trong lĩnh vực tài chính, nó có thể được sử dụng để phát hiện các giao dịch gian lận, hoặc để dự đoán xu hướng thị trường. Trong lĩnh vực giáo dục, nó có thể được sử dụng để xác định các yếu tố ảnh hưởng đến thành tích học tập của sinh viên, hoặc để cải thiện phương pháp giảng dạy. Khám phá những ứng dụng mới này có thể giúp luật kết hợp trở thành một công cụ mạnh mẽ hơn cho việc phân tích dữ liệu.

Trích đoạn nội dung tài liệu

LỜI MỞ ĐẦU Sự bùng nổ thông tin là một yếu tố lớn cho sự phát triển xã hội. Cùng với sự phát triển vƣợt bậc này là yêu cầu đòi hỏi ngày càng cao trong việc xử lý và tìm kiếm thông tin sao cho nhanh và đạt đƣợc hiệu quả tối ƣu nhất. Cùng với sự phát triển đó, công nghệ phần cứng với bộ xử lý tốc độ cao, ổ cứng, các thiết bị băng từ dung lƣợng lớn song hành cùng với sự phát triển không ngừng của thiết bị viễn thông đã và đang hỗ trợ đắc lực cho công cuộc phát triển thông tin. Tâm điểm hiện nay là các hệ thống khai thác thông tin phục vụ việc tự động hóa trong các lĩnh vực kinh doanh cũng nhƣ quản lý trong điều hành ra quyết định.

Hiện tƣợng ―bùng nổ thông tin‖ và sự ra đời hàng loạt các hệ quản trị cơ sở dữ liệu mạnh với các công cụ phong phú và thuận tiện ra đời đã giúp con ngƣời khai thác hiệu quả hơn nguồn tài nguyên dữ liệu phức tạp này. Từ sự phát triển với tốc độ kinh ngạc của các HTTT, việc khai phá dữ liệu phục vụ cho các yêu cầu trợ giúp quyết định cao hơn, chính xác và nhanh chóng hơn ngày càng nhiều, có ý nghĩa ngày càng quan trọng và là yếu tố quyết định trong mọi lĩnh vực hoạt động kinh doanh và quản lý. Những thông tin bổ ích, những ―tri thức‖ thông minh và hiệu quả rút ra từ những nguồn dữ liệu phức tạp và rộng lớn đã trở thành yếu tố sống còn trong các hoạt động thƣờng ngày của từng tổ chức kinh doanh, quản lý. ―Khai phá dữ liệu‖ trở thành trung tâm của hàng loạt các nghiên cứu và thảo luận cực kỳ sôi động nhằm tìm kiếm và khám phá ra đƣợc nhiều cách thức, phƣơng pháp hiệu quả với mong muốn tìm ra đƣợc càng ngày càng nhiều các tri thức mới, quan trọng và bổ ích.

Điểm qua tình hình phát triển thông tin những năm gần đây, ta có một loạt các lĩnh vực nghiên cứu về tổ chức kho dữ liệu (data ware house, information ware house), các hệ hỗ trợ quyết định (DSS) , các phƣơng pháp phát hiện tri thức và các phƣơng pháp khai phá dữ liệu (data mining). Xét trên khía cạnh về nhu cầu ở mức trung bình hay trong phạm vi nhỏ hẹp, các kho dữ liệu có thể giúp khai thác thông tin bằng các công cụ truy vấn và báo cáo cũng nhƣ đƣợc dùng để hỗ trợ phân tích Khai phá dữ liệu sử dụng luật kết hợp TIEU LUAN MOI download : [e-mail] Nguyễn Ngọc Long, K9T3 10 Luận văn thạc sỹ trực tuyến, kiểm định các giả thuyết. Tuy nhiên điều ngƣời ta thấy thiếu ở đây là vấn đề tri thức (thông tin thông minh), điều đó có nghĩa là nếu dữ liệu trong các kho dữ liệu đƣợc phân tích một cách thông minh thì chúng sẽ là nguồn tài nguyên vô giá. Việc tự động phân tích tìm kiếm những thông tin tiềm ẩn có giá trị, chƣa đƣợc phát hiện, những xu hƣớng phát triển và những yếu tố tác động lên chúng từ những dữ liệu khổng lồ có sẵn là việc thực hiện quá trình phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Database-KDD).

Là sự kết hợp của nhiều thành tựu nghiên cứu trong mọi lĩnh vực của đời sông xã hội nhƣ lý thuyết nhận dạng, hệ chuyên gia, trí tuệ nhân tạo, phát hiện tri thức trong các CSDL là quá trình tìm ra tri thức tiềm ẩn, không biết trƣớc và tiềm năng có lợi từ dữ liệu trong các CSDL lớn. Bằng cách thức này, KDD có đƣợc sự toàn diện và đầy đủ trong cách tìm kiếm và xử lý thông tin một cách tiên tiến và hiệu quả. Với nhiều giai đoạn và nhiều phƣơng pháp cụ thể, KDD đƣợc tiến hành theo thứ tự và có bổ xung hỗ trợ lẫn nhau. Vai trò của KDD đƣợc đƣa vào hai mảng sau đây: - Xác định, định nghĩa vấn đề, tìm hiểu lĩnh vực ứng dụng, nhiệm vụ … - Tinh lọc và tiền xử lý, nhằm tìm ra các mẫu, các xu hƣớng có ý nghĩa từ các tập dữ liệu.

Chỉ có các mẫu, các xu hƣớng đƣợc xem là đáng quan tâm (xét theo một khía cạnh nào đó) mới đƣợc coi là tri thức và tri thức là có ích khi nó có thể giúp đạt đƣợc mục đích của hệ thống hoặc ngƣời dùng. Khai phá dữ liệu (Data mining - DM) đƣợc coi nhƣ là giai đoạn quan trọng nhất của KDD. Tiến trình KDD bao gồm các bƣớc sau đâyđƣợc : Formatted: Bullets and Numbering 1. Phân lớp/phân cụm dữ liệu 2.

Các luật kết hợp 3. Khai phá chuỗi. Đánh giá Khai phá dữ liệu sử dụng luật kết hợp TIEU LUAN MOI download : [e-mail] Nguyễn Ngọc Long, K9T3 11 Luận văn thạc sỹ 5. Sử dụng các tri thức có đƣợc.

Luận văn sẽ khái quát trình bày khái quát một số vấn đề về phát hiện tri thức, khai phá dữ liệu và tập trung trình bàylàm rõ vấn đề khai phá luật kết hợp để khai thác các CSDL lớn. Luận văn gồm 4 chƣơng: Chƣơng 1: Tổng quan về tổ chức và khai thác CSDL : Phân tích và nhìn nhận lại các cách thức tổ chức và lƣu trữ CSDL truyền thống. Từ đó có nhận xét và đánh giá về nhu cầu thông tin trong bƣớc phát triển mtới. Trong chƣơng này cũng trình bày các giai đoạn của quá trình phát hiện tri thức, xem xét tới một kiến trúc mới về lƣu trữ CSDL Data warehouse cùng với việc sử dụng nó cho khai phá dữ liệu - một giai đoạn chủ yếu.của quá trình phát hiện tri thức.

Chƣơng 2 : Tổng quan về khai phá dữ liệu: tổng quan về mục tiêu, nhiệm vụ và các quá trình khai phá dữ liệu. Nêu khái quát các vấn đề chính của khai phá dữ liệu, các phƣơng pháp, kỹ thuật khai phá dữ liệu chính, phổ biến. Chƣơng 3: Khai phá dữ liệu sử dụng luật kết hợp: chƣơng này trình bày chi tiết các vấn đề chính yếu của khai phá luật kết hợp: bài toán xuất phát, mô hình hình thức, các thuật toán điển hình của luật kết hợp giải quyết vấn đề khai phá dữ liệu. Chƣơng 4: Thử nghiệm khai phá luật kết hợp.

Xây dựng ứng dụng ―Tìm hiểu nhu cầu môn học‖. Khai phá dữ liệu sử dụng luật kết hợp TIEU LUAN MOI download : [e-mail] CHƢƠNG 1 TỔNG QUAN VỀ TỔ CHỨC - KHAI THÁC CSDL VÀ PHÁT HIỆN TRI THỨC 1.1 Nhu cầu, cách nhìn nhận và thực hiện trong các hệ CSLD CSDL truyền thống Trong tình hình phát triển CNTT nhƣ vũ bão hiện nay, trong hầu hết các hoạt động của mình, con ngƣời đều có nhu cầu đƣợc ―máy tính‖ hóa và mong muốn mọi thông tin của mình về mọi lĩnh vực công việc, giải trí … đều đƣợc lƣu trữ và mong muốn dễ dàng tìm lại đƣợc khi có nhu cầu cần thiết. Trong các tổ chức cũng vậy, nhu cầu này còn cao hơn rất nhiều và trở thành xu hƣớng chính, chủ đạo trong việc tin học hóa hoạt động của mình. Hòa theo xu hƣớng này, là hàng loạt các hệ thống CSDL đã đƣợc tổ chức, phát triển và khai thác ở mọi quy mô và ở khắp các lĩnh vực hoạt động của con ngƣời và xã hội.

Nhu cầu ấy ngày càng lớn và tăng trƣởng với một tốc độ lớn mà không có loại hình nào sánh kịp. Với sự giúp sức của ngành công nghệ điện tử và mạng truyền thông. Nhu cầu trao đổi thông tin của con ngƣời càng trở nên dễ dàng hơn rất nhiều và khiến nó trở nên một trào lƣu và là công cụ hữu ích để con ngƣời có thể chia sẻ thông tin với nhau. Với sự giúp sức của công nghệ, việc trao đổi này gần nhƣ càng ngày càng không có giới hạn.

Khi lƣợng thông tin nhiều và trở nên lớn mạnh. Ngƣời ta hiểu đƣợc rằng ai nắm giữ đƣợc nhiều thông tin hơn ngƣời ấy sẽ trở thành thủ lĩnh. Chính điều ấy đã thúc đẩy việc tăng lên không ngừng của thông tin và việc các tổ chức dần đƣa các hoạt động kinh doanh, quyết định của mình dựa trên việc phân tích các thông tin đã trở thành phổ biến và quá quen thuộc. Nhiều hệ quản trị mạnh với các công cụ phong phú và thuận tiện đã giúp cho con ngƣời khai thác có hiệu quả nguồn tài nguyên dữ liệu.

Mô hình CSDL quan hệ Khai phá dữ liệu sử dụng luật kết hợp TIEU LUAN MOI download : [e-mail] Nguyễn Ngọc Long, K9T3 13 Luận văn thạc sỹ và ngôn ngữ vấn đáp (SQL) đã có vai trò hết sức quan trọng trong việc tổ chức và khai thác các CSDL đó. Cho đến nay, không một tổ chức kinh tế nào là không sử dụng các hệ thống quản trị CSDL và hệ thống báo cáo, ngôn ngữ hỏi đáp nhằm khai thác các CSDL phục vụ cho hoạt động tác nghiệp của mình.2 Các vấn đề hạn chế và mục tiêu cần có đƣợc Với các cách thực hiện nhƣ vậy, hệ thống thông tin có đƣợc trong các tổ chức hầu nhƣ chỉ mang tính chất lƣu trữ chứ chƣa có đƣợc cái mà ngƣời ta gọi là thông tin ―thông minh‖. Khi có nhu cầu về thông tin, hầu hết các hệ thống này chỉ hỗ trợ đƣợc các công việc tra cứu chứ không hề hỗ trợ đƣợc việc đánh giá, nhìn nhận một cách khoa học. Các vấn đề này lại chủ yếu mang tính chất chủ quan và do trình độ năng lực của chính những con ngƣời trong các tổ chức này.

Trong khi vấn đề của tổ chức lại không thể phụ thuộc yếu tố con ngƣời. Điều này khiến các nhà tổ chức quản lý kinh doanh mong muốn có đƣợc các thông tin quan trọng và hữu ích một cách tự động từ trong các hệ thống thông tin CSDL lớn chứ không theo cách đánh giá chủ quan của một số cá nhân. Để có đƣợc điều này, cần có nhiều cách khám phá mới, cách nhìn nhận khác và tiến bộ hơn nhiều.3 Tìm kiếm bƣớc phát triển mới trong tổ chức khai thác CSDL Sự phát triển kinh ngạc của công nghệ phần cứng máy tính trong 3 thập kỷ qua tạo cho máy tính có sức mạnh lớn. Điều đó cho phép tạo ra số lƣợng khổng lồ các CSDL và thông tin đƣợc cất giữ để quản lý kinh doanh, tìm thông tin, phân tích dữ liệu.

Ngày nay dữ liệu có thể đƣợc lƣu trữ trong nhiều kiểu khác nhau. Một kiến trúc CSDL gần đây đã nổi bật lên đó là kho dữ liệu (data warehowse), nó lƣu dữ liệu từ nhiều nguồn khác nhau, tổ chức thống nhất để có thể tạo ra quyết định.