MỞ ĐẦU Trong những năm gần đây, việc nắm bắt đƣợc thông tin đƣợc coi là cơ sở của mọi hoạt động sản xuất, kinh doanh. Cá nhân hoặc tổ chức nào thu thập và hiểu đƣợc thông tin, và hành động dựa trên các thông tin đƣợc kết xuất từ các thông tin đã có sẽ đạt đƣợc thành công trong mọi hoạt động. Chính vì lý do đó, việc tạo ra thông tin, tổ chức lƣu trữ và khai thác ngày càng trở nên quan trọng và gia tăng không ngừng. Sự tăng trƣởng vƣợt bậc của các cơ sở dữ liệu (CSDL) trong cuộc sống nhƣ: thƣơng mại, quản lý và khoa học đã làm nảy sinh và thúc đẩy sự phát triển của kỹ thuật thu thập, lƣu trữ, phân tích và khai phá dữ liệu… không chỉ bằng các phép toán đơn giản thông thƣờng nhƣ: phép đếm, thống kê… mà đòi hỏi cách xử lý thông minh hơn, hiệu quả hơn.
Từ đó các nhà quản lý có đƣợc thông tin có ích để tác động lại quá trình sản xuất, kinh doanh của mình… đó là tri thức. Các kỹ thuật cho phép ta khai thác đƣợc tri thức hữu dụng từ CSDL (lớn) đƣợc gọi là các kỹ thuật khai phá dữ liệu (DM – Data Mining). Khai phá luật kết hợp là một nội dung quan trọng trong khai phá dữ liệu. Luận văn nghiên cứu về những khái niệm cơ bản về khai phá dữ liệu, luật kết hợp và ứng dụng một số thuật toán khai phá luật kết hợp trong CSDL lớn.
Luận văn có cấu trúc nhƣ sau: CHƢƠNG I - TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ PHÁT HIỆN TRI THỨC Trình bày kiến thức tổng quan về khai thác và xử lý thông tin. Định nghĩa kho dữ liệu, khai phá dữ liệu, các phƣơng pháp khai phá dữ liệu phổ biến và ứng dụng của chúng. CHƢƠNG II - CƠ SỞ LÝ THUYẾT LUẬT KẾT HỢP. ỨNG DỤNG LUẬT KẾT HỢP VÀO KHAI PHÁ DỮ LIỆU Trình bày các bài toán trong khai phá dữ liệu, phát hiện luật kết hợp Khái niệm về luật kết hợp và các phƣơng pháp khai phá luật kết hợp.
Khai phá luật kết hợp dựa trên sự phân chia không gian tìm kiếm. CHƢƠNG III - ỨNG DỤNG, THỬ NGHIỆM KHAI PHÁ DỮ LIỆU TÍCH HỢP NGÀNH GIAO THÔNG VẬN TẢI LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 6 Nội dung của chƣơng là áp dụng kỹ thuật khai phá dữ liệu vào bài toán thống kê về tình hình gia tăng các loại ôtô trong cả nƣớcvà dự báo về tốc độ gia tăng của các loại ôtô. Cuối cùng là kết luận lại những kết quả đạt đƣợc của đề tài và hƣớng phát triển trong tƣơng lai. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 7 CHƢƠNG 1 - TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ PHÁT HIỆN TRI THỨC 1.
Tổ chức và khai thác cơ sở dữ liệu truyền thống Việc dùng các phƣơng tiện tin học để tổ chức và khai thác cơ sở dữ liệu (CSDL) đã đƣợc phát triển từ những năm 60 của thế kỉ trƣớc. Từ đó cho đến nay, rất nhiều CSDL đã đƣợc tổ chức, phát triển và khai thác ở mọi quy mô và các lĩnh vực hoạt động của con ngƣời và xã hội. Theo nhƣ đánh giá cho thấy, lƣợng thông tin trên thế giới cứ sau 20 tháng lại tăng lên gấp đôi. Kích thƣớc và số lƣợng CSDL thậm trí còn tăng nhanh hơn.
Năm 1989, tổng số CSDL trên thế giới vào khoảng 5 triệu, hầu hết là CSDL cỡ nhỏ đƣợc phát triển trên DBaseIII. Với sự phát triển của công nghệ điện tử, sự phát triển mạnh mẽ của công nghệ phần cứng tạo ra các bộ nhớ có dung lƣợng lớn, bộ xử lý có tốc độ cao cùng với sự phát triển của các hệ thống viễn thông, ngƣời ta đã và đang xây dựng các hệ thống thông tin nhằm tự động hoá mọi hoạt động của con ngƣời. Điều này đã tạo ra một dòng dữ liệu tăng lên không ngừng vì ngay cả những hoạt động đơn giản nhƣ gọi điện thoại, tra cứu sách trong thƣ viện,. đều đƣợc thực hiện thông qua máy tính.
Cho đến nay, số lƣợng CSDL đã trở nên khổng lồ bao gồm các CSDL cực lớn cỡ gigabytes và thậm chí terabytes lƣu trữ các dữ liệu kinh doanh ví dụ nhƣ dữ liệu thông tin khác hàng , dữ liệu bán hàng, dữ liệu các tài khoản,. Nhiều hệ quản trị CSDL mạnh với các công cụ phong phú và thuận tiện đã giúp con ngƣời khai thác có hiệu quả nguồn tài nguyên dữ liệu. Mô hình CSDL quan hệ và ngôn ngữ vấn đáp chuẩn (SQL) đã có vai trò hết sức quan trọng trong việc tổ chức và khai thác CSDL. Cho đến nay, không một tổ chức nào sử dụng tin học trong công việc mà không sử dụng các hệ quản trị CSDL và các hệ công cụ báo cáo, ngôn ngữ hỏi đáp nhằm khai thác CSDL phục vụ cho các hoạt động tác nghiệp của mình.
Cùng với việc tăng không ngừng khối lƣợng dữ liệu, các hệ thống thông tin cũng đƣợc chuyên môn hoá, phân chia theo lĩnh vực ứng dụng nhƣ sản xuất, tài chính, hoạt động kinh doanh,. Nhƣ vậy bên cạnh chức năng khai thác dữ liệu có tính chất tác nghiệp, sự thành công trong công việc không còn là năng suất của các hệ thống thông tin nữa mà là tính linh hoạt và sẵn sàng đáp lại những yêu cầu trong thực tế, CSDL cần đem lại những “tri thức” hơn là chính những dữ liệu trong đó. Các quyết định cần phải có càng nhanh càng tốt và phải chính xác dựa trên những dữ liệu sẵn có trong khi khối lƣợng dữ liệu cứ sau 20 tháng lại tăng gấp đôi làm ảnh hƣởng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 8 đến thời gian ra quyết định cũng nhƣ khả năng hiểu hết đƣợc nội dung dữ liệu. Lúc này, các mô hình CSDL truyền thống và ngôn ngữ SQL đã cho thấy không có khả năng thực hiện công việc này.
Để lấy thông tin có tính “tri thức” trong khối dữ liệu khổng lồ này, ngƣời ta đã tìm ra những kỹ thuật có khả năng hợp nhất các dữ liệu từ các hệ thống giao dịch khác nhau, chuyển đổi thành một tập hợp các CSDL ổn định, có chất lƣợng đƣợc sử dụng chỉ cho riêng một vài mục đích nào đó. Các kỹ thuật đó gọi chung là kỹ thuật tạo kho dữ liệu (data warehousing) và môi trƣờng các dữ liệu có đƣợc gọi là các kho dữ liệu (data warehouse). Nhƣng chỉ có kho dữ liệu thôi chƣa đủ để có tri thức. Các kho dữ liệu đƣợc sử dụng theo một số cách nhƣ: Theo cách khai thác truyền thống: tức là kho dữ liệu đƣợc sử dụng để khai thác các thông tin bằng các công cụ truy vấn và báo cáo.
Các kho dữ liệu đƣợc sử dụng để hỗ trợ cho phân tích trực tuyến (OLAP- OnLine Analytical Processing). Việc phân tích trực tuyến có khả năng phân tích dữ liệu, xác định xem giả thuyết đúng hay sai. Tuy nhiên, phân tích trực tuyến lại không có khả năng đƣa ra các giả thuyết. Công nghệ khai phá dữ liệu (data mining) ra đời đáp ứng những đòi hỏi trong khoa học cũng nhƣ trong hoạt động thực tiễn.
Đây chính là một ứng dụng chính của kho dữ liệu. Tổng quan về kỹ thuật phát hiện tri thức và khai phá dữ liệu (KDD - Knowledge Discovery and Data Mining) 2. Phát hiện tri thức và khai phá dữ liệu là gì? Nếu cho rằng các điện tử và các sóng điện tử chính là bản chất của công nghệ điện tử truyền thống thì dữ liệu, thông tin và tri thức hiện đang là tiêu điểm của một lĩnh vực mới trong nghiên cứu và ứng dụng về phát hiện tri thức (Knowledge Discovery) và khai phá dữ liệu (Data Mining). Thông thƣờng chúng ta coi dữ liệu nhƣ một dãy các bit, hoặc các số và các ký hiệu, hoặc các “đối tƣợng” với một ý nghĩa nào đó khi đƣợc gửi cho một chƣơng trình dƣới một dạng nhất định.
Chúng ta sử dụng các bit để đo lƣờng các thông tin và xem nó nhƣ là các dữ liệu đã đƣợc lọc bỏ các dƣ thừa, đƣợc rút gọn tới mức tối thiểu để đặc trƣng một cách cơ bản cho dữ liệu. Chúng ta có thể xem tri thức nhƣ là các thông tin tích hợp, bao gồm các sự kiện và các mối quan hệ giữa chúng. Các mối quan hệ này có thể đƣợc hiểu ra, LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 9 có thể đƣợc phát hiện, hoặc có thể đƣợc học. Nói cách khác, tri thức có thể đƣợc coi là dữ liệu có độ trừu tƣợng và tổ chức cao.
Phát hiện tri thức trong các cơ sở dữ liệu là một qui trình nhận biết các mẫu hoặc các mô hình trong dữ liệu với các tính năng: hợp thức, mới, khả ích, và có thể hiểu đƣợc. Còn khai thác dữ liệu là một bƣớc trong qui trình phát hiện tri thức gồm có các thuật toán khai thác dữ liệu chuyên dùng dƣới một số qui định về hiệu quả tính toán chấp nhận đƣợc để tìm ra các mẫu hoặc các mô hình trong dữ liệu. Nói một cách khác, mục đích của phát hiện tri thức và khai phá dữ liệu chính là tìm ra các mẫu và/hoặc các mô hình đang tồn tại trong các cơ sở dữ liệu nhƣng vẫn còn bị che khuất bởi hàng núi dữ liệu. Định nghĩa: “KDD là quá trình không tầm thƣờng nhận ra những mẫu có giá trị, mới, hữu ích tiềm năng và hiểu đƣợc trong dữ liệu”.
[7] Còn các nhà thống kê thì xem Khai phá dữ liệu nhƣ là một qui trình phân tích đƣợc thiết kế để thăm dò một lƣợng cực lớn các dữ liệu nhằm phát hiện ra các mẫu thích hợp và/hoặc các mối quan hệ mang tính hệ thống giữa các biến và sau đó sẽ hợp thức hoá các kết quả tìm đƣọc bằng cách áp dụng các mẫu đã phát hiện đƣợc cho các tập con mới của dữ liệu. Qui trình này bao gồm ba giai đoạn cơ bản: thăm dò, xây dựng mô hình hoặc định nghĩa mẫu, hợp thức/kiểm chứng. Qui trình phát hiện tri thức [7] Qui trình phát hiện tri thức đƣợc mô tả tóm tắt trên Hình 1: Hình 1. Quy trình phát hiện tri thức LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 10 Bƣớc thứ nhất: Hình thành, xác định và định nghĩa bài toán.
Là tìm hiểu lĩnh vực ứng dụng từ đó hình thành bài toán, xác định các nhiệm vụ cần phải hoàn thành. Bƣớc này sẽ quyết định cho việc rút ra đƣợc các tri thức hữu ích và cho phép chọn các phƣơng pháp khai phá dữ liệu thích hợp với mục đích ứng dụng và bản chất của dữ liệu. Bƣớc thứ hai: Thu thập và tiền xử lý dữ liệu.