phần mở đầu, phần kết luận, phần mục lục, phần tài liệu tham khảo. Các nội dung cơ bản của luận văn đƣợc trình bày theo cấu trúc nhƣ sau: 12 Chƣơng 1: Tổng quan về khai phá dữ liệu Trong chƣơng này, luận văn sẽ trình bày những vấn đề cơ bản của khai phá dữ liệu nhƣ: định nghĩa, các thành tố cơ bản của một nhiệm vụ khai phá dữ liệu, các nhiệm vụ, các kỹ thuật và ứng dụng của khai phá dữ liệu. Thông qua đó, khai phá dữ liệu tạo đã điều kiện phát triển cho hệ tƣ vấn. Chƣơng 2: Hệ tƣ vấn và các phƣơng pháp lọc Phần đầu tiên giới thiệu là các thông tin liên quan đến hệ tƣ vấn: định nghĩa và phƣơng pháp khuyến nghị lọc cộng tác.
Vấn đề thứ hai đƣợc trình bày trong chƣơng này là vấn đề cold - start nảy sinh và phƣơng pháp khắc phục dựa trên tính nhân khẩu. Nội dung phần này cũng trình bày cụ thể vai trò của ngữ cảnh cùng sự xuất hiện của phƣơng pháp tiếp cận đa chiều trong khuyến nghị. Phần tiếp theo trình bày về các độ đo tƣơng tự. Đƣa ra độ đo tƣơng tự mới NHSM và thuật toán dự báo kết quả bóng đá với độ đo mới này.
Chƣơng 3: Ứng dụng cho bài toán dự báo kết quả bóng đá Nội dung chƣơng này trình bày phân tích, thiết kế trang web dự báo kết quả bóng đá và xây dựng chƣơng trình ứng dụng. TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 1. KHAI PHÁ DỮ LIỆU 1. Định nghĩa khai phá dữ liệu Trong những năm trở lại đây, công nghệ thông tin đã có những bƣớc đột phá, đạt đƣợc nhiều thành tựu to lớn.
Sự phát triển của công nghệ điện tử dựa trên định luật Moore đã cho ra những thiết bị có dung lƣợng chứa lớn mà giá thành lại giảm. Với nhu cầu của con ngƣời thì lƣợng thông tin đang đƣợc lƣu trữ là một con số khổng lồ và không ngừng tiếp tục gia tăng nhanh chóng. Trong tác phẩm John Naisbitt năm 1982 thì Megatrends đã đề cập [29]: “Chúng ta đang ngập trong dữ liệu nhƣng lại đói tri thức”. Thực trạng đòi hỏi con ngƣời phải tìm cách khai thác nguồn dữ liệu này, tuy nhiên chỉ có 20% dữ liệu ẩn chứa những tri thức quý giá.
Vấn đề đƣợc đặt ra là làm thế nào chúng ta có thể lấy ra đƣợc những thông tin hữu ích đó trong một “núi” dữ liệu nhƣ vậy? Nhƣ một quy luật của tự nhiên, sự khó khăn của bài toán thúc đẩy con ngƣời tìm mọi cách khắc phục. KPDL đã đƣợc xuất hiện nhƣ một giải pháp thần kỳ cho vấn đề nan giải của công nghệ thông tin. Gắn liền với dữ liệu, KPDL đƣợc úng dụng rộng rãi không chỉ trong khoa học mà còn cả kinh tế, xã hội, giáo dục, v. Thuật ngữ KPDL xuất hiện vào những năm thập niên 90 nhƣng sự phát triển của KPDL là quá trình phát triển của một lĩnh vực với lịch sử lâu dài.
Hiểu một cách đơn giản, KPDL là chiết xuất hoặc khai thác kiến thức từ một lƣợng lớn dữ liệu. Thuật ngữ này dễ làm cho ngƣời ta hiểu nhầm ý nghĩa của nó. Cụ thể hóa là việc thực hiện khai thác vàng từ các loại đá hoặc cát là đƣợc gọi là khai thác vàng chứ không phải khai thác đá hoặc cát. Do đó, KPDL hiểu một cách chính xác hơn là khai thác tri thức từ dữ liệu, mặc dù cái tên gọi đó hơi dài.
Nếu tên gọi đƣợc đổi lại là khai thác tri thức, sẽ là ngắn gọn hơn nhƣng nó có thể sẽ không nhấn mạnh vào việc khai thác từ một lƣợng lớn dữ liệu. Tuy nhiên, KPDL là một thuật ngữ sinh động, thể hiện ra việc tìm kiếm một lƣợng tài nguyên nhỏ từ lƣợng lớn dữ liệu. Từ những lý giải trên, định nghĩa về KPDL có thể đƣợc mô tả nhƣ sau [2, 23, 27]: Khai phá dữ liệu là một quá trình khai thác, chiết xuất các tri thức mới có khả năng hữu ích từ một lƣợng lớn dữ liệu. Khám phá tri thức KPDL là một bƣớc quan trọng trong quá trình KDD [18, 30] nhằm phân tích và giải thích các mẫu dữ liệu trong không gian lớn dữ liệu.
KDD là một quá trình bao gồm một chuỗi lặp đi lặp lại 5 bƣớc sau [3, 8, 27, 28]: Trích chọn dữ liệu là công đoạn lấy dữ liệu liên quan đến nhiệm vụ đƣợc phân tích từ kho dữ liệu lƣu trữ ở trên. Tiền xử lý dữ liệu bao gồm có các quá trình làm sạch dữ liệu, tích hợp dữ liệu. 14 Chuyển đổi dữ liệu có nhiệm vụ biến đổi dữ liệu hoặc hợp nhất thành các hình thức thích hợp cho khai thác. Khai phá dữ liệu là quá trình cần thiết, có vai trò quyết định việc tìm ra những tri thức ẩn.
Đánh giá mô hình và trình bày tri thức là quá trình xác định giá trị của các mẫu dữ liệu đại diện cho tri thức nằm bên trong dựa trên một số các độ đo, sau đó sử dụng các kỹ thuật biểu diễn và thể hiện trực quan các tri thức khai phá đƣợc cho ngƣời sử dụng.1: Quá trình khám phá tri thức 1. KỸ THUẬT KHAI PHÁ DỮ LIỆU 1. Các thành tố cơ bản Mỗi ngƣời dùng sẽ có nhũng nhiệm vụ KPDL cần đƣợc thực hiện. Một nhiệm vụ KPDL có thể đƣợc xác định hình thức bằng một truy vấn KPDL, là đầu vào của hệ thống KPDL.
Năm thành tố cơ bản để đặc tả một nhiệm vụ KPDL gồm: dữ liệu với nhiệm vụ liên quan, loại tri thức sẽ đạt đƣợc, tri thức nền, các độ đo, mô hình trực quan và biểu diễn tri thức [17, 27]. Dữ liệu với nhiệm vụ liên quan [17, 26] là phần dữ liệu từ các nguồn đƣợc điều tra tƣơng ứng với các thuộc tính hay chiều hƣớng của dữ liệu đƣợc quan tâm. Các dữ liệu cụ thể này bao gồm có tên kho dữ liệu hoặc CSDL, các bảng dữ liệu hoặc các khối dữ liệu, các điều kiện chọn dữ liệu, các thuộc tính hoặc chiều dữ liệu đƣợc quan tâm, các tiêu chí gom nhóm dữ liệu, v. Loại tri thức sẽ đạt đƣợc [17, 26] có trọng tâm là phải xác định những tri thức đƣợc khai thác, vì điều này sẽ quyết định chức năng KPDL sẽ đƣợc thực hiện.
Các loại tri thức bao gồm đặc trƣng hóa dữ liệu, phân biệt hóa dữ liệu, mô hình phân tích kết hợp hay tƣơng quan, mô hình phân lớp, mô hình dự đoán, mô hình gom cụm, mô hình phân tích phần tử biên, mô hình phân tích tiến hóa, v. 15 Tri thức nền [17, 26] là những thông tin về lĩnh vực cụ thể sẽ đƣợc khai phá. Thành tố này hƣớng dẫn quá trình khám phá tri thức bằng cách hỗ trợ KPDL ở nhiều mức khác nhau. Hệ thống phân cấp khái niệm là một hình thức điển hình của tri thức nền.
Hệ thống này bao gồm bốn loại chính là phân cấp lƣợc đồ, phân cấp thiết lập nhóm, phân cấp nguồn gốc hoạt động, phân cấp dựa trên quy. Một số hệ thống phân cấp là: Hệ thống phân phân cấp lƣợc đồ là thứ tự toàn bộ hoặc một phần các thuộc tính trong lƣợc đồ CSDL. Hệ thống phân cấp thiết lập nhóm tổ chức các giá trị cho thuộc tính thành các nhóm hoặc tập các giá trị. Hệ thống này đƣợc dùng để hoàn thiện hoặc làm phong phú thêm cho hệ thống phân cấp lƣợc đồ, thƣờng đƣợc sử dụng cho một tập nhỏ của thuộc tính đối tƣợng.
Hệ thống phân cấp nguồn gốc hoạt động dựa trên các hoạt động cụ thể. Các hoạt động này có thể bao gồm giải mã các chuỗi thông tin mã hóa, khai thác thông tin từ các đối tƣợng dữ liệu phức tạp, phân cụm dữ liệu. Hệ thống phân cấp dựa trên quy luật xuất hiện khi toàn bộ hoặc một phần của hệ thống phân cấp khái niệm đƣợc định nghĩa là một tập hợp các quy tắc và đƣợc đánh giá tự động dựa trên CSDL hiện tại và quy tắc định nghĩa. Các độ đo [17, 26] đƣợc sử dụng để giới hạn số lƣợng các mẫu dữ liệu dựa trên cấu trúc của mẫu và số liệu thống kê cơ bản của chúng.
Các độ đo thƣờng đi kèm với các ngƣỡng giá trị đƣợc lựa chọn bởi ngƣời khai thác nhằm dẫn đƣờng cho quá trình khai phá hoặc đánh giá các mẫu tìm thấy. Các phép đo khách quan bao gồm các thuộc tính là tính đơn giản, tính chắc chắn, tính hữu dụng, tính mới lạ. Các thuộc tính trên đƣợc sử dụng nhƣ sau: Tính đơn giản của một mô hình đƣợc dựa trên sƣ đơn giản tổng thể của mô hình đó đối với sự hiểu biết của con ngƣời. Ví dụ, quy định về độ dài là một quy định đơn giản.
Tính chắc chắn đánh giá những giá trị độ tin cậy của một mô hình. Ví dụ, xác suất có điều kiện mua máy tính thì sẽ mua phần mềm cao chứng tỏ nhiều khả năng ngƣời mua máy tính cũng sẽ mua phần mềm. Tính hữu ích cho thấy khả năng sử dụng của một mô hình. Ví dụ, một xác suất cho trƣớc cho các quy tắc mua phần mềm trƣớc đó có ý nghĩa là với xác suất này thì tất cả ngƣời mua máy tính cũng sẽ mua phần mềm trong các của hàng.
Tính mới lạ chỉ ra các mẫu góp phần thông tin mới cho việc thiết lập mô hình đƣợc gọi là mẫu mới. Việc loại bỏ mô hình dƣ thừa là chiến lƣợc cho việc phát hiện mẫu mới lạ. 16 Mô hình trực quan và biểu diễn tri thức [17, 26] có tác dụng giúp cho khai thác dữ liệu có hiệu quả, bằng cách hiển thị các mẫu đƣợc phát hiện ở nhiều hình thức bao gồm các quy tắc, bảng, báo cáo, biểu đồ, đồ thị, cây, khối và các trình bày trực quan khác. Ngƣời khai thác phải có khả năng xác định các hình thức trình bày cần đƣợc sử dụng để hiển thị các mô hình đƣợc phát hiện.
Các nhiệm vụ khai phá dữ liệu Nhiệm vụ KPDL là rất đa dạng bởi có nhiều mẫu trong một CSDL lớn. Dựa trên các loại mẫu, nhiệm vụ KPDL có thể đƣợc phân chia thành năm loại gồm có tổng hợp, phân lớp, phân cụm, luật kết hợp và phân tích xu hƣớng [16, 27]. Tổng hợp [16] là sự trừu tƣợng hoặc khái quát hóa dữ liệu. Cụ thể là: Một tập hợp các dữ liệu có liên quan đƣợc tổng hợp và trừu tƣợng hóa dẫn đến một tập nhỏ hơn và đƣa ra cái nhìn tổng quan về dữ liệu với thông tin kèm theo.
Ví dụ nhƣ cuộc gọi đƣờng dài của một khách hàng có thể đƣợc tóm tắt trong tổng số phút, tổng số chi phí, tổng số các cuộc gọi, v.