CHƯƠNG I: CƠ SỞ LÍ THUYẾT 1. KHAI PHÁ DỮ LIỆU 1.Khái niệm về khai phá dữ liệu Khai phá dữ liệu (KPDL) là một bước quan trọng trong quy trình khám phá tri thức nhằm: trích chọn các thông tin hữu ích, chưa biết, tiềm ẩn trong khối dữ liệu lớn. Phân tích dữ liệu bán tự động và giải thích dữ liệu trên các tập dữ liệu lớn [1].Tiến trình thực hiện của khai phá dữ liệu Quá trình khai phá dữ liệu bao gồm các bước sau: Bước 1: Xác định bài toán, mục đích, phạm vi bài toán Bước 2: Thu thập dữ liệu Bước 3: Làm sạch, tiền xử lý dữ liệu Bước 4: Giảm kích thước dữ liệu, chuyển đổi dữ liệu về kiểu dữ liệu thích hợp Bước 5: Chọn phương pháp thích hợp: Phân loại, gom cụm, dự báo, luật kết hợp Bước 6: Chạy các giải thuật khai phá dữ liệu phù hợp Bước 7: Tiến hành khai phá dữ liệu Bước 8: Đánh giá các mẫu thu được và tính chính xác của tri thức Bước 9: Sử dụng thông tin trong hỗ trợ ra quyết định "Khám phá tri thức (KPTT) là quá trình tự động trích rút các phần tri thức tiềm ẩn trong một hệ sinh thái dữ liệu lớn" [2]. KPTT từ cơ sở dữ liệu bao gồm các pha như: Xác định vấn đề, tập hợp và chọn lọc dữ liệu, khai phá dữ liệu, đánh giá kết quả, giải thích dữ liệu, áp dụng tri thức vào thực tế.1: Data Mining Do đó, vấn đề cần phải có kiến thức cơ bản về lĩnh vực cần khám phá để trích chọn được tập con từ dữ liệu, từ đó phát hiện các mẫu phù hợp giải quyết được vấn đề 2 đặt ra.
Để có được những thông tin tốt, phải lọc ra các mẫu có trong tập CSDL trước. Chất lượng của dữ liệu được trích chọn có tốt hay không được đánh giá dựa vào: - Độ chính xác: Những mẫu có độ chính xác càng cao thì hiệu quả công việc càng lớn. Ngược lại những mẫu kém chính xác thì không đem lại hiệu quả cần loại bỏ. -Tính hấp dẫn: KPDL giúp tìm ra xu hướng một cách hoàn thiện, thường là những điều mới lạ hay những quy trình tiềm năng, hữu ích ẩn chứa trong dữ liệu khi chưa được khai phá.
- Tính hiệu quả: Khi triển khai thuật các thuật toán cần phải xử lý trong thời gian cho phép chấp nhận được.Một số phương pháp khai phá dữ liệu - Phương pháp dự báo: Dựa vào các mẫu thu thập trong lịch sử giao dịch của đơn vị để đưa ra các dự báo các trường hợp có khả năng xảy ra tiếp theo. Dự báo với các giá trị liên tục sẽ sử dụng hồi quy. Phân tích hồi quy là kỹ thuật thống kê trong phân tích dữ liệu và xây dựng các mô hình từ thực nghiệm, cho phép mô hình hồi quy vừa được khám phá phục vụ cho mục đích dự báo ( prediction), hoặc học cơ chế để tạo ra mẫu [3]. - Phương pháp phân loại: là dạng phân tích dữ liệu nhằm rút trích các mô hình mô tả các lớp dữ liệu hoặc dự đoán xu hướng dữ liệu.
Quá trình gồm hai bước: Bước học (pha huấn luyện): xây dựng bộ phân loại (classifier) bằng việc phân tích/học tập huấn luyện. Bước phân loại (classification): phân loại dữ liệu/đối tượng mới nếu độ chính xác của bộ phân loại được đánh giá là có thể chấp nhận được (acceptable). Các giải thuật phân loại dữ liệu: cây quyết định (decision tree), mạng Bayesian, mạng neural, suy diễn dựa trên tình huống (case-based reasoning), phân loại dữ liệu dựa trên tiến hóa gen (genetic algorithms), phân loại dữ liệu với lý thuyết tập thô (rough sets), phân loại dữ liệu với lý thuyết tập mờ (fuzzy sets). Giới thiệu một số độ đo của cây quyết định: Information Gain (được dùng trong ID3) Trong đó: Info(D): Lượng thông tin cần để phân loại một phần tử D.
Pi : xác suất để một phần tử bất kỳ trong D thuộc về lớp Ci, với i = 1. Gain Ratio (được dùng trong C4.5) 3 Giải thuật xây dựng cây quyết định: Một số giải thuật xây dựng cây quyết định như ID3, C4. Giải thuật tổng quát xây dựng cây quyết định từ Training Data. - Phương pháp gom cụm: Việc gom một tập các đối tượng có cùng đặc điểm giống nhau hay tương đồng nhau vào cùng một nhóm.
Các đối tượng trong cùng một cụm tương tự với nhau hơn so với đối tượng của cụm khác.2: Ví dụ thuật toán K-mean với k=3 - Phương pháp luật kết hợp: Với một tập hợp dữ liệu các giao dịch lịch sử, cần xác định các luật dự đoán có khả năng suất hiện trong những giao dịch tiếp theo. Luật kết hợp với một tập hợp các giao dịch lịch sử, mục đích của bài toán là phát hiện tất cả các luật dựa vào độ hỗ trợ - minsup và độ tin cậy - minconf. Một trong số các giải thuật quan trọng của luật kết hợp là giải thuật Apriori.3: Ví dụ về giải thuật Apriori 4 1.Các nguồn dữ liệu có thế khai phá Hình 1.4: Các kiểu dữ liệu có thể khai phá Việc KPDL được tiến hành trên tập dữ liệu lớn có trong các CSDL, các kho dữ liệu hoặc trên: Web, Other Info Repositories, trên các trang tính. Các cơ sở dữ liệu lưu trữ tại các nguồn này có thể được bố trí đa dạng theo nhiều loại cấu trúc, rời rạc và đến từ nhiều nguồn khác nhau.
Tất cả các dữ liệu phục vụ quá trình khai thác thông tin sẽ được làm sạch, tích hợp dữ liệu trước khi được đưa về các cơ sở dữ liệu chủ phục vụ quá trình khai phá của người dùng.Các ứng dụng KPDL được ứng dụng đa dạng trong mọi lĩnh vực: - Lĩnh vực kinh tế, khai phá dữ liệu được ứng dụng trong kinh doanh, ngân hàng, tài chính, tiếp thị bán hàng, bảo hiểm, thương mại, … Tạo ra các báo cáo giàu thông tin, phân tích rủi ro trước khi đưa ra các chiến lược kinh doanh, sản xuất, phân loại khách hàng từ đó phân định thị trường, thị phần,…. Ngân hàng là một trong các đơn vị có ưu thế cao trong việc ứng dụng KPDL do hầu hết ngân hàng đều đã triển khai các Data Warehouse để tổ chức lưu trữ dữ liệu, các dữ liệu trong Data Warehouse đã được làm sạch, tiền xử lý và tổ chức một cách có trật tự dễ dàng trích xuất trong quá trình khai phá. - Khoa học - thiên văn học: dự đoán đường đi các thiên thể, hành tinh,. - Công nghệ sinh học: tìm ra các gen mới, cây con giống mới,… - Web: các công cụ tìm kiếm.Tổng quan về Website Trong những năm gần đây Internet đã đang trở thành nguồn cung cấp thông tin đa dạng gồm rất nhiều các lĩnh vực khác nhau như khoa học, thông tin kinh tế, thương mại và quảng cáo.
Thông thường để duy trì thì chỉ cần một lượng chi phí thấp đây cũng là lý do cho sự phát triển mạnh mẽ này.Khái niệm Website là một tập hợp các trang web chứa: văn bản, hình ảnh, video, flash v. thường có một tên miền hoặc tên miền phụ. Trang web được lưu trữ trên máy chủ có thể truy cập thông qua Internet.Phân loại website Ngày nay, Website không còn xa lạ, Web được xem như là một kênh thông tin hữu ích cho các cá nhân hoặc doanh nghiệp quảng bá, giới thiệu sản phẩm, dịch vụ tới thị trường. Có nhiều loại Website khác nhau, tùy vào nhu cầu, lĩnh vực mà người sử đưa ra được sự lựa chọn đúng đắn nhất.
Website được phân loại như sau: - Phân loại theo dữ liệu Web tĩnh Đúng như với tên gọi, website tĩnh có thể được hiểu là website với dữ liệu không được cập nhập và thay đổi một cách thường xuyên với mục đích cung cấp thông tin cho người dùng. Để có thể cập nhật được những nội dung trên trang web thì những người quản trị bắt buộc phải truy cập vào hệ quản trị web để có thể thay đổi được thông tin. Nó không có cơ sở dữ liệu lưu trữ thông tin, cũng không có những công cụ quản trị web một cách thuận tiên. Thông thường những website tĩnh thường là html, htm….
Ưu điểm nội dung vô cùng đơn giản dễ xây dựng. Tuy nhiên website tĩnh có nhược điểm không có hệ thống hỗ trợ để cập nhật thông tin kịp thời nên ngày nay web tĩnh rất ít được sử dụng. Website động: Gồm 2 phần: - Phần đầu: nội dung hiển thị trên trình duyệt khi người sử dụng tiến hành truy cập vào web. - Phần thứ hai: tồn tại ngầm điều khiển được nội dung của trang.
Muốn xem và chỉnh sửa được nội dung ngầm này thì chỉ có vai trò người quản trị. - Phân loại theo chức năng Web cá nhân: mục đích giới thiệu quảng bá các thương hiệu cá nhân… Web giới thiệu doanh nghiệp: là để cung cấp cho người sử dụng những thông tin của công ty, doanh nghiệp. Web thương mại điện tử: thường dùng bán hàng trực tuyến, cho phép lựa chọn hàng hoá, thanh toán với nhiều hình thức khác nhau. Web tin tức: chủ yếu cung cấp các thông tin về giáo dục, chính trị, xã hội, sức khỏe…loại web này là nền tảng xuất phát từ loại báo giấy truyền thống.
- Phân loại theo cấu trúc website All pages to all pages: mỗi một trang trên website sẽ liên kết đến tất cả các trang còn lại.5: Cấu trúc website All pages all to pages Cấu trúc Deep Link Hierarchy: sử dụng cấu trúc cây phân tán, cây bao gồm gốc, và phân tán ra nhiều cành. Kỹ thuật này hạn chế được số liên kết trên mỗi trang giúp định hướng tốt hơn đến những chuyên mục, chủ đề đặc biệt trên website.6: Cấu trúc website Deep link Hierachy Như vậy, có thể thấy rằng có rất rất nhiều loại website mỗi loại có một cấu trúc và các thông tin khác nhau. Việc nghiên cứu về các loại web sẽ là nền tảng giúp nhóm nghiên cứu phân tích được cấu trúc trang web để trích chọn thông tin khi tiến hành khai phá dữ liệu ở các phần tiếp theo.Trình duyệt web Là một ứng dụng phần mềm để hiển thị, truy cập, khai thác thông tin trên World Wide Web. Mỗi một website, hình ảnh riêng lẻ đều được xác định bằng một URL riêng biệt cho phép các trình duyệt được truy xuất và sẽ hiển thị chúng trên các thiết bị của người dùng.
Các trang web có dạng HTML để duyệt được nội dung web người ta sử dụng trình duyệt web. Trình duyệt web nổi tiếng như Chrome, Safari… 1.Cấu trúc của website - Header: nằm ở đầu trang web, được hiển thị ở tất cả các trang có ở trong website. Bên trong header gồm các thành phần chính như: Site ID, home link, menu điều hướng, ô tìm kiếm, giỏ hàng. Site ID: giúp định danh đối với website hay còn là tên của website.