phần mở đầu, mục lục, danh mục các từ viết tắt, danh mục hình ảnh, danh mục các bảng biểu và kết luận, luận văn chia làm 3 chƣơng: Chƣơng 1. Giới thiệu tổng quan. Chƣơng này nghiên cứu tổng quan về quá trình khai phá dữ liệu, các kỹ thuật khai phá dữ liệu, giới thiệu các thuật toán để xây dựng mô hình khai phá dữ liệu. Giới thiệu công cụ xây dựng mô hình khai phá dữ liệu và các công cụ để phát triển hệ thống.
Ứng dụng khai phá dữ liệu trong việc định hƣớng nghề nghiệp cho học sinh. Trong chƣơng này các nội dung đƣợc đề cập đến là: Mô tả bài toán, phân tích, thiết kế hệ thống, các bƣớc thu thập, lƣu trữ, xử lý dữ liệu, thiết kế ứng dụng. Thực nghiệm, đánh giá. Chƣơng này trình bày giao diện hiển thị khai phá dữ liệu đã đƣợc xây dựng đồng thời demo chƣơng trình có thể thực hiện đƣợc chức năng hỗ trợ cho học sinh trong việc đƣa ra quyết định chọn ngành nghề phù hợp với năng lực, sở thích và cá tính của bản thân.
5 CHƢƠNG 1: GIỚI THIỆU TỔNG QUAN.1 Khai phá dữ liệu.1 Khái niệm khai phá dữ liệu. Khám phá tri thức (knowledge discovery) là tiến trình khai phá tri thức từ dữ liệu bao gồm chuỗi các bƣớc thực hiện một cách trình tự: Làm sạch và tích hợp dữ liệu (data cleaning & integration), lựa chọn và biến đổi dữ liệu (data selection & transformation), khai phá dữ liệu (data mining), đánh giá mẫu và biểu diễn tri thức (evaluation & presentation).[6] Data mining là một bƣớc trong tiến trình khám phá tri thức, vì vậy có nhiều thuật ngữ khác nhau đƣợc dùng tƣơng đƣơng với data mining nhƣ: knowledge discovery/mining in data/databases (KDD), knowledge extraction, data/pattern analysis, data archeology, data dredging… Vậy có thể hiểu một cách cụ thể hơn: Data mining là một quá trình trích xuất thông tin có mối quan hệ hoặc có mối tƣơng quan nhất định từ một kho dữ liệu lớn nhằm mục đích dự đoán các xu thế, các hành vi trong tƣơng lai hoặc tìm kiếm những tập thông tin hữu ích mà bình thƣờng không nhận diện đƣợc. Data mining – khai phá dữ liệu là quá trình phân loại, sắp xếp các tập hợp dữ liệu lớn để xác định các mẫu và thiết lập các mối liên hệ nhằm giải quyết các vấn đề nhờ phân tích dữ liệu. Khai phá dữ liệu đƣợc dùng để mô tả quá trình phát hiện ra tri thức [6].
Quá trình khai phá dữ liệu là một quá trình phức tạp bao gồm kho dữ liệu chuyên sâu cũng nhƣ các công nghệ tính toán. Hơn nữa, Data Mining không chỉ giới hạn trong việc trích xuất dữ liệu mà còn đƣợc sử dụng để chuyển đổi, làm sạch, tích hợp dữ liệu và phân tích mẫu. Lƣợng lớn dữ liệu có sẵn để khai phá? - Là bất kỳ dữ liệu đƣợc lƣu trữ hay lƣu trữ tạm thời, có cấu trúc hoặc phi cấu trúc đều có thể là dữ liệu để khai phá. - Là dữ liệu đƣợc lƣu trữ nhƣ: Các tập tin truyền thống, các cơ sở dữ liệu quan hệ, các cơ sở dữ liệu giao tác hay kho dữ liệu, các cơ sở dữ liệu hƣớng ứng dụng….2 Tại sao lại cần khai phá dữ liệu.
Trong những năm gần đây, sự bùng nổ của dữ liệu rất lớn, từ mức độ terabytes đến mức độ petabytes, ƣớc tính cứ sau 20 tháng thì lƣợng thông trên thế giới lại tăng gấp đôi, với sự phát triển của công nghệ thông tin, các công cụ thu thập dữ liệu tự động và hệ thống cơ sở dữ liệu lớn xuất hiện ngày càng nhiều, các nguồn dữ liệu trở nên phong phú. Với một lƣợng dữ liệu tăng nhanh và khổng lồ nhƣ vậy thì các phƣơng pháp xử lý truyền thống để phân tích dữ liệu sẽ không hiệu quả, tốn chi phí và không chính xác do đó để khai thác hiệu quả các cơ sở dữ liệu lớn cần phải có các kỹ thuật mới, các kỹ thuật khai phá dữ liệu. 6 Khai phá dữ liệu nhằm tự động hoá khai thác những thông tin, những tri thức hữu ích, tiềm ẩn trong cơ sở dữ liệu cho các doanh nghiệp, tổ chức … từ đó thúc đẩy quá trình sản xuất kinh doanh, cạnh tranh giữa các doanh nghiệp. Các kết quả nghiên cứu cùng với những ứng dụng thành công trong khai phá dữ liệu, khám phá tri thức cho thấy khai phá dữ liệu là một lĩnh vực khoa học mang lại nhiều lợi ích, đồng thời có ƣu điểm hơn hẳn so với các công cụ khai thác dữ liệu truyền thống.
Hiện nay khai phá dữ liệu đƣợc ứng dụng rộng rãi trong các lĩnh vực nhƣ: Thƣơng mại điện tử, giao dịch thƣơng mại, chứng khoán, tín hiệu cảm biến, tin sinh, thí nghiệm mô phỏng/giả lập, mạng xã hội [6].3 Quá trình khai phá dữ liệu. Quá trình khám phá tri thức là một chuỗi lặp lại các bƣớc: Bƣớc 1: Làm sạch dữ liệu (Data cleaning) – Trong bƣớc này, dữ liệu đƣợc làm sạch sao cho không có tạp âm hay bất thƣờng trong dữ liệu. Bƣớc 2: Tích hợp dữ liệu (Data integration) – Trong quá trình tích hợp dữ liệu, nhiều nguồn dữ liệu sẽ kết hợp lại thành một. Bƣớc 3: Lựa chọn dữ liệu (Data selection) – Trong bƣớc này, dữ liệu đƣợc trích xuất từ cơ sở dữ liệu.
Bƣớc 4: Chuyển đổi dữ liệu (Data transformation) – Trong bƣớc này, dữ liệu sẽ đƣợc chuyển đổi để thực hiện phân tích tóm tắt cũng nhƣ các hoạt động tổng hợp. Bƣớc 5: Khai phá dữ liệu (Data mining) – Trong bƣớc này, tiến hành trích xuất dữ liệu hữu ích từ nhóm dữ liệu hiện có. Bƣớc 6: Đánh giá mẫu (Pattern evaluation) – Phân tích một số mẫu có trong dữ liệu. Bƣớc 7: Biểu diễn tri thức (Knowledge presentation) – Trong bƣớc cuối cùng, thông tin sẽ đƣợc thể hiện dƣới dạng cây, bảng, biểu đồ và ma trận.
[9] Tri thức Đánh giá mẫu Khai phá dữ liệu Dữ liệu liên quan Lựa chọn Kho dữ liệu Làm sạch dữ liệu Tích hợp dữ liệu Cơ sở dữ liệu Hình 1.1 – Quy trình phát hiện tri thức 7 1.4 Các tác vụ khai phá dữ liệu (data mining tasks/functions). Từ dữ liệu đã có, quá trình khai phá dữ liệu tìm ra những mối quan hệ giữa các dữ liệu theo một đặc điểm nào đó tuỳ theo cách khai phá gọi là những tác vụ khai phá dữ liệu.1 Một số tác vụ khai phá dữ liệu. - Kết hợp: Tìm ra các luật. - Phân cụm: Nhóm dữ liệu thành dạng lớp mới.
- Cây quyết định: Ƣu tiên các nhân tố quan trọng để xây dựng nên các luật trong định dạng cây. - Mạng nơron: Tìm kiếm các mối quan hệ cơ bản trong một tập hợp dữ liệu. - Thuật toán di truyền: Độ thích nghi của một luật đƣợc đánh giá bởi sự phân loại chính xác trên tập training set. - Khai phá web: Khai phá web để phân tích những tiện ích trên web.2 Năm thành tố cơ bản để đặc tả một tác vụ khai phá dữ liệu.
- Dữ liệu cụ thể sẽ đƣợc khai phá (Task – relavant data): Là phần dữ liệu từ các nguồn dữ liệu đƣợc quan tâm tƣơng ứng là các thuộc tính hay chiều dữ liệu đƣợc quan tâm. Bao gồm: Tên kho dữ liệu/cơ sở dữ liệu, các bảng dữ liệu hay các khối dữ liệu, các điều kiện chọn dữ liệu, các tiêu chí gom nhóm dữ liệu. - Loại tri thức sẽ đạt (Kind of knowledge): Loại tri thức đạt đƣợc sẽ tƣơng ứng với tác vụ khai phá dữ liệu sẽ thực thi. Một số loại tri thức đạt đƣợc nhƣ: Mô hình phân lớp, mô hình dự đoán, mô hình gom cụm, mô hình phần tử biên, mô hình phân tích tiến hoá… - Tri thức nền (Background knowledge): Tƣơng ứng với lĩnh vực cụ thể sẽ đƣợc khai phá, hƣớng dẫn quá trình khám phá tri thức, đánh giá mẫu tìm thấy đƣợc.
- Các độ đo (Interestingness measures): Các độ đo đƣợc đƣa ra bởi ngƣời dùng thƣờng đi kèm với các ngƣỡng giá trị, giúp cho quá trình khai phá hoặc đánh giá các mẫu đƣợc tìm thấy. Các độ đo đƣợc đƣa ra tƣơng ứng với các loại tri thức đạt đƣợc và do đó tƣơng ứng với các tác vụ khai phá đƣợc thực thi. Các độ đo thƣờng đƣợc đƣa ra để kiểm tra tính đơn giản, tính chắc chắn, tính hữu dụng, tính mới của tri thức đạt đƣợc. - Các kỹ thuật biểu diễn tri thức/trực quan hóa mẫu (Pattern visualization and knowledge presentation): Xác định dạng các mẫu/tri thức đƣợc tìm thấy để thể hiện đến ngƣời sử dụng.
Bao gồm: luật (rules), bảng (tables), báo cáo (reports), biểu đồ (charts), đồ thị (graphs), cây (trees), và khối (cubes).2 Khái quát về các kỹ thuật khai phá dữ liệu.1 Khai thác tập phổ biến và luật kết hợp. Đây là tiến trình khám phá các tập giá trị thuộc tính xuất hiện phổ biến trong các đối tƣợng dữ liệu. Từ tập phổ biến có thể tạo ra các luật kết hợp giữa các giá trị thuộc tính nhằm phản ánh khả năng xuất hiện đồng thời các giá trị thuộc tính trong tập 8 các đối tƣợng. Một luật kết hợp X → Y phản ánh sự xuất hiện của tập X dẫn đến sự xuất hiện đồng thời của tập Y.
Chẳng hạn phân tích CSDL bán hàng nhận đƣợc thông tin về những khách hàng mua máy tính có khuynh hƣớng mua phần mềm quản lý nhân sự trong cùng lần mua đƣợc miêu tả bằng luật kết hợp nhƣ sau: “Máy tính Þ Phần mềm quản lý nhân sự” Luật kết hợp giúp các nhà hoạch định hiểu rõ xu thế bán hàng, tâm lý khách hàng,. từ đó đƣa ra chiến lƣợc bố trí mặt hàng, kinh doanh, tiếp thị,. Là tiến trình khám phá các luật phân loại hay đặc trƣng cho các tập dữ liệu đã đƣợc xếp lớp. Tập dữ liệu học bao gồm tập đối tƣợng đã đƣợc xác định lớp sẽ đƣợc dùng để tạo mô hình phân lớp dựa trên đặc trƣng của đối tƣợng trong tập dữ liệu học.
Các luật phân lớp đƣợc sử dụng để xây dựng các bộ phân lớp dữ liệu. Phân lớp dữ liệu có vai trò quan trọng trong tiến trình dự báo các khuynh hƣớng quy luật phát triển. Áp dụng vào tiến trình phân lớp dữ liệu khách hàng trong CSDL có thể xây dựng các luật phân lớp khách hàng. Một số kỹ thuật thƣờng đƣợc sử dụng trong phân lớp.
- Cây quyết định (Decision tree): Cấu trúc dạng hình cây là biểu thị cho các quyết định. Các quyết định này sinh ra các quy tắc để phân lớp và dự đoán (dự báo) tập dữ liệu mới chƣa đƣợc phân lớp. Tri thức đƣợc rút ra trong kỹ thuật này thƣờng đƣợc mô tả dƣới dạng tƣờng minh, đơn giản, trực quan, dễ hiểu đối với ngƣời sử dụng. Tuy vậy, nó cũng đòi hỏi một không gian nhất định để mô tả tri thức trong phạm vi mà con ngƣời có thể hiểu đƣợc.