I. Tổng Quan Nghiên Cứu Khai Thác Dữ Liệu và Khám Phá Tri Thức
Công nghệ thông tin ngày nay là động lực quan trọng của sự phát triển. Máy tính số hóa thông tin (số, đồ thị, văn bản, hình ảnh, âm thanh) và trở thành công cụ thông minh. Nó xử lý thông tin thuộc nhiều lĩnh vực: kinh doanh, y học,... Cùng với sự phát triển của công nghệ lưu trữ dữ liệu, việc lưu trữ thông tin liên quan đến nhiều mặt của cuộc sống đã góp phần cải thiện cuộc sống và giảm bớt việc lưu trữ thông tin dựa trên văn bản. Đó chính là tiền đề cho sự ra đời của nền kinh tế mới – nền kinh tế số (hay còn gọi là nền kinh tế tri thức). Nền kinh tế này đang làm cho sự phát triển thông tin lưu trữ ngày càng nhiều, và khả năng linh hoạt của các phần mềm phải đảm đương nhiều công việc trong việc lựa chọn thông tin. Trong những năm 1980, một số nhà nghiên cứu đã đưa ra một số kỹ thuật nhằm giải quyết các vấn đề trên, và được gọi là kỹ thuật khai phá dữ liệu (data mining).
1.1. Ứng Dụng Thực Tế Của Khai Thác Dữ Liệu Hiện Nay
Các kỹ thuật khai phá dữ liệu đã được các công ty kinh doanh các sản phẩm liên quan đến thông tin ứng dụng rộng rãi. Ví dụ, khi duyệt web, tìm kiếm thông tin trên Google, Google luôn đưa ra các gợi ý. Facebook đưa ra những gợi ý về những người bạn cho bạn kết bạn. Amazon đưa ra các lựa chọn về những quyển sách mà bạn cần mua. Tất cả những điều này là ứng dụng cụ thể của khai phá dữ liệu và khám phá tri thức. Vậy khai phá dữ liệu là gì?
1.2. Lịch Sử Phát Triển và Giải Quyết Vấn Đề Khai Thác Dữ Liệu
Theo thời gian, định nghĩa về khai phá dữ liệu ngày càng được mở rộng và hoàn thiện. Khai phá dữ liệu là quá trình khám phá thông tin hữu dụng trong các kho dữ liệu khổng lồ một cách tự động. Các kỹ thuật khai phá dữ liệu được triển khai dựa trên các cơ sở dữ liệu lớn nhằm tìm kiếm các mẫu hay các quy luật (pattern) mới và hữu dụng mà chưa từng được biết trước đó. Ví dụ: “Những sinh viên học giỏi các môn Toán rời rạc, Lập trình, Cấu trúc dữ liệu và Cơ sở dữ liệu thì sẽ học giỏi môn khai phá dữ liệu”. Data mining là một phần hoàn chỉnh của lĩnh vực khám phá tri thức (Knowledge Discovery).
II. Thách Thức và Khó Khăn Trong Khai Thác Dữ Liệu Lớn
Việc khai thác tri thức từ dữ liệu đối mặt với nhiều khó khăn. Thứ nhất, tính qui mô: Các tập hợp dữ liệu được lưu trữ ngày càng lớn (gigabytes, terabytes, petabytes) và ngày càng trở nên thông dụng. Các thuật toán khai phá dữ liệu phải có khả năng phân tích được các tập dữ liệu đó. Thứ hai, tính đa thuộc tính: Xử lý các tập dữ liệu có hàng trăm hay hàng nghìn thuộc tính ngày càng trở nên phổ biến. Thứ ba, dữ liệu không thuần nhất và phức tạp: Cần có các kỹ thuật phân tích dữ liệu có thể áp dụng được cho các thuộc tính không thuần nhất. Thứ tư, sở hữu và phân bố dữ liệu: Dữ liệu cần phân tích được lưu trữ ở nhiều nơi khác nhau và được sở hữu bởi nhiều cơ quan khác nhau.
2.1. Vấn Đề Qui Mô Dữ Liệu và Yêu Cầu Về Tính Khả Mở Rộng
Với sự phát triển trong việc tạo ra dữ liệu cũng như thu thập dữ liệu, các tập hợp dữ liệu được lưu trữ ngày càng lớn (gigabytes, terabytes, petabytes) và ngày càng trở nên thông dụng. Các thuật toán khai phá dữ liệu phải có khả năng phân tích được các tập dữ liệu đó. Nhiều kỹ thuật khai phá dữ liệu triển khai các chiến lược nghiên cứu đặc biệt nhằm quản lý các vấn đề trong nghiên cứu tăng theo cấp số nhân. Tính qui mô (scalability) yêu cầu phương pháp cài đặt của cấu trúc dữ liệu mới nhằm truy xuất được các mẩu tin một cách hiệu quả.
2.2. Xử Lý Dữ Liệu Đa Thuộc Tính và Dữ Liệu Không Đồng Nhất
Xử lý các tập dữ liệu có hàng trăm hay hàng nghìn thuộc tính ngày càng trở nên phổ biến. Trong lĩnh vực tin học cho sinh học, dữ liệu về gen có thể bao gồm hàng ngàn thuộc tính. Các tập dữ liệu với các thành phần dữ liệu theo thời gian hay còn được gọi là dữ liệu tuần tự (temporal/ spatial components) cũng có xu hướng có rất nhiều thuộc tính. Các phương pháp phân tích dữ liệu truyền thống được thiết kế cho dữ liệu có ít thuộc tính không thể áp dụng cho trường hợp dữ liệu có nhiều thuộc tính.
III. Quy Trình Khám Phá Tri Thức Từ Dữ Liệu KDD Chi Tiết
Data mining là một bước trong quá trình khám phá tri thức trong cơ sở dữ liệu (Knowledge Discovery in Databases – KDD). Quá trình khám phá tri thức trong cơ sở dữ liệu bao gồm nhiều bước. Đầu tiên là Input Data: dữ liệu đầu vào, nó có thể được lưu trữ với dưới nhiều định dạng khác nhau (file text, file bảng tính, các bản quan hệ) và được lưu trữ trong kho dữ liệu tập trung hoặc phân tán nhiều nơi khác nhau. Tiếp theo là Data Preprocessing: Quá trình tiền xử lý dữ liệu bao gồm phân rã (puse) dữ liệu từ nhiều nguồn dữ liệu khác nhau, làm sạch (clean) dữ liệu bằng cách loại bỏ nhiễu và dữ liệu trùng nhau, lựa chọn các mẫu tin (record) và các đặc tính (feature) có liên quan đến quá trình khai thác (mine) dữ liệu.
3.1. Các Bước Tiền Xử Lý Dữ Liệu Quan Trọng Trong KDD
Trong thực tế, dữ liệu có thể được thu nhập và lưu trữ bằng nhiều cách khác nhau nên quá trình tiền xử lý dữ liệu là một quá trình hết sức quan trọng, khá nặng nhọc và tiêu tốn nhiều thời gian cũng như công sức. Các bước tiền xử lý bao gồm làm sạch dữ liệu, tích hợp dữ liệu, chuyển đổi dữ liệu và giảm dữ liệu.
3.2. Hậu Xử Lý Kết Quả và Ứng Dụng Trong Hệ Thống Quyết Định
Hậu xử lý kết quả là quá trình loại bỏ các kết quả không phù hợp hay lựa chọn các kết quả phù hợp với các công việc và nhu cầu thực tế. Các kết quả sau bước hậu xử lý sẽ được sử dụng cho các hệ thống hỗ trợ ra quyết định (Decision Support System). Mục tiêu của khai thác dữ liệu có 2 nhiệm vụ lớn là dự đoán và mô tả.
IV. Các Phương Pháp Khai Phá Dữ Liệu Phổ Biến Hiện Nay
Có nhiều phương pháp khai phá dữ liệu được sử dụng rộng rãi. Phân cụm dữ liệu (Cluster analysis) là một phương pháp quan trọng. Cây quyết định (Decision tree) cũng là một phương pháp phổ biến. K – lân cận gần nhất: (K Nearest neighbour-KNN) là một phương pháp khác. Giải thuật di truyền cũng được sử dụng. Mạng neuron nhân tạo (Neural networks) cũng là một công cụ mạnh mẽ. Luật kết hợp (Association rule) là một phương pháp quan trọng để tìm ra các mối quan hệ giữa các mục dữ liệu.
4.1. Phân Cụm Dữ Liệu Cluster Analysis và Ứng Dụng
Phân cụm dữ liệu (Cluster analysis) là một kỹ thuật khai phá dữ liệu quan trọng, được sử dụng để nhóm các đối tượng tương tự lại với nhau. Các cụm được hình thành dựa trên sự tương đồng về thuộc tính giữa các đối tượng. Phân cụm dữ liệu có nhiều ứng dụng trong các lĩnh vực khác nhau, như phân tích khách hàng, phân tích thị trường và phân tích hình ảnh.
4.2. Cây Quyết Định Decision Tree và Khả Năng Phân Loại
Cây quyết định (Decision tree) là một phương pháp khai phá dữ liệu được sử dụng để phân loại và dự đoán. Cây quyết định biểu diễn các quy tắc phân loại dưới dạng cấu trúc cây. Mỗi nút trên cây đại diện cho một thuộc tính, và mỗi nhánh đại diện cho một giá trị của thuộc tính đó. Cây quyết định có thể được sử dụng để dự đoán giá trị của một thuộc tính mục tiêu dựa trên giá trị của các thuộc tính khác.
V. Ứng Dụng Phần Mềm Tanagra Trong Khai Phá Dữ Liệu Thực Tế
Phần mềm Tanagra là một công cụ khai phá dữ liệu mạnh mẽ và dễ sử dụng. Tanagra cung cấp nhiều thuật toán khai phá dữ liệu khác nhau, bao gồm phân cụm, phân loại, hồi quy và luật kết hợp. Tanagra có giao diện đồ họa thân thiện, giúp người dùng dễ dàng thực hiện các tác vụ khai phá dữ liệu. Tanagra được sử dụng rộng rãi trong các lĩnh vực khác nhau, như kinh doanh, y học và khoa học.
5.1. Giới Thiệu và Tìm Hiểu Về Phần Mềm Khai Phá Dữ Liệu Tanagra
Tanagra là một phần mềm khai phá dữ liệu mã nguồn mở, được phát triển bởi Ricco Rakotomalala tại Đại học Lyon 2, Pháp. Tanagra cung cấp nhiều thuật toán khai phá dữ liệu khác nhau, bao gồm phân cụm, phân loại, hồi quy và luật kết hợp. Tanagra có giao diện đồ họa thân thiện, giúp người dùng dễ dàng thực hiện các tác vụ khai phá dữ liệu.
5.2. Ứng Dụng Tanagra Trong Khai Phá Luật Kết Hợp và Cây Quyết Định
Tanagra có thể được sử dụng để khai phá dữ liệu bằng luật kết hợp và cây quyết định. Để khai phá dữ liệu bằng luật kết hợp, người dùng có thể sử dụng thuật toán Apriori hoặc thuật toán FP-Growth. Để khai phá dữ liệu bằng cây quyết định, người dùng có thể sử dụng thuật toán C4.5 hoặc thuật toán CART.
