MỞ ĐẦU Ngày nay, cùng với sự phát triển của khoa học công nghệ, mạng máy tính và truyền thông đã có những bước phát triển mạnh mẽ và được ứng dụng rộng rãi trong tất cả các lĩnh vực đời sống. Cùng với đó, nhu cầu và khả năng thu thập, lưu trữ dữ liệu của con người không ngừng tăng lên theo cấp số nhân. Với lượng dữ liệu khổng lồ hiện nay, yêu cầu đặt ra đối với các công cụ xử lý, phân tích thông tin ngày càng cao. Đặc biệt hơn, con người luôn mong muốn thu nhận một cách tự động những tri thức tiềm ẩn, mang tính dự đoán từ nguồn dữ liệu quý giá này.
Trong những năm qua, khám phá tri thức (khai phá dữ liệu), học máy, trích xuất quy tắc từ dữ liệu v. đã thu hút nhiều sự chú ý của các nhà khoa học trong lĩnh vực trí tuệ nhân tạo. Trên cơ sở đó, nhiều phương pháp khám phá tri thức từ cơ sở dữ liệu (CSDL) đã ra đời. Khám phá tri thức từ CSDL (Knowledge Discovery in Databases – KDD) là một lĩnh vực khoa học nhằm nghiên cứu để tạo ra những công cụ khai phá những thông tin, tri thức hữu ích, tiềm ẩn mang tính dự đoán trong các CSDL lớn [1, 2].
Một quá trình chuẩn khám phá tri thức từ CSDL bao gồm 5 công đoạn [1]: Công đoạn 1 - Lựa chọn dữ liệu: Là quá trình lựa chọn một tập dữ liệu, hoặc kết hợp một số tập dữ liệu sẵn với nhau để tạo ra một tập dữ liệu đích phù hợp với mục tiêu khai phá. Công đoạn 2 - Tiền xử lý dữ liệu: Giai đoạn này bao gồm việc loại bỏ hoặc làm giảm giá trị bị nhiễu; xử lý giá trị bị thiếu và rời rạc hóa thuộc tính nếu cần. Công đoạn này nhằm cải thiện chất lượng tổng thể của bất kỳ thông tin nào có thể được phát hiện từ CSDL. Công đoạn 3 - Rút gọn dữ liệu: Hầu hết các tập dữ liệu có thể chứa một lượng dư thừa nhất định.
Lượng dữ liệu dư thừa này không những không hỗ trợ quá trình khám phá tri thức mà trên thực tế còn có thể làm sai lệch kết quả khai phá. Mục đích của công đoạn này này là tìm ra các thuộc tính (đặc trưng) hữu ích để đại diện cho dữ liệu và loại bỏ các thuộc tính không liên quan. Từ đó, tiết kiệm được thời gian xử lý trong công đoạn khai phá dữ liệu tiếp theo. 2 Công đoạn 4 - Khai phá dữ liệu: Áp dụng các kỹ thuật khai phá dữ liệu (trích xuất thông tin hữu ích tiềm ẩn từ cơ sở dữ liệu) được lựa chọn phù hợp với mục tiêu của nhiệm vụ khám phá tri thức.
Việc lựa chọn kỹ thuật sử dụng có thể phụ thuộc vào nhiều yếu tố, bao gồm nguồn của tập dữ liệu và các giá trị mà nó chứa. Công đoạn 5 - Đánh giá và diễn giải tri thức. Một khi tri thức đã được khám phá, nó sẽ được đánh giá về giá trị, tính hữu ích, tính mới và tính đơn giản. Điều này có thể yêu cầu lặp lại một số bước trên của quá trình khám phá tri thức.
Những mẫu thông tin và mối quan hệ trong dữ liệu đã được phát hiện sẽ được chuyển sang và biểu diễn ở dạng gần gũi với người sử dụng như đồ thị, cây, bảng biểu, luật, v. Trong 5 công đoạn trên của quá trình khám phá tri thức từ CSDL, công đoạn 4 là quan trọng nhất. Các kết quả nghiên cứu cùng với những ứng dụng thành công thời gian qua cho thấy, khám phá tri thức từ CSDL là một lĩnh vực khoa học tiềm năng, mang lại nhiều lợi ích, đồng thời có ưu thế hơn hẳn so với các công cụ phân tích dữ liệu truyền thống. Tuy nhiên, với tốc độ tăng trưởng của dữ liệu hiện nay, việc nghiên cứu và ứng dụng các kỹ thuật khai phá dữ liệu cũng đang gặp nhiều khó khăn, thách thức, đòi hỏi các nhà nghiên cứu phải không ngừng nổ lực nhằm tìm ra những công cụ để giải quyết các khó khăn, thách thức này.
Một trong những khó khăn, thách thức quan trọng đó chính là, cùng với sự bùng nổ nhanh chóng của công nghệ, kích thước của những tập dữ liệu con người thu thập được ngày càng lớn. Có thể thấy, trong hầu hết các ứng dụng như dữ liệu gen, phân lớp văn bản, truy xuất hình ảnh và truy xuất thông tin, chúng ta thường phải đối mặt với các tập dữ liệu có số lượng lớn các thuộc tính (hay đặc trưng). Điều này có thể dẫn đến các thuật toán khai phá hoặc học từ dữ liệu truyền thống trở nên chậm lại và không thể xử lý thông tin một cách hiệu quả. Vấn đề đặt ra là trước khi triển khai các thuật toán khai phá dữ liệu cần phải có phương pháp rút gọn thuộc tính của CSDL mà vẫn bảo toàn được những thông tin cần khai thác.
Rút gọn thuộc tính có thể được thực hiện bằng cách sử dụng các kỹ thuật phù hợp, tùy thuộc vào yêu cầu của bài toán khai phá dữ liệu đặt ra. Những kỹ thuật này có thể được chia thành hai loại chính, đó là biến đổi thuộc tính và lựa chọn thuộc tính [1, 3, 4, 5]. 3 Phép biến đổi thuộc tính cố gắng xây dựng một không gian thuộc tính mới bằng cách biến đổi không gian thuộc tính ban đầu thành không gian có số chiều thấp hơn. Phân tích thành phần chính và phân tích thành phần độc lập là hai phương pháp biến đổi thuộc tính được sử dụng rộng rãi [1, 4, 5].
Lựa chọn thuộc tính (hay còn gọi là rút gọn thuộc tính) là quá trình chọn ra một tập hợp con thuộc tính từ tập hợp các thuộc tính ban đầu, với mục tiêu loại bỏ càng nhiều càng tốt các thuộc tính không liên quan và dư thừa nhằm cải thiện chất lượng dữ liệu và giảm độ phức tạp về thời gian và không gian cho việc phân tích. Lựa chọn thuộc tính là vấn đề rất quan trọng: thứ nhất là do các thuộc tính không liên quan không góp phần vào việc làm tăng độ chính xác dự đoán; thứ hai là do hầu hết thông tin mà nó có thể cung cấp cho việc dự đoán đã được chứa trong các thuộc tính khác. Lựa chọn thuộc tính được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau, chẳng hạn như phân loại văn bản (text categorization), truy cập hình ảnh (image retrieval), Tin-sinh học (bioinformatics), phát hiện xâm nhập mạng (intrusion detection) , v. Trong công đoạn 4 của quá trình khai phá dữ liệu, hai kỹ thuật quan trọng, thường được sử dụng nhất là kỹ thuật phân lớp (Classification) và kỹ thuật gom cụm dữ liệu (Data clustering) [1].
Phân lớp là phương pháp phân tích dữ liệu để trích xuất các quy tắc sắp xếp các đối tượng vào một trong các lớp đã biết dựa trên các giá trị sẵn có của các thuộc tính. Phân lớp còn được gọi là học có giám sát (supervised learning). Một số kỹ thuật cơ bản để phân lớp dữ liệu là quy nạp cây quyết định (decision tree induction), phân lớp Bayes, mạng nơ-ron nhân tạo (Neural network), và phương pháp máy véc tơ hỗ trợ (Support vector machines - SVM). Gom cụm dữ liệu là phương pháp nhóm các đối tượng tương tự nhau trong tập dữ liệu vào các cụm sao cho các đối tượng thuộc cùng một cụm là tương đồng còn các đối tượng thuộc các cụm khác nhau sẽ không tương đồng.
Gom cụm dữ liệu là một phương pháp học không có giám sát (unsupervised learning). Không giống như phân lớp dữ liệu, gom cụm dữ liệu không đòi hỏi phải biết trước nhãn lớp của các mẫu dữ liệu huấn luyện. Khi bắt đầu quá trình ta không biết trước các cụm dữ liệu sẽ như thế nào. Vì vậy, thông 4 thường cần có các chuyên gia về lĩnh vực giúp đánh giá các cụm thu được sau khi thực hiện một kỹ thuật gom cụm.
Gom cụm dữ liệu được sử dụng nhiều trong các ứng dụng, chẳng hạn trong phân loại các loài thực vật, phân đoạn khách hàng, phân loại trang web v. Ngoài ra, gom cụm dữ liệu còn có thể được sử dụng như một kỹ thuật trong bước tiền xử lý cho các thuật toán khai phá dữ liệu khác. Bài toán gom cụm dữ liệu cũng là bài toán NP-khó. Cho đến nay, có nhiều kỹ thuật gom cụm heuristic đã được đề xuất và giới thiệu trong các tài liệu về phân tích thống kê, khai phá dữ liệu, học máy [1, 6, 7].
Hầu hết các kỹ thuật gom cụm trong các tài liệu đều tập trung vào các tập dữ liệu số, trong đó mỗi thuộc tính mô tả các đối tượng đều có miền giá trị là một khoảng giá trị thực liên tục, mỗi đối tượng dữ liệu số được coi là một điểm trong không gian metric đa chiều với một metric đo khoảng cách giữa các đối tượng, chẳng hạn như metric Euclide hoặc metric Mahalanobis. Tuy nhiên, trong các ứng dụng thực tiễn thường gặp phải những tập dữ liệu với các thuộc tính là những thuộc tính phân loại hay phạm trù (categorical), tức là những thuộc tính có miền giá trị 𝐷 hữu hạn và không có thứ tự (chẳng hạn như màu tóc, quốc tịch v.); trong 𝐷 chỉ được phép so sánh giữa các giá trị, với bất kỳ 𝑎, 𝑏 ∈ 𝐷 hoặc 𝑎 = 𝑏 hoặc 𝑎 ≠ 𝑏. Với dữ liệu phân loại ta không thể định nghĩa hàm khoảng cách một cách tự nhiên. Lý thuyết tập thô - do Zdzisaw Pawlak [8] đề xuất vào những năm đầu thập niên tám mươi của thế kỷ hai mươi - được xem là công cụ hữu hiệu để giải quyết các bài toán xử lý thông tin có chứa dữ liệu mơ hồ, không chắc chắn.
Tính từ mơ hồ, không chắc chắn liên quan đến sự không nhất quán hoặc không rõ ràng. Do tư duy mới lạ, phương pháp độc đáo và dễ cài đặt, trong hơn ba mươi năm qua, lý thuyết tập thô đã được nghiên cứu, ứng dụng và trở thành một công cụ quan trọng trong lĩnh vực xử lý thông tin thông minh [2, 9, 10, 11, 12, 13]. Nó đã được áp dụng thành công trong một số lĩnh vực như học máy, hệ chuyên gia, nhận dạng mẫu, hệ thống hỗ trợ quyết định, khám phá tri thức trong cơ sở dữ liệu v. Trong nghiên cứu tính toán hạt (granular computing), lý thuyết tập thô đã trở thành một trong những mô hình và công cụ chính [10].
Triển vọng ứng dụng của lý thuyết tập hợp thô là rất rộng. Các tập thô không chỉ có thể được sử dụng để giải quyết vấn đề thông tin không chắc chắn, mà còn có thể giúp tối ưu hóa nhiều phương pháp tính toán mềm hiện 5 có.