Chương 1: trình bày tổng quan về lĩnh vực KPDL và một số khái niệm liên quan, đồng thời chỉ ra các giai đoạn thực hiện trong quá trình khám phá tri thức. Phần tiếp theo của chƣơng là trình bày ngắn gọn, có hệ thống về các kỹ thuật, các dạng dữ liệu thƣờng đƣợc sử dụng trong KPDL. Chương 2: giới thiệu về Phân cụm dữ liệu, đây là một hƣớng tiếp cận chính trong KPDL. Trong đó, đi sâu phân tích chi tiết các vấn đề cơ bản trong PCDL và ý nghĩa của PCDL, đặc điểm của các kiểu dữ liệu cơ bản thƣờng sử dụng trong PCDL nhƣ: dữ liệu có thuộc tính hạng mục (Categorical), dữ liệu có thuộc tính số,… Các khái niệm về “tương tự” và “phi tương tự” cũng đƣợc trình bày trong chƣơng này.
Phần cuối của chƣơng trình bày vắn tắt, tổng kết về các đặc trƣng của các phƣơng pháp PCDL đƣợc sử dụng phổ biến nhƣ: Phương pháp phân cụm phân hoạch, phương pháp phân cụm phân cấp, phương pháp phân cụm dựa trên mật độ,…đồng thời nêu các kỹ thuật đánh giá kết quả PCDL. Chương 3: trình bày các phân tích, đánh giá các họ các thuật toán PCDL điển hình và chỉ ra các ƣu điểm, nhƣợc điểm của chúng cũng nhƣ các yêu cầu đặt ra cho việc tạo dụng thuật toán PCDL. Chương 4: trình bày các khảo cứu về áp dụng các kỹ thuật mờ trong PCDL và chứng minh tính hiệu quả của nó trong giải quyết với một lớp bài toán trong PCDL. Nội dung cụ thể của chƣơng này là trình bày về thuật toán FCM, đây là một thuật toán phân cụm mờ dựa trên lƣợc đồ của thuật toán k-means.
Thuật toán mở rộng của FCM là FCM đƣợc đề xuất nhằm khắc phục cho các nhƣợc điểm của thuật toán FCM là nhƣ nhạy cảm với các phần tử nhiễu (noise) và các phần tử ngoại lai trong 7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phân cụm dữ liệu và ứng dụng trong công tác Tái bảo hiểm dữ liệu (outlier). Phần cuối của chƣơng nêu ra một số các kết quả thực nghiệm cho các thuật toán phân cụm mờ đã trình bày ở trên. Chương 5: trình bày về khảo cứu của thuật toán PCDL k-prototypes áp dụng tập dữ liệu có kiểu hỗn hợp giữa thuộc tính số và thuộc tính hạng mục Phần kết luận, phần này trình bày tóm tắt về các nội dung thực hiện trong luận văn này, đồng thời đƣa ra những vấn đề nghiên cứu tiếp theo cho tƣơng lai. Phần phụ lục trình bày thử nghiệm khai phá dữ liệu “Tái bảo hiểm” bằng phƣơng pháp phân cụm dữ liệu.
8 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phân cụm dữ liệu và ứng dụng trong công tác Tái bảo hiểm CHƢƠNG 1: TỔNG QUAN VỀ DATA MINING 1.1 Giới thiệu chung Những năm 60 của thế kỷ trƣớc, ngƣời ta đã bắt đầu sử dụng các công cụ tin học để tổ chức và khai thác các CSDL. Cùng với sự phát triển vƣợt bậc của các công nghệ điện tử và truyền thông, khả năng thu thập và lƣu trữ và xử lý dữ liệu cho các hệ thống tin học không ngừng đƣợc nâng cao, theo đó, lƣợng thông tin đƣợc lƣu trữ trên các thiết bị nhƣ đĩa từ, băng từ, đĩa CD-ROM,. không ngừng tăng lên. Lƣợng dữ liệu khổng lồ này thực sự là một nguồn “tài nguyên” có nhiều giá trị bởi thông tin là yếu tố then chốt trong mọi hoạt động quản lý, kinh doanh, phát triển sản xuất và dịch vụ,… nó giúp những ngƣời điều hành và quản lý có hiểu biết về môi trƣờng và tiến trình hoạt động của tổ chức mình trƣớc khi ra quyết định để tác động đến quá trình hoạt động nhằm đạt đƣợc các mục tiêu một cách hiệu quả và bền vững.
KPDL là một lĩnh vực mới xuất hiện, nhằm tự động khai thác những thông tin, những tri thức có tính tiềm ẩn, hữu ích từ những CSDL lớn cho các đơn vị, tổ chức, doanh nghiệp,… từ đó làm thúc đẩy khả năng sản xuất, kinh doanh, cạnh tranh cho các đơn vị, tổ chức này. Các kết quả khoa học cùng những ứng dụng thành công trong khám phá tri thức, cho thấy, KPDL là một lĩnh vực phát triển bền vững, mang lại nhiều lợi ích và có nhiều triển vọng, đồng thời có ƣu thế hơn hẳn so với các công cụ phân tích dữ liệu truyền thống. Hiện nay, KPDL đã ứng dụng ngày càng rộng rãi trong các lĩnh vực nhƣ: thƣơng mại, tài chính, điều trị y học, viễn thông, tin - sinh,.2 KPDL là gì? KPDL là một hƣớng nghiên cứu mới ra đời hơn một thập niên trở lại đây, các kỹ thuật chính đƣợc áp dụng trong lĩnh vực này phần lớn đƣợc thừa kế từ lĩnh vực CSDL, học máy, trí tuệ nhân tạo, lý thuyết thông tin, xác suất thống kê, và tính toán hiệu năng cao. Do sự phát triển nhanh của KPDL về phạm vi áp dụng và các phƣơng pháp tìm kiếm tri thức, nên đã có nhiều quan điểm khác nhau về KPDL.
Tuy nhiên, ở một mức trừu tƣợng nhất định, chúng ta định nghĩa KPDL nhƣ sau [11][23]: 9 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phân cụm dữ liệu và ứng dụng trong công tác Tái bảo hiểm Định nghĩa: KPDL là một quá trình tìm kiếm, phát hiện các tri thức mới, tiềm ẩn, hữu dụng trong CSDL lớn. Khám phá tri thức trong CSDL (Knowledge Discovery in Databases - KDD) là mục tiêu chính của KPDL, do vậy hai khái niệm KPDL và KDD đƣợc các nhà khoa học trên hai lĩnh vực đƣợc xem là tƣơng đƣơng với nhau. Thế nhƣng, nếu phân chia một cách chi tiết thì KPDL là một bƣớc chính trong quá trình KDD.3 Quá trình khám phá tri thức trong CSDL Khám phá tri thức trong CSDL, KDD, là lĩnh vực liên quan đến các ngành nhƣ: thống kê, học máy, CSDL, thuật toán, trực quan hóa dữ liệu, tính toán song song và hiệu năng cao,… Quá trình KDD có thể phân thành các giai đoạn sau [5][11]: Trích chọn dữ liệu: là bƣớc trích chọn những tập dữ liệu cần đƣợc khai phá từ các tập dữ liệu lớn (databases, data warehouses, data repositories) ban đầu theo một số tiêu chí nhất định. Tiền xử lý dữ liệu: là bƣớc làm sạch dữ liệu (xử lý với dữ liệu không đầy đủ, dữ liệu nhiễu, dữ liệu không nhất quán,.), rút gọn dữ liệu (sử dụng hàm nhóm và tính tổng, các phƣơng pháp nén dữ liệu, sử dụng histograms, lấy mẫu, .), rời rạc hóa dữ liệu (rời rạc hóa dựa vào histograms, dựa vào entropy, dựa vào phân khoảng,.
Sau bƣớc này, dữ liệu sẽ nhất quán, đầy đủ, đƣợc rút gọn, và đƣợc rời rạc hóa. Biến đổi dữ liệu: đây là bƣớc chuẩn hóa và làm mịn dữ liệu để đƣa dữ liệu về dạng thuận lợi nhất nhằm phục vụ cho các kỹ thuật khai phá ở bƣớc sau. KPDL: đây là bƣớc áp dụng những kỹ thuật phân tích (phần nhiều là các kỹ thuật của học máy) nhằm để khai thác dữ liệu, trích chọn đƣợc những mẫu thông tin, những mối liên hệ đặc biệt trong dữ liệu. Đây đƣợc xem là bƣớc quan trọng và tốn nhiều thời gian nhất của toàn quá trình KDD.
Đánh giá và biểu diễn tri thức: những mẫu thông tin và mối liên hệ trong dữ liệu đã đƣợc khám phá ở bƣớc trên đƣợc chuyển dạng và biểu diễn ở một 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phân cụm dữ liệu và ứng dụng trong công tác Tái bảo hiểm dạng gần gũi với ngƣời sử dụng nhƣ đồ thị, cây, bảng biểu, luật,. Đồng thời bƣớc này cũng đánh giá những tri thức khám phá đƣợc theo những tiêu chí nhất định. Các giai đoạn trong KDD đƣợc thể hiện trực quan nhƣ hình 1 dƣới đây: Dữ liệu thô Trích chọn dữ Tiền xử lý dữ Biến đổi dữ liệu Dữ liệu liệu Dữ liệu liệu Tiền xử lý Đánh giá và Data Mining Tri thức Biểu diễn tri Các mẫu giải thích thức Hình 1 - Các bƣớc thực hiện trong quá trình khám phá tri thức 1.4 Các kỹ thuật áp dụng trong KPDL 1.1 Các kỹ thuật tiếp cận trong KPDL Khám phá tri thức trong CSDL là một lĩnh vực liên ngành, bao gồm: tổ chức dữ liệu, học máy, trí tuệ nhân tạo và các khoa học khác, sự kết hợp này có thể đƣợc diễn tả nhƣ trong hình 2 dƣới đây: Các lĩnh vực khoa học khác Học máy và trí tuệ nhân tạo Tổ chức dữ liệu Hình 2: Các lĩnh vực liên quan đến Khám phá tri thức trong CSDL Nếu đứng trên quan điểm của học máy (Machine Learning), thì các kỹ thuật trong KPDL bao gồm: 11 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phân cụm dữ liệu và ứng dụng trong công tác Tái bảo hiểm Học có giám sát (Supervised learning): là quá trình gán nhãn lớp cho các phần tử trong CSDL dựa trên một tập các ví dụ huấn luyện và các thông tin về nhãn lớp đã biết. Học không có giám sát (Unsupervised learning): là quá trình phân chia một tập dữ liệu thành các lớp hay là cụm (clustering) dữ liệu tƣơng tự nhau mà chƣa biết trƣớc các thông tin về lớp hay tập các ví dụ huấn luyện.
Học nửa giám sát (Semi - Supervised learning): là quá trình phân chia một tập dữ liệu thành các lớp dựa trên một tập nhỏ các ví dụ huấn luyện và một số các thông tin về một số nhãn lớp đã biết trƣớc. Nếu căn cứ vào lớp các bài toán cần giải quyết, thì KPDL bao gồm các kỹ thuật áp dụng sau [11][23]: Phân lớp và dự đoán (classification and prediction): xếp một đối tƣợng vào một trong những lớp đã biết trƣớc. Ví dụ: phân lớp các bệnh nhân với dữ liệu trong hồ sơ bệnh án. Hƣớng tiếp cận này thƣờng sử dụng một số kỹ thuật của học máy nhƣ cây quyết định (decision tree), mạng nơ ron nhân tạo (neural network),.
Phân lớp và dự đoán còn đƣợc gọi là học có giám sát. Luật kết hợp (association rules): là dạng luật biểu diễn tri thức ở dạng khá đơn giản. Ví dụ: “60 % nữ giới vào siêu thị nếu mua phấn thì có tới 80% trong số họ sẽ mua thêm son”. Luật kết hợp đƣợc ứng dụng nhiều trong lĩnh vực kinh doanh, y học, tin-sinh, tài chính và thị trƣờng chứng khoán,.
Phân tích chuỗi theo thời gian (sequential/temporal patterns): tƣơng tự nhƣ khai phá luật kết hợp nhƣng có thêm tính thứ tự và tính thời gian. Hƣớng tiếp cận này đƣợc ứng dụng nhiều trong lĩnh vực tài chính và thị trƣờng chứng khoán vì nó có tính dự báo cao. Phân cụm (clustering/segmentation): xếp các đối tƣợng theo từng cụm dữ liệu tự nhiên. Phân cụm còn đƣợc gọi là học không có giám sát (unsupervised learning).
Mô tả khái niệm (concept description and summarization): thiên về mô tả, tổng hợp và tóm tắt khái niệm.