Luận văn Thạc sĩ: Ứng dụng Phân cụm dữ liệu quản lý bảo hiểm Bảo Việt Nhân Thọ

Luận văn thạc sĩ phân tích ứng dụng phân cụm dữ liệu trong quản lý bảo hiểm tại công ty bảo việt nhân thọ hà nội, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi

• Tác giả: Đỗ Phương Dung
• Người hướng dẫn: PGS.TS Nguyễn Tân Ân
• Trường học: Trường Đại học Công nghệ Thông tin và Truyền thông, Đại học Thái Nguyên
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Ứng dụng phân cụm dữ liệu trong quản lý bảo hiểm tại Công ty Bảo Việt Nhân Thọ Hà Nội
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC HÌNH VẼ
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ KHÁM PHÁ TRI THỨC VÀ KHAI PHÁ DỮ LIỆU
• 1.1. Giới thiệu chung về khám phá tri thức và khai phá dữ liệu
• 1.2. Quá trình khám phá tri thức
• 1.3. Quá trình khai phá dữ liệu
• 1.4. Các phương pháp khai phá dữ liệu
• 1.5. Các lĩnh vực ứng dụng thực tiễn của KPDL
• 1.6. Các hướng tiếp cận cơ bản và kỹ thuật áp dụng trong KPDL
• 1.7. Kết luận
• 2. CHƯƠNG 2: PHÂN CỤM DỮ LIỆU VÀ CÁC THUẬT TOÁN TRONG PHÂN CỤM DỮ LIỆU
• 2.1. Khái niệm và mục tiêu của phân cụm dữ liệu
• 2.2. Các ứng dụng của phân cụm dữ liệu
• 2.3. Các yêu cầu của phân cụm
• 2.4. Những kỹ thuật tiếp cận trong phân cụm dữ liệu
• 2.5. Phương pháp phân cụm phân hoạch
• 2.6. Phương pháp phân cụm phân cấp
• 2.7. Phương pháp phân cụm dựa trên mật độ
• 2.8. Phương pháp phân cụm dựa trên lưới
• 2.9. Phương pháp phân cụm dựa trên mô hình
• 2.10. Phương pháp phân cụm có dữ liệu rằng buộc
• 3. CHƯƠNG 3: BÀI TOÁN ỨNG DỤNG
• 3.1. Đặt bài toán
• 3.2. Giải quyết bài toán
• 3.3. Chương trình ứng dụng
• 3.4. Đánh giá kết quả
• HƯỚNG NGHIÊN CỨU TIẾP THEO
• TÀI LIỆU THAM KHẢO
• Phụ lục 1: Hướng dẫn sử dụng chương trình
• Phụ lục 2: Mã nguồn trang Phân cụm của chương trình

Tóm tắt

I. Hướng dẫn về phân cụm dữ liệu trong quản lý bảo hiểm

Sự bùng nổ của Công nghệ thông tin (CNTT) đã tạo ra một lượng dữ liệu khổng lồ trong mọi lĩnh vực, đặc biệt là ngành bảo hiểm. Để biến khối dữ liệu này thành tri thức hữu ích, các kỹ thuật khai phá dữ liệu (KPDL) đã ra đời. Trong đó, phân cụm dữ liệu quản lý bảo hiểm nổi lên như một phương pháp hiệu quả để nhận diện các mẫu tiềm ẩn, hỗ trợ doanh nghiệp ra quyết định chiến lược. Phân cụm dữ liệu, một nhánh của học không giám sát, là quá trình nhóm các đối tượng (khách hàng, hợp đồng) thành các cụm riêng biệt. Các đối tượng trong cùng một cụm có đặc tính tương đồng cao, trong khi các đối tượng thuộc các cụm khác nhau lại có tính dị biệt lớn. Mục tiêu chính của kỹ thuật này là khám phá cấu trúc tự nhiên bên trong dữ liệu mà không cần các nhãn được định nghĩa trước. Tại Bảo Việt Nhân Thọ, việc áp dụng phương pháp này giúp doanh nghiệp hiểu rõ hơn về các phân khúc khách hàng, từ đó tối ưu hóa sản phẩm, dịch vụ và chiến lược tiếp thị. Thay vì nhìn nhận khách hàng như một khối đồng nhất, phân cụm dữ liệu cho phép xác định các nhóm nhỏ với các đặc điểm chung về độ tuổi, số tiền tham gia, và thời hạn hợp đồng, mở ra cơ hội cá nhân hóa và quản lý rủi ro hiệu quả hơn.

1.1. Khai phá dữ liệu và vai trò trong ngành bảo hiểm

Khai phá dữ liệu được định nghĩa là quá trình trích xuất thông tin có giá trị, tiềm ẩn từ các cơ sở dữ liệu (CSDL) lớn. Đây là một bước cốt lõi trong quy trình khám phá tri thức, bao gồm các công đoạn từ làm sạch, tích hợp, lựa chọn dữ liệu đến đánh giá và biểu diễn tri thức. Trong ngành bảo hiểm, KPDL đóng vai trò then chốt trong việc phân tích hành vi khách hàng, phát hiện gian lận, và đánh giá rủi ro. Các doanh nghiệp như Bảo Việt Nhân Thọ có thể sử dụng KPDL để dự báo xu hướng thị trường, xác định các nhóm khách hàng tiềm năng, và xây dựng các gói sản phẩm phù hợp với nhu cầu của từng phân khúc. Quá trình này giúp chuyển đổi dữ liệu thô thành các insight chiến lược, mang lại lợi thế cạnh tranh bền vững.

1.2. Phân cụm dữ liệu Khái niệm và mục tiêu cốt lõi

Phân cụm dữ liệu (PCDL) là quá trình phân chia một tập dữ liệu thành các nhóm (cụm) dựa trên độ tương đồng. Mục tiêu là tối đa hóa sự giống nhau của các phần tử trong cùng một cụm và tối thiểu hóa sự giống nhau giữa các cụm khác nhau. Không giống như phân lớp (classification), phân cụm dữ liệu thuộc phương pháp học không giám sát (Unsupervised Learning), tức là không yêu cầu dữ liệu được gán nhãn trước. Mục tiêu của phân cụm trong quản lý bảo hiểm là xác định bản chất nhóm trong tập dữ liệu khách hàng. Điều này giúp các chuyên gia nhận diện các mẫu khách hàng đặc trưng, ví dụ như nhóm khách hàng trẻ tuổi tham gia gói bảo hiểm dài hạn, hay nhóm khách hàng lớn tuổi với mức phí cao.

II. Thách thức quản lý rủi ro từ dữ liệu tại Bảo Việt Nhân Thọ

Ngành bảo hiểm nhân thọ vốn dĩ có tính rủi ro cao, không chỉ từ các sự kiện bất ngờ xảy đến với người được bảo hiểm mà còn từ các hành vi trục lợi. Bảo Việt Nhân Thọ, với tư cách là một trong những doanh nghiệp hàng đầu, phải đối mặt với thách thức quản lý một khối lượng hợp đồng bảo hiểm khổng lồ. Dữ liệu khách hàng ngày càng đa dạng và phức tạp, bao gồm thông tin về nhân khẩu học, tài chính và lịch sử tham gia. Việc xử lý thủ công và đánh giá dựa trên kinh nghiệm không còn đủ hiệu quả để nắm bắt các xu hướng và rủi ro tiềm ẩn. Các phương pháp truyền thống thường bỏ sót những mối liên hệ tinh vi giữa các thuộc tính dữ liệu, dẫn đến việc khó xác định chính xác các nhóm khách hàng có mức độ rủi ro cao hoặc các nhóm khách hàng tiềm năng nhất. Đây chính là bài toán mà phân cụm dữ liệu quản lý bảo hiểm cần giải quyết: tự động hóa quá trình phân tích và cung cấp một cái nhìn sâu sắc, đa chiều về toàn bộ danh mục khách hàng.

2.1. Vấn đề từ nguồn dữ liệu khách hàng đa dạng phức tạp

Dữ liệu khách hàng tại Bảo Việt Nhân Thọ được thu thập từ nhiều nguồn và chứa các thuộc tính đa dạng như số, thứ tự, và định danh (ví dụ: tuổi, số tiền, số năm mua). Sự phức tạp này đặt ra thách thức lớn cho việc phân tích. Dữ liệu có thể chứa nhiễu, thiếu sót hoặc không nhất quán. Nếu không được tiền xử lý cẩn thận, các thuật toán phân cụm dữ liệu có thể cho ra kết quả sai lệch, ảnh hưởng trực tiếp đến các quyết định kinh doanh. Việc chuẩn hóa và chuyển đổi dữ liệu thành một định dạng phù hợp cho việc khai phá là một bước quan trọng nhưng tốn nhiều công sức, đòi hỏi các kỹ thuật chuyên sâu về phân tích dữ liệu.

2.2. Khó khăn trong việc xác định nhóm khách hàng tiềm năng

Việc xác định các khách hàng tiềm năng hay các nhóm khách hàng có hành vi tương đồng là công việc then chốt. Tuy nhiên, khi quy mô dữ liệu lên tới hàng nghìn hay hàng triệu hồ sơ, việc này trở nên cực kỳ khó khăn. Các chuyên gia bảo hiểm có thể dựa vào kinh nghiệm để đưa ra nhận định, nhưng phương pháp này mang tính chủ quan và khó mở rộng. Bài toán đặt ra là cần một công cụ tự động để nhóm các khách hàng có sự tương đồng lớn nhất lại với nhau, dựa trên các thuộc tính như 'Số tiền mua', 'Số năm mua', và 'Tuổi'. Phân cụm dữ liệu chính là giải pháp để giải quyết bài toán này một cách khách quan và khoa học.

III. Cách áp dụng thuật toán K Means phân cụm dữ liệu bảo hiểm

Để giải quyết bài toán phân nhóm khách hàng tại Bảo Việt Nhân Thọ, nghiên cứu của Đỗ Phương Dung đã lựa chọn và áp dụng thuật toán K-Means. Đây là một trong những thuật toán phân cụm phân hoạch (Partitioning Clustering) phổ biến và hiệu quả nhất. Ý tưởng chính của K-Means là phân một tập dữ liệu gồm n đối tượng vào k cụm đã xác định trước, trong đó mỗi đối tượng thuộc về cụm có tâm (mean) gần nhất. Thuật toán hoạt động theo một quy trình lặp đi lặp lại để tối ưu hóa vị trí của các tâm cụm cho đến khi đạt được sự hội tụ, tức là các cụm không còn thay đổi đáng kể. Trong bối cảnh quản lý bảo hiểm, các đối tượng là hồ sơ khách hàng, và các thuộc tính phân tích là độ tuổi, số tiền mua, số năm tham gia. Việc áp dụng K-Means giúp tự động hóa việc gom nhóm, cung cấp một cái nhìn rõ ràng về các phân khúc khách hàng mà không cần sự can thiệp thủ công phức tạp, giúp các chuyên gia đưa ra đánh giá chính xác hơn về thị trường.

3.1. Nguyên lý hoạt động cơ bản của thuật toán K Means

Thuật toán K-Means hoạt động dựa trên việc tối thiểu hóa tổng phương sai trong mỗi cụm. Nó đo khoảng cách từ mỗi điểm dữ liệu đến tâm của cụm. Ban đầu, thuật toán khởi tạo k tâm cụm một cách ngẫu nhiên. Sau đó, nó thực hiện hai bước lặp lại: (1) Gán mỗi đối tượng vào cụm có tâm gần nhất, thường dựa trên khoảng cách Euclidean. (2) Tính toán lại tâm mới cho mỗi cụm bằng cách lấy giá trị trung bình của tất cả các đối tượng trong cụm đó. Quá trình này tiếp tục cho đến khi vị trí các tâm không thay đổi nữa. Đây là một phương pháp hiệu quả cho các cơ sở dữ liệu lớn và khi các cụm có dạng hình cầu.

3.2. Quy trình triển khai phân cụm dữ liệu với K Means

Quy trình ứng dụng thuật toán K-Means trong bài toán tại Bảo Việt Nhân Thọ bao gồm các bước rõ ràng. Đầu vào là số cụm k mong muốn và tập dữ liệu các hợp đồng bảo hiểm. Thuật giải gồm 4 bước chính: (1) Phân hoạch các đối tượng thành k cụm một cách ngẫu nhiên. (2) Tính toán tâm cho mỗi cụm dựa trên giá trị trung bình của các đối tượng trong cụm. (3) Gán lại mỗi đối tượng vào cụm có tâm gần nhất. (4) Lặp lại bước 2 và 3 cho đến khi không còn sự thay đổi nào trong các cụm, lúc đó thuật toán dừng lại và trả về kết quả là k cụm cuối cùng.

3.3. Ưu và nhược điểm của K Means trong phân tích bảo hiểm

Thuật toán K-Means có nhiều ưu điểm nổi bật: hiệu suất tính toán tương đối nhanh (độ phức tạp O(nkt)), dễ cài đặt và diễn giải. Tuy nhiên, nó cũng có những hạn chế. Thuật toán này nhạy cảm với việc khởi tạo tâm ban đầu và có thể hội tụ về tối ưu cục bộ. Một nhược điểm lớn là người dùng cần chỉ định trước số cụm k, một tham số không dễ xác định. Ngoài ra, K-Means hoạt động tốt nhất với các cụm có dạng hình cầu và kích thước tương đương, đồng thời không hiệu quả trong việc xử lý nhiễu (outliers). Mặc dù vậy, với sự đơn giản và hiệu quả, K-Means vẫn là lựa chọn khởi đầu mạnh mẽ cho bài toán phân cụm dữ liệu bảo hiểm.

IV. Case study Kết quả phân cụm tại Bảo Việt Nhân Thọ Hà Nội

Nghiên cứu ứng dụng phân cụm dữ liệu quản lý bảo hiểm tại Công ty Bảo Việt Nhân Thọ Hà Nội đã mang lại những kết quả cụ thể và có giá trị thực tiễn. Chương trình được xây dựng trên nền tảng .NET và SQL Server, chạy thử nghiệm với bộ dữ liệu gồm 1070 hợp đồng bảo hiểm. Tác giả đã tiến hành phân cụm dựa trên ba tiêu chí quan trọng: độ tuổi khách hàng, số tiền mua bảo hiểm, và số năm tham gia. Việc thiết lập số cụm (k) bằng 3 đã cho phép hình thành các nhóm khách hàng có đặc điểm rõ nét, giúp các nhà quản lý dễ dàng nhận diện và phân tích. Kết quả không chỉ cho thấy sự phân bố của khách hàng theo từng tiêu chí mà còn chỉ ra các nhóm chiếm tỷ trọng lớn, là cơ sở để định hình các chiến lược kinh doanh và marketing mục tiêu. Đây là một minh chứng rõ ràng cho thấy khai phá dữ liệu có thể giúp doanh nghiệp bảo hiểm chuyển đổi dữ liệu thô thành những hiểu biết sâu sắc, hỗ trợ ra quyết định một cách hiệu quả.

4.1. Phân tích kết quả phân cụm theo độ tuổi và số tiền mua

Kết quả phân cụm theo tiêu chí độ tuổi cho thấy nhóm khách hàng từ 37-66 tuổi là đông đảo nhất, chiếm tới 56,1% (600/1070 hợp đồng). Điều này cho thấy đây là phân khúc chủ lực của Bảo Việt Nhân Thọ. Về số tiền mua, phân tích chỉ ra rằng nhóm khách hàng mua với mức phí từ 30-65 triệu đồng chiếm tỷ lệ cao nhất. Những thông tin này giúp công ty hiểu rõ chân dung khách hàng chính của mình. Dựa vào đó, các chiến dịch marketing có thể được điều chỉnh để tập trung vào nhóm nhân khẩu học này, đồng thời phát triển các sản phẩm mới để thu hút các nhóm khách hàng tiềm năng khác, chẳng hạn như nhóm trẻ tuổi hơn.

4.2. Đánh giá kết quả phân cụm theo thời hạn hợp đồng

Khi phân tích theo số năm mua bảo hiểm, kết quả cho thấy một tỷ lệ áp đảo: 74,3% khách hàng (795/1070 hợp đồng) tham gia các gói bảo hiểm có thời hạn từ 16-40 năm. Đây là một tín hiệu tích cực, cho thấy sự gắn bó và tin tưởng lâu dài của khách hàng đối với thương hiệu Bảo Việt Nhân Thọ. Nhóm khách hàng này không chỉ mang lại doanh thu ổn định mà còn là nguồn vốn đầu tư dài hạn quan trọng cho công ty. Việc nhận diện được nhóm khách hàng trung thành này cho phép công ty xây dựng các chương trình chăm sóc đặc biệt, nhằm duy trì và củng cố mối quan hệ, đồng thời khuyến khích họ tham gia các sản phẩm bảo hiểm bổ sung.

4.3. Ý nghĩa của kết quả đối với chiến lược kinh doanh bảo hiểm

Tổng hợp các kết quả trên, phân cụm dữ liệu đã cung cấp một bức tranh toàn cảnh về danh mục khách hàng của Bảo Việt Nhân Thọ. Các nhà làm bảo hiểm có thể dựa vào đây để đánh giá và định hình các nhóm khách hàng tiềm năng. Ví dụ, họ có thể tạo ra các chiến lược riêng cho nhóm 'trung niên, mức phí trung bình, tham gia dài hạn'. Các kết quả này là cơ sở vững chắc để tối ưu hóa sản phẩm, cá nhân hóa dịch vụ và phân bổ nguồn lực marketing một cách hiệu quả, từ đó nâng cao năng lực cạnh tranh và thúc đẩy tăng trưởng bền vững cho công ty.

V. Tương lai của phân cụm dữ liệu trong ngành bảo hiểm Việt Nam

Việc ứng dụng thành công phân cụm dữ liệu quản lý bảo hiểm tại Bảo Việt Nhân Thọ chỉ là bước khởi đầu cho một xu hướng lớn hơn trong ngành bảo hiểm Việt Nam. Trong tương lai, các kỹ thuật khai phá dữ liệu và học máy sẽ ngày càng trở nên quan trọng. Doanh nghiệp không chỉ dừng lại ở việc phân nhóm khách hàng mà còn có thể mở rộng sang các lĩnh vực khác như dự báo rủi ro, cá nhân hóa sản phẩm theo thời gian thực, và tự động hóa quy trình thẩm định. Thách thức lớn nhất vẫn là chất lượng dữ liệu và khả năng tích hợp các hệ thống. Tuy nhiên, với sự phát triển không ngừng của công nghệ, tiềm năng của phân tích dữ liệu trong việc tạo ra giá trị cho cả doanh nghiệp và khách hàng là vô cùng to lớn. Việc đầu tư vào công nghệ và nhân lực chuyên sâu về khoa học dữ liệu sẽ là yếu tố quyết định sự thành công của các công ty bảo hiểm trong kỷ nguyên số.

5.1. Tóm tắt giá trị cốt lõi của ứng dụng phân cụm

Giá trị cốt lõi của việc ứng dụng phân cụm dữ liệu nằm ở khả năng biến dữ liệu phức tạp thành các nhóm thông tin có ý nghĩa và dễ hành động. Nó giúp doanh nghiệp bảo hiểm chuyển từ cách tiếp cận đại trà sang chiến lược tập trung vào từng phân khúc khách hàng cụ thể. Việc này không chỉ giúp tối ưu hóa chi phí hoạt động, tăng cường hiệu quả marketing mà còn cải thiện trải nghiệm khách hàng. Bằng cách hiểu rõ hơn về nhu cầu và hành vi của từng nhóm, công ty có thể cung cấp các giải pháp phù hợp hơn, từ đó xây dựng lòng trung thành và gia tăng giá trị vòng đời của khách hàng.

5.2. Hướng nghiên cứu và tiềm năng mở rộng trong tương lai

Nghiên cứu này mở ra nhiều hướng phát triển tiếp theo. Các thuật toán phân cụm dữ liệu khác như phân cụm phân cấp hay dựa trên mật độ có thể được thử nghiệm để so sánh hiệu quả. Ngoài ra, có thể kết hợp thêm nhiều thuộc tính khách hàng khác vào mô hình phân tích để có được cái nhìn sâu sắc hơn. Tiềm năng mở rộng còn nằm ở việc tích hợp kết quả phân cụm với các hệ thống quản lý quan hệ khách hàng (CRM) để tự động hóa các chiến dịch marketing. Hơn nữa, việc xây dựng các mô hình dự đoán khả năng rời bỏ của khách hàng dựa trên các cụm đã xác định cũng là một hướng đi đầy hứa hẹn, giúp doanh nghiệp có biện pháp giữ chân khách hàng kịp thời.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ KHÁM PHÁ TRI THỨC VÀ KHAI PHÁ DỮ LIỆU 1. Giới thiệu chung về khám phá tri thức và khai phá dữ liệu Nếu ta cho rằng, điện tử và truyền thông chính là bản chất của khoa học điện tử, thì dữ liệu, thông tin, và tri thức hiện đang là tiêu điểm của một lĩnh vực mới để nghiên cứu và ứng dụng, đó là khám phá tri thức và khai phá dữ liệu. Thông thường, chúng ta coi dữ liệu như là một chuỗi các bits, hoặc các số và các ký hiệu hay là các “đối tượng” với một ý nghĩa nào đó khi được gửi cho một chương trình dưới một dạng nhất định. Các bits thường được sử dụng để đo thông tin, và xem nó như là dữ liệu đã được loại bỏ phần tử thừa, lặp lại, và rút gọn tới mức tối thiểu để đặc trưng một cách cơ bản cho dữ liệu.

Tri thức được xem như là các thông tin tích hợp, bao gồm các sự kiện và mối quan hệ giữa chúng, đã được nhận thức, khám phá, hoặc nghiên cứu. Nói cách khác, tri thức có thể được coi là dữ liệu ở mức độ cao của sự trừu tượng và tổng quát. Khám phá tri thức hay phát hiện tri thức trong CSDL là một quy trình nhận biết các mẫu hoặc các mô hình trong dữ liệu với các tính năng: Phân tích, tổng hợp, hợp thức, khả ích và có thể hiểu được. Khai phá dữ liệu là một bước trong quá trình khám phá tri thức, gồm các thuật toán khai thác dữ liệu chuyên dùng dưới một số quy định về hiệu quả tính toán chấp nhận được để tìm ra các mẫu hoặc các mô hình trong dữ liệu.

Nói cách khác, mục tiêu của KPDL là tìm các mẫu hoặc mô hình tồn tại trong CSDL nhưng ẩn trong khối lượng lớn dữ liệu. download by : skknchat@gmail.1: Quá trình Khai phá tri thức 1. Quá trình khám phá tri thức [4] Quá trình khai phá tri thức trải qua 3 bước chính sau: Bước 1: Chuẩn bị dữ liệu Do dữ liệu được thu thập từ nhiều nguồn khác nhau nên cũng thể có nhiều sai sót, dư thừa, trùng lặp. Vì vậy bước chuẩn bị là bước rất quan trọng.

Dữ liệu sau bước chuẩn bị này sẽ nhỏ hơn, xử lý nhanh chóng hơn. Chuẩn bị dữ liệu bao gồm các công đoạn sau: - Làm sạch dữ liệu (Data Cleaning): Loại bỏ dữ liệu nhiễu và dữ liệu không thích hợp. - Tích hợp dữ liệu (Data Intergation): Tích hợp dữ liệu từ các nguồn khác nhau - Lựa chọn dữ liệu (Data Selection): Lựa chọn những dữ liệu phù hợp với nhiệm vụ phân tích trích rút từ cơ sở dữ liệu. download by : [e-mail] 12 - Chuyển đổi dữ liệu (Data Transfomation): Dữ liệu được chuyển đổi hay được hợp nhất về dạng thích hợp cho việc khai phá.

Bước 2: Khai phá dữ liệu (Data Mining): Đây là một tiến trình cốt yếu trong đó các phương pháp thông minh được áp dụng nhằm trích rút ra thông tin có ích, các mẫu điển hình hay các luật liên quan giữa các yếu tố của dữ liệu. Bước 3: Hậu xử lý Không phải bất cứ mẫu dữ liệu nào được trích xuất ra đều là mẫu có ích, đôi khi còn bị sai lệch. Vậy cần có những tiêu chuẩn đánh giá phù hợp để trích xuất ra tri thức thực sự có ích. Bước hậu xử lý bao gồm 2 công đoạn: - Đánh giá mẫu (Pattern Evaluation): Dựa trên một độ do nào đó xác định lợi ích thực sự, độ quan trọng của các mẫu biểu diễn tri thức.

- Biểu diễn tri thức (Knowled Presentation): Ở giai đoạn này các kỹ thuật biểu diễn và hiển thị được sử dụng để đưa tri thức lấy ra cho người dùng. Quá trình khai phá dữ liệu KPDL là một giai đoạn quan trọng trong quá trình Khai phá tri thức. Về bản chất, nó là giai đoạn duy nhất tìm ra được thông tin mới, thông tin tiềm ẩn có trong CSDL chủ yếu phục vụ cho mô tả và dự đoán. Mô tả dữ liệu: là tổng kết hoặc diễn tả những đặc điểm chung của nhứng thuộc tính dữ liệu trong kho dữ liệu mà con người có thể hiểu được.

Dự đoán: là dựa trên những dữ liệu hiện thời để dự đoán những quy luật được phát hiện từ các mối liên hệ giữa các thuộc tính của dữ liệu trên cơ sở đó chiết xuất ra các mẫu, dự đoán được những giá trị chưa biết hoặc những giá trị tương lai của các biến quan tâm. download by : [e-mail] 13 Quá trình KPDL bao gồm các bước chính được thể hiện như Hình 1.2: Quá trình Khai phá dữ liệu - Xác định nhiệm vụ: Xác định chính xác các vấn đề cần giải quyết. - Xác định các dữ liệu liên quan: Dùng để xây dựng giải pháp. - Thu thập các dữ liệu liên quan: Thu thập các dữ liệu liên quan và tiền xử lý chúng sao cho thuật toán KPDL có thể hiểu được.

Đây là một quá trình rất khó khăn, có thể gặp phải rất nhiều các vướng mắc như: dữ liệu phải được sao ra nhiều bản (nếu được chiết xuất vào các tệp), quản lý tập các dữ liệu, phải lặp đi lặp lại nhiều lần toàn bộ quá trình (nếu mô hình dữ liệu thay đổi), v.v… - Thuật toán khai phá dữ liệu: Lựa chọn thuật toán KPDL và thực hiện việc PKDL để tìm được các mẫu có ý nghĩa, các mẫu này được biểu diễn dưới dạng luật kết hợp, cây quyết định… tương ứng với ý nghĩa của nó. Các phương pháp khai phá dữ liệu Với hai mục đích khai phá dữ liệu là Mô tả và Dự đoán, người ta thường sử dụng các phương pháp sau cho khai phá dữ liệu: + Luật kết hợp (Association rules) download by : [e-mail] 14 + Phân lớp (Classfication) + Hồi quy (Regression) + Trực quan hóa (Visualiztion) + Phân cụm (Clustering) + Tổng hợp (Summarization) + Mô hình ràng buộc (Dependency modeling) + Biểu diễn mô hình (Model Evaluation) + Phân tích sự phát triển và độ lệch (Evolution and deviation analyst) + Phương pháp tìm kiếm (Search Method) - Có nhiều phương pháp khai phá dữ liệu được nghiên cứu ở trên, trong đó có ba phương pháp được các nhà nghiên cứu sử dụng nhiều nhất đó là: Luật kết hợp, Phân lớp dữ liệu và Phân cụm dữ liệu. Các lĩnh vực ứng dụng thực tiễn của KPDL KPDL là một lĩnh vực mới phát triển nhưng đã được ứng dụng một cách rộng rãi trong rất nhiều lĩnh vực của đời sống. Sau đây là một số lĩnh vực ứng dụng thực tế điển hình của khai phá dữ liệu; - Phân tích tình hình tài chính, thị trường, dự báo giá cổ phiếu trong tài chính, thị trường và chứng khoán.

- Y học: Chuẩn đoán bệnh dựa trên kết quả xét nghiệm… - Bảo hiểm: Áp dụng vào việc phân tích mức độ rủi ro hay tìm kiếm khách hàng mua bảo hiểm download by : [e-mail] 15 - Quá trình sản xuất: Các ứng dụng giải quyết sự tối ưu của các nguồn tài nguyên như máy móc, nhân sự và nguyên vật liệu. thiết kế tối ưu trong quá trình sản xuất. - Phân tích dữ liệu và hỗ trợ ra quyết định. - Tìm kiếm, đối sách các hệ Gene và thông tin di truyền trong sinh học.

- Phân tích dữ liệu marketing, khách hàng. - Điều khiển và lập lịch trình. - Thể thao, giải trí, quảng cáo. Các hướng tiếp cận cơ bản và kỹ thuật áp dụng trong KPDL [1] Vấn đề khai phá dữ liệu có thể được chia theo lớp các hướng tiếp cận chính sau: - Phân lớp và dự đoán (Classification & prediction): Là quá trình xết một đối tượng vào một trong những lớp đã được biết trước (ví dụ: phân lớp các bệnh nhân theo dữ liệu hồ sơ bệnh án, phân lớp vùng địa lý theo dữ liệu thời tiết…).

Đối với những hướng tiếp cận này thường sử dụng một số kỹ thuật của học máy như cây quyết định (decision tree), mạng nơron nhân tạo (neural network),… Hay lớp bài toán này còn được gọi là học có giám sát (Supervused learning). download by : [e-mail] 16 - Phân cụm (Clustering/Segmentation): Sắp xếp các đối tượng theo từng cụm dữ liệu tự nhiên, tức là số lượng và tên cụm chưa được biết trước. Các đối tượng được gom cụm sao cho mức độ tương tự giữa các đối tượng trong cùng một cụm là lớn nhất và mức độ tương tự giữa các đối tượng nằm trong các cụm khác nhau là nhỏ nhất. Lớp bài toán này còn được gọi là học không giám sát (Unsupervised learning).

- Luật kết hợp (Association rules): Là quá trình khám phá các tập giá trị thuộc tính xuất hiện phổ biến trong các đối tượng dữ liệu. Từ tập phổ biến có thể tạo ra các luật kết hợp giữa các giá trị thuộc tính trong tập các đối tượng. - Khám phá chuỗi theo thời gian (Sequential/ temporal patterns): Cũng tương tự như KPDL bằng luật kết hợp nhưng có thêm tính thứ tự và tính thời gian. Một luật mô tả mẫu tuần tự có dạng tiêu biểu X  Y , phản ánh sự xuất hiện của biến cố X sẽ dẫn đến việc xuất hiện biến cố Y.

Hướng tiếp cận này được ứng dụng nhiều trong lĩnh vực tài chính và thị trường chứng khoán bởi chúng có tính dự báo cao. - Phân tích ngoại lệ: Phân tích ngoại lệ cũng là một dạng của phân cụm, nó tập trungvào các trường hợp rất khác biệt so với các trường khác. - Hồi quy: Phương pháp này được sử dụng để đưa ra các dự báo dựa trên các dữ liệu đang tồn tại bằng cách áp dụng các công thức. Một hàm sẽ được học ra từ bộ dữ liệu hiện có bằng cách sử dụng cá kỹ thuật hồi quy và tuyến tính từ việc thống kê.

Sau đó, dữ liệu mới sẽ căn cứ vào hàm này để đưa ra những dự đoán - Mô tả khái niệm (Concept desccription & Summarization): Lớp bài toán này thiên về mô tả, tổng hợp và tóm tắt khái niệm. download by : skknchat@gmail. Kết luận KPDL là một lĩnh vực đã và đang trở thành một trong những hướng nghiên cứu thu hút được sự quan tâm của nhiều chuyên gia về CNTT trên thế giới. Trong những năm gần đây, rất nhiều các phương pháp và thuật toán mới liên tục được công bố.

Điều này chứng tỏ những ưu thế, lợi ích và khả năng ứng dụng thực tế to lớn của KPDL. Tuy nhiên trong quá trình khai phá dữ liệu cũng gặp những thách thức sau: - Cơ sở dữ liệu lớn: kích thước của cơ sở dữ liệu được nhận biết thông qua số lượng các mẫu tin, các thuộc tính (hay các biến) và các bảng, số lượng có thể là hàng trăm thuộc tính và bảng, hàng triệu các mẫu tin. Như vậy, kích thước của cơ sở dữ liệu tính bằng terabyte (1012 byte) đã bắt đầu xuất hiện.