Luận Văn Thạc Sĩ VNU UET Về Khai Phá Dữ Liệu Trong Dịch Vụ Khách Hàng

Luận văn thạc sĩ kỹ thuật nghiên cứu vnu uet khai phá dữ liệu phục vụ dịch vụ khách hàng luận văn ths công nghệ thông tin 1 01 10, khảo sát thực trạng, phân tích nguyên nhân, đề

• Tác giả: Phạm Hùng Thế
• Trường học: VNU UET
• Chuyên ngành: Khai Phá Dữ Liệu
• Đề tài: Khai Phá Dữ Liệu Trong Dịch Vụ Khách Hàng
• Loại tài liệu: Luận Văn Thạc Sĩ

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU
• 1.1. Mục tiêu của khai phá dữ liệu
• 1.2. Các quá trình khai phá dữ liệu
• 1.3. Các công việc chính của khai phá dữ liệu
• 1.4. Kiến trúc của hệ thống khai phá dữ liệu
• 1.5. Các thành phần của giải thuật khai phá dữ liệu
• 1.6. Các hướng tiếp cận cơ bản và kỹ thuật áp dụng
• 1.7. Các ứng dụng của khai phá dữ liệu
• 2. CHƯƠNG 2: KHAI PHÁ DỮ LIỆU SỬ DỤNG CÂY QUYẾT ĐỊNH
• 2.1. Hoạt động của cây quyết định
• 2.2. Xây dựng cây quyết định
• 2.2.1. Thuật toán học cây quyết định cơ bản
• 2.2.2. Lựa chọn thuộc tính phân lớp tốt nhất
• 2.3. Các vấn đề của cây quyết định
• 2.3.1. Tránh dữ liệu quá khớp (over-fitting data)
• 2.3.2. Luật cắt nhánh sau
• 2.3.3. Kết hợp các thuộc tính có giá trị liên tục
• 2.3.4. Xử lý các ví dụ học mà thuộc tính không có giá trị
• 2.4. Ưu và nhược điểm của cây quyết định
• 2.4.1. Những ưu điểm của phương pháp cây quyết định
• 2.4.2. Những nhược điểm của cây quyết định
• 3. CHƯƠNG 3: THỬ NGHIỆM KHAI PHÁ DỮ LIỆU SỬ DỤNG CÂY QUYẾT ĐỊNH
• 3.1. Chương trình ứng dụng cây quyết định C4.5 để sinh cây quyết định từ tập dữ liệu huấn luyện
• 3.2. Rules để sinh luật từ tập hợp dữ liệu huấn luyện
• 3.3. Ứng dụng phân loại khách hàng cho dịch vụ điện thoại trả trước
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Khai Phá Dữ Liệu Trong Dịch Vụ Khách Hàng

Khai phá dữ liệu là một lĩnh vực quan trọng trong việc tối ưu hóa dịch vụ khách hàng. Nó giúp các doanh nghiệp hiểu rõ hơn về hành vi và nhu cầu của khách hàng thông qua việc phân tích dữ liệu lớn. Việc áp dụng các kỹ thuật khai phá dữ liệu không chỉ giúp phát hiện các mẫu hành vi mà còn hỗ trợ trong việc đưa ra quyết định chiến lược. Các tổ chức hiện nay đang ngày càng chú trọng đến việc khai thác thông tin từ dữ liệu để nâng cao trải nghiệm khách hàng.

1.1. Mục Tiêu Của Khai Phá Dữ Liệu Trong Dịch Vụ Khách Hàng

Mục tiêu chính của khai phá dữ liệu trong dịch vụ khách hàng là phát hiện các thông tin tiềm ẩn có giá trị từ dữ liệu lớn. Điều này bao gồm việc phân tích hành vi khách hàng, dự đoán xu hướng tiêu dùng và tối ưu hóa trải nghiệm khách hàng. Các công cụ khai phá dữ liệu giúp doanh nghiệp đưa ra quyết định kịp thời và chính xác hơn.

1.2. Các Quá Trình Khai Phá Dữ Liệu Trong Dịch Vụ Khách Hàng

Quá trình khai phá dữ liệu bao gồm nhiều bước như thu thập dữ liệu, tiền xử lý, phân tích và đánh giá kết quả. Mỗi bước đều đóng vai trò quan trọng trong việc đảm bảo rằng thông tin thu được là chính xác và có giá trị. Việc áp dụng các giải thuật khai phá dữ liệu giúp tối ưu hóa quy trình này.

II. Thách Thức Trong Khai Phá Dữ Liệu Dịch Vụ Khách Hàng

Mặc dù khai phá dữ liệu mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức. Các vấn đề như chất lượng dữ liệu, bảo mật thông tin và khả năng phân tích dữ liệu lớn là những yếu tố cần được xem xét. Doanh nghiệp cần có chiến lược rõ ràng để vượt qua những thách thức này nhằm tối ưu hóa quy trình khai thác dữ liệu.

2.1. Vấn Đề Chất Lượng Dữ Liệu

Chất lượng dữ liệu là một trong những thách thức lớn nhất trong khai phá dữ liệu. Dữ liệu không chính xác hoặc không đầy đủ có thể dẫn đến những quyết định sai lầm. Do đó, việc đảm bảo chất lượng dữ liệu là rất quan trọng để đạt được kết quả tốt nhất.

2.2. Bảo Mật Thông Tin Khách Hàng

Bảo mật thông tin khách hàng là một vấn đề nhạy cảm trong khai phá dữ liệu. Doanh nghiệp cần phải tuân thủ các quy định về bảo vệ dữ liệu và đảm bảo rằng thông tin khách hàng được bảo vệ an toàn. Việc này không chỉ giúp xây dựng lòng tin mà còn bảo vệ thương hiệu.

III. Phương Pháp Khai Phá Dữ Liệu Hiệu Quả Trong Dịch Vụ Khách Hàng

Có nhiều phương pháp khai phá dữ liệu hiệu quả có thể áp dụng trong dịch vụ khách hàng. Các phương pháp này bao gồm phân lớp, phân cụm và phát hiện luật kết hợp. Mỗi phương pháp đều có những ưu điểm riêng và có thể được sử dụng tùy thuộc vào mục tiêu cụ thể của doanh nghiệp.

3.1. Phân Lớp Dữ Liệu Khách Hàng

Phân lớp là một phương pháp quan trọng trong khai phá dữ liệu, giúp phân loại khách hàng thành các nhóm khác nhau dựa trên hành vi và sở thích. Điều này giúp doanh nghiệp cá nhân hóa dịch vụ và nâng cao trải nghiệm khách hàng.

3.2. Phân Cụm Dữ Liệu Khách Hàng

Phân cụm giúp nhóm các khách hàng có hành vi tương tự lại với nhau. Phương pháp này cho phép doanh nghiệp nhận diện các nhóm khách hàng tiềm năng và tối ưu hóa chiến lược tiếp thị.

IV. Ứng Dụng Khai Phá Dữ Liệu Trong Dịch Vụ Khách Hàng

Khai phá dữ liệu có nhiều ứng dụng thực tiễn trong dịch vụ khách hàng. Từ việc phân tích hành vi khách hàng đến tối ưu hóa quy trình phục vụ, các ứng dụng này giúp doanh nghiệp nâng cao hiệu quả hoạt động và cải thiện trải nghiệm khách hàng.

4.1. Phân Tích Hành Vi Khách Hàng

Phân tích hành vi khách hàng giúp doanh nghiệp hiểu rõ hơn về nhu cầu và mong muốn của khách hàng. Điều này cho phép doanh nghiệp điều chỉnh sản phẩm và dịch vụ để đáp ứng tốt hơn nhu cầu của thị trường.

4.2. Tối Ưu Hóa Trải Nghiệm Khách Hàng

Việc tối ưu hóa trải nghiệm khách hàng thông qua khai phá dữ liệu giúp doanh nghiệp tạo ra những trải nghiệm tích cực hơn cho khách hàng. Điều này không chỉ tăng cường sự hài lòng mà còn thúc đẩy lòng trung thành của khách hàng.

V. Kết Luận Về Khai Phá Dữ Liệu Trong Dịch Vụ Khách Hàng

Khai phá dữ liệu là một công cụ mạnh mẽ trong việc nâng cao dịch vụ khách hàng. Việc áp dụng các phương pháp khai phá dữ liệu không chỉ giúp doanh nghiệp hiểu rõ hơn về khách hàng mà còn tối ưu hóa quy trình phục vụ. Tương lai của khai phá dữ liệu trong dịch vụ khách hàng hứa hẹn sẽ mang lại nhiều cơ hội mới cho các doanh nghiệp.

5.1. Tương Lai Của Khai Phá Dữ Liệu

Tương lai của khai phá dữ liệu trong dịch vụ khách hàng sẽ tiếp tục phát triển với sự tiến bộ của công nghệ. Các doanh nghiệp cần phải nắm bắt xu hướng này để không bị tụt lại phía sau.

5.2. Lời Khuyên Cho Doanh Nghiệp

Doanh nghiệp nên đầu tư vào công nghệ khai phá dữ liệu và đào tạo nhân viên để tối ưu hóa quy trình phục vụ khách hàng. Việc này sẽ giúp doanh nghiệp duy trì lợi thế cạnh tranh trong thị trường ngày càng khốc liệt.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ thông tin và sự phát triển vượt bậc của công nghệ phần cứng, việc xử lý và khai thác dữ liệu lớn trở thành một thách thức cũng như cơ hội lớn cho các tổ chức, doanh nghiệp. Theo ước tính, khối lượng thông tin trên toàn cầu dự kiến sẽ tăng gấp đôi chỉ sau mỗi 2 năm, kéo theo sự gia tăng nhanh chóng về dung lượng và kích thước các cơ sở dữ liệu (CSDL). Tuy nhiên, dù sở hữu lượng dữ liệu khổng lồ, nhiều doanh nghiệp vẫn gặp khó khăn trong việc khai thác thông tin hữu ích để hỗ trợ ra quyết định chính xác và kịp thời.

Mục tiêu chính của nghiên cứu là ứng dụng kỹ thuật khai phá dữ liệu (Data Mining) sử dụng cây quyết định nhằm phân lớp và dự đoán các mẫu dữ liệu có ý nghĩa, từ đó hỗ trợ doanh nghiệp trong việc phân tích khách hàng và nâng cao hiệu quả kinh doanh. Nghiên cứu tập trung vào việc xây dựng và thử nghiệm mô hình cây quyết định trên dữ liệu thực tế của một doanh nghiệp viễn thông, với phạm vi thời gian và địa điểm cụ thể là dữ liệu cước cuộc gọi quốc tế trả trước trong một khoảng thời gian nhất định.

Ý nghĩa của nghiên cứu được thể hiện qua việc cung cấp một công cụ tự động, chính xác và dễ hiểu để phân loại khách hàng, dự đoán nhu cầu sử dụng dịch vụ, từ đó giúp doanh nghiệp tối ưu hóa chiến lược tiếp thị, chăm sóc khách hàng và nâng cao vị thế cạnh tranh trên thị trường. Các chỉ số hiệu quả như độ chính xác phân lớp, khả năng xử lý dữ liệu lớn và tính ứng dụng thực tiễn được đặt làm tiêu chí đánh giá.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên nền tảng lý thuyết khai phá dữ liệu (Data Mining) và phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Database - KDD). KDD là quá trình tìm kiếm các mẫu, xu hướng có ý nghĩa từ dữ liệu lớn, trong đó khai phá dữ liệu là giai đoạn trọng tâm nhằm phát hiện các mẫu (pattern) có giá trị dựa trên các thuật toán phân tích.

Hai lý thuyết chính được áp dụng trong nghiên cứu là:

1. Lý thuyết cây quyết định (Decision Tree Theory): Cây quyết định là mô hình phân loại dữ liệu dưới dạng cấu trúc cây, trong đó mỗi nút là một thuộc tính, các nhánh là các giá trị thuộc tính và các lá là các lớp phân loại. Thuật toán xây dựng cây quyết định dựa trên nguyên tắc "chia để trị" và sử dụng độ đo thông tin (Information Gain) để lựa chọn thuộc tính phân lớp tốt nhất tại mỗi bước.

2. Lý thuyết entropy và độ đo thông tin: Entropy đo độ thuần nhất của tập dữ liệu, được tính theo công thức: [ Entropy(S) = - \sum_{i=1}^c p_i \log_2 p_i ] trong đó (p_i) là tỷ lệ phần tử thuộc lớp (i) trong tập (S). Độ đo thông tin (Information Gain) được sử dụng để đánh giá hiệu quả phân chia dữ liệu theo thuộc tính, giúp chọn thuộc tính tối ưu cho mỗi nút cây.

Các khái niệm chuyên ngành quan trọng bao gồm: phân lớp (classification), quá khớp dữ liệu (overfitting), cắt nhánh cây (pruning), thuộc tính liên tục (continuous attribute), và luật cắt nhánh sau (post-pruning rules).

Phương pháp nghiên cứu

Nguồn dữ liệu chính là tập dữ liệu cước cuộc gọi (Call Detail Record - CDR) của một doanh nghiệp viễn thông, bao gồm thông tin chi tiết về các cuộc gọi quốc tế trả trước của khách hàng. Dữ liệu được thu thập trong một khoảng thời gian nhất định, đảm bảo tính đại diện và đầy đủ cho việc phân tích.

Phương pháp phân tích sử dụng thuật toán cây quyết định C4.5, một phiên bản cải tiến của ID3, có khả năng xử lý dữ liệu liên tục, dữ liệu thiếu giá trị và ngăn ngừa hiện tượng quá khớp thông qua kỹ thuật cắt nhánh sau. C4.5 được triển khai trên môi trường mã nguồn mở, cho phép tùy chỉnh và tối ưu phù hợp với đặc thù dữ liệu.

Quy trình nghiên cứu gồm các bước: chuẩn bị dữ liệu (tiền xử lý, làm sạch, chuyển đổi định dạng), xây dựng mô hình cây quyết định, đánh giá mô hình bằng các chỉ số như độ chính xác phân lớp, độ tin cậy, và áp dụng mô hình để phân lớp khách hàng. Cỡ mẫu nghiên cứu khoảng vài nghìn bản ghi, được chọn ngẫu nhiên từ cơ sở dữ liệu lớn của doanh nghiệp nhằm đảm bảo tính khách quan và độ tin cậy.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả phân lớp khách hàng: Mô hình cây quyết định C4.5 đạt độ chính xác phân lớp khoảng 85-90% trên tập dữ liệu kiểm thử, cho thấy khả năng dự đoán nhu cầu sử dụng dịch vụ VoIP của khách hàng khá cao. So với các phương pháp truyền thống, cây quyết định giúp giảm thời gian phân tích xuống còn khoảng 30%, đồng thời cung cấp các luật phân lớp dễ hiểu.

2. Xác định các thuộc tính quan trọng: Thuộc tính "Outlook" (tình trạng thời tiết) và "Humidity" (độ ẩm) được xác định là các yếu tố phân lớp quan trọng nhất trong ví dụ minh họa về chơi Golf, tương tự trong dữ liệu viễn thông, các thuộc tính như tần suất gọi, thời gian gọi và loại dịch vụ có ảnh hưởng lớn đến phân lớp khách hàng.

3. Khả năng xử lý dữ liệu liên tục và thiếu giá trị: Thuật toán C4.5 xử lý hiệu quả các thuộc tính liên tục bằng cách tự động xác định ngưỡng phân chia tối ưu, đồng thời áp dụng phương pháp phân bổ xác suất cho các giá trị thiếu, giúp duy trì độ chính xác mô hình trên 80%.

4. Giảm thiểu hiện tượng quá khớp: Việc áp dụng kỹ thuật cắt nhánh sau giúp giảm thiểu hiện tượng quá khớp, tăng tính tổng quát của mô hình. So với cây quyết định không cắt nhánh, mô hình sau cắt nhánh có độ chính xác trên tập kiểm thử tăng trung bình 5-7%.

Thảo luận kết quả

Kết quả nghiên cứu khẳng định tính hiệu quả của phương pháp khai phá dữ liệu sử dụng cây quyết định trong việc phân lớp và dự đoán hành vi khách hàng trong ngành viễn thông. Việc lựa chọn thuật toán C4.5 với các cải tiến về xử lý dữ liệu liên tục, thiếu giá trị và cắt nhánh sau đã giúp mô hình đạt được độ chính xác cao và khả năng giải thích tốt.

So sánh với các nghiên cứu khác trong lĩnh vực khai phá dữ liệu, kết quả này tương đồng với báo cáo của ngành về việc sử dụng cây quyết định trong phân tích khách hàng, đồng thời vượt trội hơn về khả năng xử lý dữ liệu thực tế phức tạp. Các biểu đồ entropy và độ đo thông tin minh họa rõ ràng quá trình lựa chọn thuộc tính phân lớp, giúp người dùng dễ dàng theo dõi và hiểu mô hình.

Việc áp dụng mô hình vào thực tế doanh nghiệp viễn thông giúp nâng cao hiệu quả quản lý khách hàng, tối ưu hóa dịch vụ và tăng cường cạnh tranh trên thị trường. Tuy nhiên, nghiên cứu cũng nhận thấy hạn chế về chi phí tính toán khi xử lý dữ liệu rất lớn và yêu cầu cải tiến thêm về tối ưu thuật toán.

Đề xuất và khuyến nghị

1. Triển khai hệ thống khai phá dữ liệu tự động: Đề xuất doanh nghiệp xây dựng hệ thống khai phá dữ liệu tích hợp thuật toán cây quyết định C4.5 để tự động phân lớp khách hàng và dự đoán nhu cầu sử dụng dịch vụ, nhằm nâng cao hiệu quả quản lý và chăm sóc khách hàng trong vòng 6-12 tháng tới.

2. Tăng cường đào tạo và nâng cao năng lực nhân sự: Tổ chức các khóa đào tạo chuyên sâu về khai phá dữ liệu và phân tích cây quyết định cho đội ngũ phân tích dữ liệu và quản lý, giúp họ hiểu và vận dụng hiệu quả công cụ trong công việc hàng ngày.

3. Mở rộng phạm vi ứng dụng: Áp dụng mô hình cây quyết định không chỉ trong phân tích khách hàng mà còn trong các lĩnh vực khác như dự báo tài chính, quản lý rủi ro, nhằm tận dụng tối đa giá trị dữ liệu hiện có trong doanh nghiệp.

4. Nâng cấp hạ tầng công nghệ: Đầu tư nâng cấp hệ thống lưu trữ và xử lý dữ liệu để đáp ứng yêu cầu tính toán lớn, giảm thiểu thời gian xử lý và tăng khả năng mở rộng của hệ thống khai phá dữ liệu trong dài hạn.

Đối tượng nên tham khảo luận văn

1. Nhà quản lý doanh nghiệp viễn thông: Giúp hiểu rõ hơn về cách ứng dụng khai phá dữ liệu để phân tích khách hàng, từ đó xây dựng chiến lược kinh doanh và chăm sóc khách hàng hiệu quả.

2. Chuyên gia phân tích dữ liệu và khoa học dữ liệu: Cung cấp kiến thức chuyên sâu về thuật toán cây quyết định, kỹ thuật xử lý dữ liệu thực tế và các phương pháp đánh giá mô hình.

3. Sinh viên và nghiên cứu sinh ngành công nghệ thông tin, quản trị kinh doanh: Là tài liệu tham khảo quý giá cho các đề tài nghiên cứu về khai phá dữ liệu, học máy và ứng dụng trong kinh doanh.

4. Các nhà phát triển phần mềm và kỹ sư hệ thống: Hỗ trợ trong việc phát triển và tích hợp các giải pháp khai phá dữ liệu vào hệ thống quản lý doanh nghiệp, đặc biệt trong lĩnh vực viễn thông.

Câu hỏi thường gặp

1. Khai phá dữ liệu là gì và tại sao nó quan trọng?
   Khai phá dữ liệu là quá trình tự động tìm kiếm các mẫu, xu hướng có ý nghĩa từ dữ liệu lớn nhằm hỗ trợ ra quyết định. Nó quan trọng vì giúp doanh nghiệp tận dụng tối đa giá trị dữ liệu, nâng cao hiệu quả kinh doanh và cạnh tranh.

2. Tại sao chọn cây quyết định làm phương pháp khai phá dữ liệu?
   Cây quyết định dễ hiểu, dễ triển khai, xử lý được cả dữ liệu liên tục và phân loại, đồng thời cung cấp các luật phân lớp trực quan giúp người dùng dễ dàng giải thích kết quả.

3. Làm thế nào để tránh hiện tượng quá khớp trong cây quyết định?
   Sử dụng kỹ thuật cắt nhánh sau (post-pruning) giúp loại bỏ các nhánh không cần thiết, tăng tính tổng quát của mô hình và cải thiện độ chính xác trên dữ liệu mới.

4. C4.5 khác gì so với ID3?
   C4.5 là phiên bản cải tiến của ID3, có khả năng xử lý dữ liệu liên tục, dữ liệu thiếu giá trị, áp dụng cắt nhánh sau và sử dụng độ đo thông tin chuẩn hóa để lựa chọn thuộc tính phân lớp.

5. Làm sao để đánh giá hiệu quả của mô hình cây quyết định?
   Hiệu quả được đánh giá qua các chỉ số như độ chính xác phân lớp, độ tin cậy, khả năng xử lý dữ liệu thực tế và tính dễ hiểu của mô hình. Các phương pháp đánh giá chéo (cross-validation) thường được sử dụng để kiểm tra tính tổng quát.

Kết luận

• Khai phá dữ liệu sử dụng cây quyết định là phương pháp hiệu quả để phân lớp và dự đoán trong các tập dữ liệu lớn và phức tạp.
• Thuật toán C4.5 với các cải tiến về xử lý dữ liệu liên tục, thiếu giá trị và cắt nhánh sau giúp nâng cao độ chính xác và tính ứng dụng thực tế.
• Ứng dụng trong ngành viễn thông cho thấy mô hình có khả năng phân lớp khách hàng với độ chính xác trên 85%, hỗ trợ doanh nghiệp tối ưu hóa dịch vụ và chiến lược kinh doanh.
• Cần tiếp tục đầu tư nâng cấp hạ tầng công nghệ và đào tạo nhân sự để khai thác tối đa lợi ích từ khai phá dữ liệu.
• Đề xuất triển khai hệ thống khai phá dữ liệu tự động trong doanh nghiệp trong vòng 6-12 tháng tới nhằm nâng cao năng lực cạnh tranh và hiệu quả quản lý.

Hành động tiếp theo là xây dựng kế hoạch triển khai chi tiết, phối hợp với các phòng ban liên quan để áp dụng mô hình vào thực tế, đồng thời theo dõi và đánh giá hiệu quả liên tục nhằm điều chỉnh phù hợp.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan về khai phá dữ liệu: Giới thiệu tổng quan về mục tiêu, nhiệm vụ và các quá trình khai phá dữ liệu. Nêu khái quát các vấn đề chính của khai phá dữ liệu, các phương pháp, kỹ thuật khai phá dữ liệu chính, phổ biến.  Chương 2: Khai phá dữ liệu sử dụng cây quyết định: Chương này trình bày chi tiết các vấn đề chính yếu của khai phá dữ liệu sử dụng cây quyết định, khái niệm cây quyết định, thuật toán xây dựng cây quyết định, các giới hạn của việc sử dụng cây quyết định và những giải pháp khắc phục nó.  Chương 3: Thử nghiệm khai phá cây quyết định.

Xây dựng ứng dụng “Phân lớp khách hàng sử dụng dịch vụ điện thoại đường dài quốc tế trả trước” dựa trên phần mềm mã nguồn mở C4. LUAN VAN CHAT LUONG download : add [e-mail] Phạm Hùng Thế, K10T3 9 Luận văn thạc sỹ CHƢƠNG 1 TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 1.1 Mục tiêu của khai phá dữ liệu. Trong những thập kỷ gần đây, các thiết bị lưu trữ thông tin với dung lượng lớn không ngừng tăng lên. Việc lưu trữ dữ liệu lớn này ngày càng phát triển và bùng nổ với một tốc độ lớn.

Với tình hình hiện tại, khối lượng thông tin trên toàn cầu được dự đoán sẽ tăng gấp đôi chỉ sau 2 năm và theo đà đó thì lượng lưu trữ và kích cỡ của các CSDL cũng tăng lên một cách ồ ạt và nhanh chóng. Trong các lĩnh vực kinh doanh, tuy rằng đang có trong tay một lượng thông tin khổng lồ nhưng các nhà quản lý vẫn thấy thiếu thông tin nhất là các thông tin cần thiết và hữu ích. Vậy thì phải làm thế nào? Khai thác thông tin tiềm ẩn mang tính dự đoán từ các CSDL lớn là mục tiêu chính của khai phá dữ liệu, sử dụng cách thức này được coi là một hướng tiếp cận mới giúp cho các đơn vị, tổ chức chú trọng vào những thông tin có nhiều ý nghĩa từ những tập dữ liệu lớn và hữu ích. Những công cụ khai phá dữ liệu có thể dự đoán các xu thế tương lai do đó cho phép các tổ chức doanh nghiệp đưa ra được các quyết định kịp thời được định hướng bởi tri thức mà khi khai phá dữ liệu đem lại.

Tính tự động trong phân tích dữ liệu khiến nó chiếm ưu thế hơn hẳn so với các phân tích thông thường dựa trên kinh nghiệm hay các sự kiện trong quá khứ của các hệ thống hỗ trợ ra quyết định trước đây. Trên cơ sở đó cũng đồng thời trả lời được nhiều vấn đề trong kinh doanh mà trước đây khó có thể thực thi vì cần rất nhiều thời gian và công sức để xử lý. Với định hướng và mục tiêu chính của khai phá dữ liệu là kết xuất tri thức từ dữ liệu. Do đó ta có thể coi mục đích chính của quá trình khai phá dữ liệu là mô tả (description) và dự đoán (prediction).

Các mẫu mà khai phá dữ liệu phát hiện được nhằm vào mục đích này. LUAN VAN CHAT LUONG download : add [e-mail] Phạm Hùng Thế, K10T3 10 Luận văn thạc sĩ Dự đoán liên quan đến việc sử dụng các biến hoặc các trường trong cơ sở dữ liệu để kết xuất ra các mẫu là các dự đoán những giá trị chưa biết hoặc những giá trị trong tương lai của các biến đáng quan tâm. Mô tả tập trung vào việc tìm kiếm các mẫu mô tả dữ liệu mà con người có thể hiểu được.2 Các quá trình khai phá dữ liệu Các giải thuật khai phá dữ liệu thường được miêu tả như những chương trình hoạt động trực tiếp trên tệp dữ liệu. Với các phương pháp học máy và thống kê trước đây, thông thường thì bước đầu tiên là giải thuật nạp toàn bộ dữ liệu vào trong bộ nhớ.

Khi chuyển sang các ứng dụng công nghiệp liên quan đến việc khai phá các kho dữ liệu lớn mô hình này không đáp ứng được. Không chỉ bởi vì nó không thể nạp hết toàn bộ dữ liệu vào trong bộ nhớ mà còn có thể khó kết xuất dữ liệu ra các tệp đơn giản để phân tích được. Quá trình khai phá dữ liệu được thể hiện qua mô hình sau [3]: Thống kê tóm tắt Xác định Xác định dữ Thu thập và Giải thuật Mẫu nhiệm vụ liệu liên tiền xử lý DL khai phá quan DL Dữ liệu trực tiếp Hình 1.1 Quá trình khai phá dữ liệu 1. Xác định nhiệm vụ: Xác định chính xác các vấn đề cần giải quyết.

Xác định các dữ liệu liên quan dùng để xây dựng giải pháp. Thu thập và tiền xử lý dữ liệu: Thu thập các dữ liệu liên quan và tiền xử lý chúng thành dạng sao cho giải thuật khai phá dữ liệu có thể hiểu được. Ở đây LUAN VAN CHAT LUONG download : add [e-mail] Phạm Hùng Thế, K10T3 11 Luận văn thạc sĩ có thể gặp phải một số vấn đề: dữ liệu phải được sao ra nhiều bản (nếu được chiết suất vào các tệp), quản lý các tệp dữ liệu, phải lặp đi lặp lại nhiều lần toàn bộ quá trình (nếu mô hình dữ liệu thay đổi v. Giải thuật khai phá dữ liệu: Chọn thuật toán khai phá dữ liệu thích hợp và thực hiện việc khai phá dữ liệu: nhằm tìm được các mẫu (pattern) có ý nghĩa dưới dạng biểu diễn tương ứng với các ý nghĩa đó.3 Các công việc chính của khai phá dữ liệu Để đạt được hai mục đích trên, nhiệm vụ chính của khai phá dữ liệu bao gồm như sau:  Phân lớp (Classification): Phân lớp là việc học một hàm ánh xạ (hay phân loại) một mẫu dữ liệu vào một trong số các lớp xác định (Hand 1981; Weiss & Kulikowski 1991; MeLachLan 1992).

 Hồi qui (Regression): Hồi qui là việc học một hàm ánh xạ từ một mẫu dữ liệu thành một biến có giá trị thực. Các nhóm có thể tách riêng hoặc phân cấp hoặc gối lên nhau. Có nghĩa là dữ liệu vừa thuộc nhóm này lại có thể thuộc nhóm kia. Các ứng dụng khai phá dữ liệu có nhiệm vụ phân nhóm như phát hiện tập các khách hàng có phản ứng giống nhau trong cơ sở dữ liệu tiếp thị.

 Tóm tắt (Summarization): Liên quan đến các phương pháp tìm kiếm một mô tả cho một tập con dữ liệu. Các kỹ thuật tóm tắt thường được áp dụng cho các phân tích dữ liệu tương tác có tính thăm dò và tạo báo cáo tự động.  Mô hình hóa phụ thuộc (Dependency Modeling): Bao gồm việc tìm kiếm một mô hình mô tả sự phụ thuộc đáng kể giữa các biến. Các mô hình phụ thuộc tồn tại dưới hai mức.

LUAN VAN CHAT LUONG download : add [e-mail] Phạm Hùng Thế, K10T3 12 Luận văn thạc sĩ o Mức cấu trúc của mô hình xác định (thường ở dạng đồ họa) các biến nào là phụ thuộc cục bộ vào nhau. o Mức định lượng của một mô hình xác định độ mạnh của sự phụ thuộc theo một thước đo nào đó.  Phát hiện một sự thay đổi và lạc hướng (Change and Deviation Detection): Tập trung vào khai thác những thay đổi đáng kể nhất trong dữ liệu từ các giá trị chuẩn hoặc được đo trước đó (Berndt & Cliffort; Guyon et al. Kloesgen; Mathéu et al.

Các nhiệm vụ trên được áp dụng cho một số loại kiểu dữ liệu điển hình như sau: 1. CSDL quan hệ: Cơ sở dữ liệu tác nghiệp được tổ chức theo mô hình dữ liệu quan hệ. Hầu hết các hệ quản trị CSDL hiện nay đều hỗ trợ dạng này như MS SQL Server, Oracle, IBM DB2. CSDL đa chiều (Multimensional structures, data warehouses, data mart) là các kho dữ liệu được tập hợp, chọn lọc từ nhiều nguồn dữ liệu khác nhau.

Dạng dữ liệu này mang tính lịch sử (tức có tính thời gian) và chủ yếu phục vụ cho quá trình phân tích cũng như là khai phá tri thức nhằm hỗ trợ ra quyết định. CSDL dạng giao dịch: (Trasactional database): Là dạng CSDL tác nghiệp nhưng các bản ghi thường là các giao dịch. Dạng dữ liệu này thường phổ biến trong lĩnh vực thương mại và ngân hàng. CSDL quan hệ - hướng đối tượng (Object-relational database): Là dạng CSDL lai giữa 2 mô hình quan hệ và hướng đối tượng.

Dữ liệu không gian và thời gian (spatial, temporal and time-series data): là dạng dữ liệu có tích hợp thuộc tính về không gian (ví dụ dữ liệu về bản đồ), dữ liệu thời gian (dữ liệu thị trường chứng khoán…). LUAN VAN CHAT LUONG download : add [e-mail] Phạm Hùng Thế, K10T3 13 Luận văn thạc sĩ CSDL đa phương tiện (multimedia database): Là dạng dữ liệu âm thanh (audio), hình ảnh (images), phim ảnh (video), text & www … Dạng dữ liệu này hiện đang rất phổ biến trên Internet do sự ứng dụng rộng rãi của nó. Rõ ràng là ta thấy nhiệm vụ khác nhau này yêu cầu số lượng và các dạng thông tin rất khác nhau nên chúng thường ảnh hưởng đến việc thiết kế và chọn giải thuật khai phá dữ liệu khác nhau. Debt Cluster3 Cluster1 Cluster2 Income Hình 1.2 Mẫu kết quả với nhiệm vụ phân nhóm 1.4 Kiến trúc của hệ thống khai phá dữ liệu Khai phá dữ liệu là một bước lớn trong quá trình phát hiện tri thức từ số lượng lớn dữ liệu đã lưu trữ trong CSDL, kho dữ liệu hoặc các nơi lưu trữ khác.

Kết quả của bước này là những mẫu đáng quan tâm được đưa đến cho người dùng hoặc lưu giữ như là tri thức mới trong cơ sở tri thức. Kiến trúc của hệ thống khai phá dữ liệu có thể có các thành phần chính sau [9]: 1. CSDL, kho dữ liệu hoặc kho lưu trữ khác: đó là một hoặc một tập các CSDL, kho dữ liệu. Các kỹ thuật làm sạch dữ liệu và tích hợp dữ liệu có thể thực hiện trên dữ liệu.

Cơ sở tri thức: đó là lĩnh vực tri thức được dùng để hướng dẫn việc tìm hoặc đánh giá các mẫu kết quả tìm được. LUAN VAN CHAT LUONG download : add [e-mail] Phạm Hùng Thế, K10T3 14 Luận văn thạc sĩ 3. Các kỹ nghệ (engine: máy, engineering: kỹ nghệ) khám phá tri thức (data mining engine): bao gồm tập các chức năng để thực hiện các nhiệm vụ như là mô tả đặc điểm, kết hợp, phân lớp, phân nhóm dữ liệu. Đánh giá mẫu: thành phần này sử dụng các độ đo và tương tác với các mô đun khai phá dữ liệu để tập trung vào tìm các mẫu cần quan tâm.

Giao diện đồ họa: xây dựng các mô đun chương trình cho phép giao tiếp giữa người dùng và khai phá dữ liệu. Giao diện người dùng đồ họa Đánh giá mẫu Cơ sở tri thức Máy khai phá dữ liệu Máy chủ cơ sở dữ liệu hoặc máy chủ kho dữ liệu Tinh chế dữ liệu Lọc Tích hợp dữ liệu Cơ sở dữ liệu Kho dữ liệu Hình 1.3 Kiến trúc hệ thống khai phá dữ liệu 1.