Mở đầu 1.1 Khai phá dữ liệu. Khai phá dữ liệu là một khái niệm ra đời vào những năm cuối của thập kỷ 80. Nó bao hàm một loạt các kỹ thuật nhằm phát hiện ra các thông tin có giá trị tiềm ẩn trong các tập dữ liệu lớn (các kho dữ liệu). Về bản chất, khai phá dữ liệu liên quan đến việc phân tích các dữ liệu và sử dụng các kỹ thuật để tìm ra các mẫu hình có tính chính quy trong tập dữ liệu.
Năm 1989, Fayyad, Piatestsky-Shapiro và Smyth đã dùng khái niệm Phát hiện tri thức trong cơ sở dữ liệu, để chỉ toàn bộ quá trình phát hiện các tri thức có ích từ các tập dữ liệu lớn. Trong đó khai phá dữ liệu là một bước đặc biệt trong toàn bộ quá trình, sử dụng các giải thuật đặc biệt để chiết xuất ra các mẫu hay các mô hình từ dữ liệu. Ở một mức độ trừu tượng nhất định có thể định nghĩa: Khai phá dữ liệu (Data Mining) là một quá trình tìm kiếm, phát hiện các tri thức mới, tiềm ẩn, hữu dụng trong CSDL lớn. Khai phá tri thức (KDD) là mục tiêu chính của khai phá dữ liệu, do vậy hai khái niệm đó được xem như hai lĩnh vực tương đương nhau.
Nhưng, nếu phân chia một cách tách bạch thì khai phá dữ liệu là một bước chính trong quá trình KDD.2 Quá trình khai phá tri thức trong cơ sở dữ liệu Khai phá tri thức trong CSDL ( Knowledge Discovery in Databases - KDD) là lĩnh vực liên quan đến các ngành như: thống kê, học máy, CSDL, thuật toán, trực quan hóa dữ liệu, tính toán song song và hiệu năng cao,… Quá trình KDD có thể phân thành các giai đoạn sau [3][5]: 12 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1: Khai phá dữ liệu là một bước trong quá trình khai phá tri thức 1. Trích chọn dữ liệu (Data selection): Là bước trích chọn những tập dữ liệu cần được khai phá từ các tập dữ liệu lớn (databases, data warehouses, data repositories) ban đầu theo một số tiêu chí nhất định. Tiền xử lý dữ liệu (Data preprocessing): Là bước làm sạch dữ liệu (xử lý với dữ liệu không đầy đủ, dữ liệu nhiễu, dữ liệu không nhất quán,.), rút gọn dữ liệu (sử dụng hàm nhóm và tính tổng, các phương pháp nén dữ liệu, sử dụng histograms, lấy mẫu,.), rời rạc hóa dữ liệu (rời rạc hóa dựa vào histograms, dựa vào entropy, dựa vào phân khoảng,. Sau bước này, dữ liệu sẽ nhất quán, đầy đủ, được rút gọn, và được rời rạc hóa.
Biến đổi dữ liệu (Data transformation): Là bước chuẩn hóa và làm mịn dữ liệu để đưa dữ liệu về dạng thuận lợi nhất nhằm phục vụ cho các kỹ thuật khai phá ở bước sau. Khai phá dữ liệu (Data mining): Là bước áp dụng những kỹ thuật phân tích (phần nhiều là các kỹ thuật của học máy) nhằm để khai thác dữ liệu, trích chọn được những mẫu thông tin, những mối liên hệ đặc biệt trong dữ liệu. Đây được xem là bước quan trọng và tốn nhiều thời gian nhất của toàn quá trình KDD. 13 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.
Đánh giá và biểu diễn tri thức (Knowlwdge representation and evaluation): Dùng các kỹ thuật hiển thị dữ liệu để trình bày những mẫu thông tin (tri thức) và mối liên hệ trong dữ liệu đã được khám phá ở bước trên được chuyển dạng và biểu diễn ở một dạng gần gũi với người sử dụng như đồ thị, cây, bảng biểu, luật. Đồng thời bước này cũng đánh giá những tri thức khám phá được theo những tiêu chí nhất định.3 Các kỹ thuật tiếp cận trong khai phá dữ liệu. Nếu đứng trên quan điểm của học máy (Machine Learning), thì các kỹ thuật trong Data Mining, bao gồm [3][5]: 1. Học có giám sát (Supervised learning): Là quá trình gán nhãn lớp cho các phần tử trong CSDL dựa trên một tập các dữ liệu huấn luyện và các thông tin về nhãn lớp đã biết.
Học không có giám sát (Unsupervised learning): Là quá trình phân chia một tập dữ liệu thành các lớp hay là cụm (clustering) dữ liệu tương tự nhau mà chưa biết trước các thông tin về lớp hay tập các ví dụ huấn luyện. Học bán giám sát (Semi - Supervised learning): Là quá trình phân chia một tập dữ liệu thành các lớp dựa trên một tập nhỏ các dữ liệu huấn luyện và một số các thông tin về một số nhãn lớp đã biết trước. Nếu căn cứ vào lớp các bài toán cần giải quyết, thì Data Mining bao gồm các kỹ thuật sau [3][5]: 1. Phân lớp và dự đoán (Classification & prediction): xếp đối tượng vào một trong các lớp đã biết trước.
Ví dụ: phân lớp loại cước hoặc loại dịch vụ dựa trên số máy bị gọi của cuộc gọi, phân lớp khu vực dựa trên số máy chủ gọi, phân lớp giờ cao điểm, thấp điểm dựa trên giờ bắt đầu đàm thoại… Phân lớp là một kỹ thuật rất quan trọng trong khai thác dữ liệu. Phân lớp còn được gọi là học có 14 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com giám sát, hướng tiếp cận này thường được sử dụng một số kỹ thuật của học máy như cây quyết định (decision tree), mạng nơ ron nhân tạo (neural network)… 2. Luật kết hợp (Association rules): Là dạng biểu diễn tri thức ở dạng luật tương đối đơn giản. Ví dụ: “70% khách hàng gọi liên tỉnh thì có 99% trong số khách hàng đó gọi nội tỉnh”.
Luật kết hợp có khả năng ứng dụng trong rất nhiều lĩnh vực. Khai thác mẫu tuần tự (Sequential/temporal patterns): Tương tự như khai thác luật kết hợp nhưng có theo tính thứ tự và tính thời gian. Một luật mô tả mẫu tuần tự có dạng biểu diễn X→Y phản ánh sự xuất hiện của biến cố X sẽ dẫn đến việc xuất hiện kế tiếp biến cố Y. Hướng tiếp cận này có tính dự báo cao.
Phân cụm (Clustering/segmentation): Sắp xếp các đối tượng theo từng cụm. Các đối tượng được gom cụm sao cho mức độ tương tự giữa các đối tượng trong cùng một cụm là lớn nhất và mức độ tương tự giữa các đối tượng nằm trong các cụm khác nhau là nhỏ nhất. Phân cụm còn được gọi là học không giám sát (unsupervised learning).4 Kiến trúc của hệ thống khai phá dữ liệu Như đã trình bày ở trên, khai phá dữ liệu là một giai đoạn trong quá trình phát hiện tri thức từ số lượng lớn dữ liệu lưu trữ trong các cơ sở dữ liệu, kho dữ liệu hoặc các nơi lưu trữ khác. Các giai đoạn trong quá trình khai phá tri thức có thể lặp đi lặp lại nhằm tối ưu hóa quá trình khai phá tri thức.
Nhằm đưa ra các tri thức mới từ dữ liệu đã có. 15 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2: Kiến trúc của hệ thống khai phá dữ liệu Kiến trúc của hệ thống khai phá dữ liệu (Hình 1.2) có các thành phần như sau: Cơ sở dữ liệu, kho dữ liệu nguồn: Đó là một hoặc nhóm các cơ sở dữ liệu, kho dữ liệu … Các kỹ thuật làm sạch dữ liệu, tích hợp, lọc dữ liệu có thể thực hiện trên dữ liệu Cơ sở dữ liệu hoặc kho dữ liệu phục vụ: Là kết quả lấy dữ liệu có liên quan trên cơ sở khai phá dữ liệu của người dùng để phục vụ mục tiêu cụ thể. Cơ sở tri thức: Đó là lĩnh vực tri thức được sử dụng để hướng dẫn việc tìm hoặc đánh giá các mẫu kết quả thu được Mô tả khai phá dữ liệu: Bao gồm tập các module chức năng để thực hiện các nhiệm vụ mô tả đặc điển, kết hợp, phân lớp, phân cụm dữ liệu… Đánh giá mẫu: Thành phần này sử dụng các độ đo và tương tác với modul khai phá dữ liệu để tập trung vào tìm các mẫu quan tâm. Giao diện người dùng: Đây là module giữa người dùng và hệ thống khai phá dữ liệu.
Cho phép người dùng tương tác với hệ thống trên cơ sở những truy vấn hay tác vụ, cung cấp thông tin cho việc tìm kiếm. 16 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.5 Ứng dụng của khai phá dữ liệu Khai phá dữ liệu thu hút được rất nhiều sự quan tâm của các nhà nghiên cứu nhờ vào tính ứng dụng thực tiễn của nó. Một trong số ứng dụng điển hình như: Phân tích dữ liệu và hỗ trợ ra quyết định(data analysis and dicision support): o Phân tích và quản lý thị trường: Tiếp thị định hướng, quản lý quan hệ khách hàng, phân tích thói quen mua sắm, tiếp thị chéo, phân đoạn thị trường. o Phân tích và quản lý rủi ro: dự báo, duy trì khách hàng, cải thiện bảo lãnh, kiểm soát chất lượng, phân tích cạnh tranh.
o Phát hiện gian lận, phát hiện mẫu bất thường. Tài chính và thị trường chứng khoán: phân tích tình hình tài chính và dự báo giá của các loại cổ phiếu trong thị trường chứng khoán, danh mục vốn và giá, lãi suất, dữ liệu thẻ tín dụng, phát hiện gian lận… Điều trị và chăm sóc y tế: Một số thông tin về chuẩn đoán lưu bệnh trong các hệ thống quản lý bệnh viện. Phân tích mối liên hệ giữa triệu chứng bệnh, chuẩn đoán và phương pháp điều trị (chế độ dinh dưỡng, thuốc. Text mining & Web mining: Phân lớp văn bản và các trang web, tóm tắt văn bản… Lĩnh vực khoa học: Quan sát thiên văn, dữ liệu gene, dữ liệu sinh vật học, tìm kiếm, so sánh các hệ gene và thông tin di truyền, mối liên hệ gene và một số bệnh di truyền.
Mạng viễn thông: Phân tích các cuộc gọi điện thoại và hệ thống giám sát lỗi, phát hiện gian lận, các ứng dụng quản lý và chăm sóc khách hàng, phát hiện sự cố để đưa ra biện pháp phát triển chất lượng dịch vụ… 1.6 Hướng tiếp cận của luận văn. Viễn thông là ngành đã có những bước phát triển ngoạn mục trong những năm gần đây. Số lượng các thuê bao và các dịch vụ viễn thông kèm theo đang gia tăng một 17 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com cách chóng mặt. Các công nghệ mới cũng phát triển hết sức mạnh mẽ.
Đây lại là ngành có tỉ lệ tin học hóa cao, hầu hết các giao dịch, thao tác, hoạt động đều được lưu lại trong CSDL. Từ đó, lượng dữ liệu thu thập và lưu trữ được về các hoạt động sản xuất kinh doanh cũng trở nên ngày càng khổng lồ. Tiềm ẩn bên trong lượng dữ liệu này là những tri thức hết sức quí báu về thị trường, khách hàng, sản phẩm… 1.1 Ứng dụng quản lý và chăm sóc khách hàng Các công ty viễn thông quản lý một khối lượng lớn dữ liệu về thông tin khách hàng và dữ liệu về chi tiết cuộc gọi (call detail records).