LỜI MỞ ĐẦU Trong thoi buổi kinh tế thị trường ngày hôm nay, một doanh nghiệp muốn tÊn tri và phát triển thì cần phải khai thác và thu thập được các bình luận phẫn hỗi của người đồng về sân phẩm hay dich vụ của mình từ đồ đưa ra những định hướng à điều chính về hoạt động sân xuất kinh doanh ph hợp hơn, Cũng với sự ra đồi cña nlemset, sự xuất hiện và phát tiễn không ngồng của lãnh vợc thương mại điệ tờ khiến cho iệc xúc tiến các hoạt động kinh doanh, buôn toán, quảng bá sẵn phẩm, dịch vụ diễn ra trên khắp các kệnh thông tin xã hội đặc iệlà trên mạng internet. Điều nây vô nh dong tạo nền cầu nối giữa nguời đồng "và nhà cung cấp, và từ cầu nối này người đùng có thể đưa ra bình luận của họ đối với sân phẩm hay dịch vụ mà nhà cũng cấp mang lạ "Như chúng ta đã biết ngày nay mọi thông tin đều được đưa lên cde trang “mạng xã hội đưới dạng các pods và rất nhiễu người đồng để li các các nhận xết của mình về các posts này dưới dạng các comment, a nhận thấy đây là kho thông tin không lễ mã từ đồ nếu chúng ta có thể khai phá và tích rút tất cả các commentz của người đồng, sau đồ phân tích và phân loại dỡ liệu ấy, chúng ta có thể thu được các kết quả khảo sit ẩn thiết phục vụ cho hoạt động sản xuất kinh doanh. Việc phân loại bình luận khách hàng về nhiễo lãnh vực, giáp đoanh nghiệp cổ cách quản lý tốthơn, đưa ra những sáng kiển mới giớp doanh nghiệp mình phát triển 2 CHUONG 1: TONG QUAN VE KHAIPHA DU’ LIEU VA BAI TOAN PHAN LOẠI BÌNH LUẬN KHÁCH HÀNG 11. Tổng quanvề khai phá đỡ KPDL la mét trong nhöng thuật ngỡ mới xuất hiện đầu thể kỹ 21, nỗ là hệ quả của sự bùng nỗ Internet đạt tới đình điểm.
Theo một công bổ của Intel vào tháng 9 nim 2013, cớ 11 giây trôi qua lạ cô thêm 1 Petbybe dữ liệ, nỗ trong đương với một video chất lượng HD dài 13 nấm: KPDL đã và dang được ứng đọng rộng rãi trong rất nhiều ĩnh vực và hiện nay đã có ắt nhiềucông cụ thương mại và phi thương mai triển khai các nhiệm vụ của KEDL, - Phân ích dỡ liệu và h trợ ra quyết inh (data analysis & decision support) - Điều trị y học (medical treatment): Hién nay, ủng dụng công nghệ lưu trữ lớn, khai phá đỡ liệu trong lĩnh vực y tế để chẩn đoán, phòng ngừa và điều trị bệnh. shim can thiệp nâng cao sức khöe con người là hướng nghiên cứu có nh cầu thực tiễn, được quan âm tích cực bỗi công đẳng các nhà nghiên cứu. Một số ứng đụng cụ thể của KÈDL trong y học ~> Dự đoán khả nă g nhiễm bệnh. -> Dự đoán mức độ nghiễm trọng cöa vius đối với cơ hể cơn người - Text mining & Web mining: KPDL vin bản và KPDL Web là một trong hing ing dung quan trọng hiện nay.
Các bãi todn trong KPDL văn bản bao gằn: Tìm kiểm văn bản + Phin lop vin bin ~ Tôm tất vấn bản + Phin cum vin bin ~ Phin cum cée tr mve + Dinh chỉ mục các từ tiềm năng + Din duing vin bin Đối với các bài toén trong KPDL Web bao gm: ~ Thu thip va if 6 lige Web “Phân lớp nhôm các Website cổ độ uy tín khỉ truy cập - Ti sinh học (bio-informatics): KPDL sinh hoc la mét phin rit quan trong của ah ve Tin-Sinh hoe (Bioinformatics). Méts6 ig dung cia KPDI. trong sinh học ->Lập chỉ mục, im kiểm tương tự, bất thường trong CSDL Gen ~ Xây đựng mô bình khai phá các mạng dĩ truyền và cấ tric ca Gen, pro tein + Xay dung các công cy tree quan trong phân tích dỡ liệu đi truy - Tài chính và thị trường chimg khodn (finance & stock market): Di liệu tài chính trong ngần hằng và trong ngành tài chính nói chung thường đáng tín cậy và cổ chất lượng cao, tạo điều kiện cho khai phá dỡ liệu. Dưới đây là một số ứng đọng điễn hình trong khai phá đỡ liệu tài chính: - Dự đoán khả năng vay và thanh toần côa khách hàng, phân ích chính sách tín dụng đối với khách hãng ~> Phân tích hành vỉ khách hằng (vay, ri iền) ~> Phân legi và phân nhôm khách hãng mục tiêu cho tế thị tài chính ~>Phất hiện các hoạt động rửa tiền và ôi phạm tải chính - Bio hiém (insurance) - Nhận dang (pattem recognition) Trong chương này, luận văn sẽ giới thiệu tổng quan về khai phá dỡ liệu bao gm đình nghĩa, một số nghiên củu, những kỹ thuật khai phá và xử lý đỡ liệu hiện nay.
Tidp theo đỏ à tổng quan về các kỹ thuật khai phá văn bản, ứng dụng trong bai toán phân tích bình luận khách hãng 111. Những khái niệm về khai phá đữ tiện Ng ky nay, dỡ liệu do con người tạo ra ngày cảng nhiều hơn về số lượng, tăng nhanh về khối lượng, phát triển mạnh về quy mô khiến việc phân loại, lựa chọn, khai thác và sở đụng gặp những khô khăn nhất định. Khái niệm khai phá dỡ lige ca đời trợ những công việc này 4 iin nay, có tất nhiềo định nghĩa về khai phá đỡ liệu nhưng nhữn chung mỗi định nghĩa đều hướng tối mét ahin dink. Theo Tom Mitchell [3]: “KPDL la vie st dụng đề liệu lịch sở để khám phá những qui ắc và cải hiện những quyết định trong tương lại” Với một cách tiếp cân ứng dụng hơn, Fayyad [4] đã phát biểu: “KPDL, thường được xem là việc khám pha tri thie trong các cơ sở dữ liệu, là một quả trình: trích xuất những thing tin én, rade day chưa biết và cổ khả năng hồu ích, đưới dang các qui luật, rầng buộc, qui tắc trong cơ sở dỡ liệu" Tôm lại, KPDLL là một quá tình học tr thức mới tờ những dỡ liệu đã to thập được [5,6,7] Khái niệm về khai pha dỡ liệu (Data Mindng) hay khẩm phá tỉ thức (Knetledee Discovery) cổ tất nhiều cách diễn đạt khác nhau nhưng về bản chất đồ là quá trình tự động trích xuất thông tín cổ gi tri (Th wg tin dy doin - Predictive Information) ẫn chứa trong khối lượng df liệu khống lễ trong thực tẢ, Thuật nụ ‘Data Mining cling dm chỉ việc tìm kiếm một tập nhỗ có giá trị từ một số lượng lớn.
các đữ liệu thô, = Hinh 1.1 Qué tinh trích xuất thông tt có giá trĩ Thai phá dỡ liệu công là một nh vực liên ngành, nơi hội ty cổa nhiều học thuyếtvà cổng nghệ eS — ez “anh 1.2 Nhiong linh vue lién quan tới khai phá dữ liệu Quy trink khai pha de. Khai pha di liêu là một bước tong bấy bước của quá trình KDD (Knowleadge Discovery in Database) và KDD được xem như bấy quá trình khác “hau theo thứ tự nh sau: - Lâm sạch đỡ liệu (đatacleaning& preproceocing): Loại bổ nhiễu và dỡ liệu không cần thiết Đối với đỡ liệu thu thập được, cần xác định các vấn đề ảnh hướng là cho nồ không sạch. Bồi vi, dé tiệu không sạch (cổ chứa lỗi, nhiễu, không đầy đó, có mâu thuẫn) th các tr thức khám phá được sẽ bị ảnh hưởng và không đáng tin cây, sẽ dẫn đẫn các quyết định không chính xác. Do 46, cin gin cắc giá tr thuộc tính còn thể; sửa chữa các dỡ liệu nhiễu; xác định hoặc loại bỗ các ngoại lai (evtier); giải quyết các mâu thuẫn đỡ liệu - Tich hop dé liu (data integration): Qué trinh hop nhit đỡ tiệ thành những ikho di ligo (data warehouses & data marts) sau khi đã làm sạch và tiền xử lý.
Khi tích hợp cần xác định thc thể ừ nhiều nguẫn dỡ liệu đ trắnh dư thờa đỡ liệu. Việc dv thir đỡ liệu là thường xuyên xây ra khi tích hợp nhiều nguẫn. Bồi cing một thuộc tính (hay cùng một đối tượng) có thé mang các tên khác nhau trong các nguồn. Hiay các dỡ liệu suy ra được như một thuộc tính trong “một bằng cô thể được suy ra từ các thuộc tính trong bảng khác.
Hay sự trồng lập các đỡ liệu. Các thuc tính dư thừa cổ thể bị phát hiện bằng phân tích tương quan giữa chúng. ~ Trích chọn dỡ liệu (data slecticn): Trích chọn dữ liệu tờ những kho dỡ liệu ‘va sau d6 chuyển đổi về dang thích hop cho quá trình khai thác trỉ thức. Quá trình nay bao gm cả việc xử ý với dỡ liệu nhiễu (noisy dat), đỡ tệu không đầy đô a- complete data), - Chuyển đỗi đỡ liệu: Các đỡ liệu được chuyển sang các dạng phù hợp cho quá trình xở lý - Khai phá dữ liệu (đata mining): Là một trong các bước quan trọng nhất, trong đồ sử dụng những phương pháp thông mảnh đểchất lọc ra những mẫn dữ liệu 6 - Use luong mio (knowledge evaluation): Quá trình đánh giá các kết quả m được thông qua các độ đo não độ - Biêu diễn tr thúc (Enowlsdge pressntatioa): Quá tỉnh nay si dung cdc kf thuật để biễu diễn và thể hiện trực quan cho người đồng “nh 1.3 Các bước của quá rink KDD Đối với một quá trình KPDL có năm gi đoạn như sa [8 - Tim hiểu nghiệp vụ vã đỡ liệu: Trong giai đoạn đầu in, nhà tr vẫn (NTV) "nghiền cứu kiến thức v lãnh vực sẽ áp dụng, bao gẫm các trì thúc cấu trúc về hệ thống và tri thức, các nguồn dữ liệu hiện hữu, ý nghĩa, vai td va tim quan trọng cia các thực thế dữ liệu.
Việc nghiền cứu nay được thực hiện qua việc tiếp xúc giữa TV và người đồng, Khác với phương pháp giải quyết vấn đề truyền thống khi bài toän được xác định chính xác ở bước đầu tiên, NTV tim hiểu các yêu cầu sơ khởi của người ding và đề nghị các bài toán tiềm năng có thể giải quyết với nguồn đữ liệu hiện hữu. Tập các bài toán tiềm năng được tính chỉnh và lam hep lại trong các giai đoạn sau. Các nguồn và đặc tả đỡ liệu có liên quan đến tập các bài toán tiềm căng cũng được xác định. = Chuẩn bị dữ liệu: Sở đụng các kỹ thuật tiền xử lý để biến đổi và cải thiện chất lượng dữ liệu để thích hợp với những yêu cầu của các giả thuật học.
Phần lớn các giải thuật KPDL hiện nay chỉ làm việc trên một tập đỡ liệu đơn và phẳng, do đổ dữ liệu phải được trích xuất và biến đối từ các dạng cơ sơ dữ liệu phân bổ, quan hệ bay hướng đối tượng sang dang co sở dữ liệu quan hệ đơn giản với một bảng đỡ. ~ Mô bình hóa dỡ liệu: Các bài toán được giải quyết trong giai đoạn này. Các giả thuật học sở dung các đỡ liệu đã được tiền xử lý trong giai đoạn hai dé tim kiểm các gu tắc én và chưa biết.