LỜI MỞ ĐẦU Trong những năm gần đây, lƣợng thông tin đƣợc lƣu trữ trên các thiết bị điện tử nhƣ đĩa cứng, CD-ROM, băng từ,… không ngừng tăng lên với một tốc độ bùng nổ. Ngƣời ta ƣớc đoán rằng lƣợng thông tin trên toàn cầu tăng gấp đôi sau khoảng 2 năm và theo đó số lƣợng cũng nhƣ kích cỡ của các cơ sở dữ liệu (CSDL) cũng tăng lên một cách nhanh chóng. Lƣợng thông tin khổng lồ này thực sự là nguồn tài nguyên có giá trị bởi thông tin là yếu tố then chốt trong hoạt động kinh doanh vì nó giúp nhà quản trị có một cái nhìn sâu sắc, chính xác, khách quan vào tiến trình sản xuất kinh doanh. Khai phá dữ liệu ( Data Mining) là quá trình trích xuất các thông tin có giá trị tiềm ẩn bên trong lƣợng lớn dữ liệu đƣợc lƣu trữ trong CSDL, kho dữ liệu… Hiện nay ngoài thuật ngữ khai phá dữ liệu, ngƣời ta còn sử dụng một số thuật ngữ khác có ý nghĩa tƣơng tự nhƣ: Khám phá tri thức từ cơ sở dữ liệu (Knowledge Discovery in Database – KDD), trích lọc dữ liệu( Knowledge extraction), phân tích dữ liệu/ mẫu (Data/pattern analysis), khảo cổ dữ liệu (data archaeology), nạo vét dữ liệu ( Data dredging).
Kỹ thuật khám phá tri thức và khai phá dữ liệu đã và đang đƣợc nghiên cứu, ứng dụng trong lĩnh vực khoa học máy tính và công nghệ tri thức ở các nƣớc trên thế giới nói chung và Việt Nam nói riêng. Phạm Thị Minh Châu – HTTTB – K12 1 Khóa luận tốt nghiệp CHƢƠNG I. HOẠT ĐỘNG MARKETING TẠI CÔNG TY TNHH TSG 1. Tổng quan về hoạt động marketing.
Marketing là gì? Marketing là những hoạt động của con ngƣời hƣớng vào việc đáp ứng những nhu cầu và ƣớc muốn của ngƣời tiêu dùng thông qua quá trình trao đổi (Theo Phillip Kotler) 1. Các hoạt động trong marketing Marketing bao gồm 5 hoạt động chính: Phát hiện vấn đề và hình thành mục tiêu nghiên cứu Lập kế hoạch nghiên cứu Thu thập thông tin Phân tích và xử lý thông tin Trình bày các kết quả nghiên cứu 1. Giới thiệu về công ty TNHH TSG và các sản phẩm, dịch vụ của công ty 1. Giới thiệu về công ty TNHH TSG Công ty trách nhiệm hữu hạn thƣơng mại và dịch vụ TSG đƣợc thành lập năm 2010, là công ty chuyên cung cấp các giải pháp về công nghệ thông tin cho khách hàng thuộc nhiều lĩnh vực khác nhau: các cơ quan thuộc chính phủ, cơ quan nhà nƣớc, tổng công ty, các công ty viễn thông, sản xuất, thƣơng mại, điện lực, tài chính, ngân hàng, các tập đoàn đa quốc gia, các công ty vừa và nhỏ, văn phòng đại diện.
tại Hà Nội, TP.HCM và nhiều tỉnh thành trong cả nƣớc. Các sản phẩm và dịch vụ của công ty 1. Sản phẩm phần cứng Máy tính xách tay Thiết bị mạng ( Modem- Switch) Máy văn phòng ( Máy in, máy photocopy) 1. Sản phẩm phần mềm Hệ điều hành Phạm Thị Minh Châu – HTTTB – K12 2 Khóa luận tốt nghiệp Phần mềm diệt virus Ứng dụng văn phòng Sao lƣu – phục hồi dữ liệu Thiết kế - đồ họa Internet – mạng Đa phƣơng tiện 1.
Giải pháp dịch vụ Giải pháp bảo mật Tích hợp hệ thống Dịch vụ sửa chữa, bảo dƣỡng, hỗ trợ khẩn cấp Dịch vụ tƣ vấn giải pháp, hỗ trợ kỹ thuật Oracle 1. Hoạt động marketing của công ty. Công ty TNHH TSG có các hoạt động nghiên cứu thị trƣờng và quảng cáo sản phẩm thông qua các kênh nhƣ : Vatgia.vn Tờ rơi quảng cáo Phạm Thị Minh Châu – HTTTB – K12 3 Khóa luận tốt nghiệp CHƢƠNG II. LUẬT KẾT HỢP TRONG KHAI PHÁ DỮ LIỆU 2.
Khái niệm về khai phá dữ liệu. Định nghĩa khai phá dữ liệu. Khai phá dữ liệu (Data mining) đƣợc định nghĩa nhƣ là một quá trình chắt lọc hay khai phá tri thức từ một lƣợng lớn dữ liệu. Thuật ngữ Data mining ám chỉ việc tìm kiếm một tập hợp nhỏ có giá trị từ một số lƣợng lớn các dữ liệu thô.
Định nghĩa: Khai phá dữ liệu là một tập hợp các kỹ thuật được sử dụng để tự động khai thác và tìm ra các mối quan hệ lẫn nhau của dữ liệu trong một tập hợp dữ liệu khổng lồ và phức tạp, đồpng thời cũng tìm ra các mẫu tiềm ẩn trong tập dữ liệu đó. Khám phá tri thức (Knowledge Discovery in Database) là mục tiêu chính của khai phá dữ liệu, do vậy hai khái niệm đó đƣợc xem nhƣ hai lĩnh vực tƣơng đƣơng nhau. Nhƣng nếu phân chia một cách tách bạch thì khai phá dữ liệu là một bƣớc chính trong quá trình KDD. Quá trình khám phá tri thức Mục đích của quá trình khám phá tri thức là rút ra tri thức từ dữ liệu trong CSDL lớn.
Quá trình KDD là quá trình bao gồm nhiều giai đoạn và lặp lại, cụ thể nhƣ sau: Hình 1.1 : Quá trình khám phá tri thức Phạm Thị Minh Châu – HTTTB – K12 4 Khóa luận tốt nghiệp Bước thứ nhất: Hình thành, xác định và định nghĩa bài toán. Là tìm hiểu lĩnh vực ứng dụng từ đó hình thành bài toán, xác định các nhiệm vụ cần phải hoàn thành. Bƣớc này sẽ quyết định cho việc rút ra đƣợc các tri thức hữu ích và cho phép các phƣơng pháp khai phá dữ liệu thích hợp với mục đích ứng dụng và bản chất của dữ liệu. Bước thứ hai: Thu thập và tiền xử lý dữ liệu.
Là thu thập và xử lý thô, còn gọi là tiền xử lý dữ liệu nhằm loại bỏ nhiễu (làm sạch dữ liệu), xử lý việc thiếu dữ liệu( làm giàu dữ liệu), biến đổi dữ liệu và rút gọn dữ liệu nếu cần thiết, bƣớc này thƣờng chiếm nhiều thời gian nhất trong toàn bộ qui trình phát hiện tri thức. Do dữ liệu đƣợc lấy từ nhiều nguồn khác nhau, không đồng nhất… có thể gây ra các nhầm lẫn. Sau bƣớc này, dữ liệu sẽ nhất quán, đầy đủ, đƣợc rút gọn và rời rạc hóa. Bước thứ ba: Khai phá dữ liệu, rút ra các tri thức.
Là khai phá dữ liệu, hay nói cách khác là trích ra các mẫu hoặc/và các mô hình ẩn dƣới các dữ liệu. Giai đoạn này rất quan trọng, bao gồm các công đoạn nhƣ: chức năng, nhiệm vụ và mục đích của khai phá dữ liệu, dùng phƣơng pháp khai phá nào? Thong thƣờng, các bài toán khai phá dữ liệu bao gồm: các bài toán mang tính mô tả - đƣa ra tính chất chung nhất của dữ liệu, các bài toán dự bas0 – bao gồm cả việc phát hiện các suy diễn dựa trên dữ liệu hiện có. Tùy theo bài toán xác định đƣợc mà ta lựa chọn các phƣơng pháp khai phá dữ liệu cho phù hợp. Bước thứ tư : Phân tích và kiểm định kết quả.
Các tri thức phát hiện từ cơ sở dũ liệu cần đƣợc tổng hợp dƣới dạng các baó cáo phục vụ cho các mục đích hỗ trợ các quyết định khác nhau. Do nhiều phƣơng pháp khai thác có thể đƣợc áp dụng nên các kết quả đó có mức độ tốt, xấu khác nhau. Việc đánh giá các kết quả thu đƣợc là cần thiết, giúp tạo cơ sở cho những quyết định chiến lƣợc. Thông thƣờng, chúng đƣợc tổng hợp, so sánh bằng các biểu đồ và đƣợc kiểm nghiệm, tin học.
Phạm Thị Minh Châu – HTTTB – K12 5 Khóa luận tốt nghiệp Bước thứ năm: Sử dụng các tri thức phát hiện được. Là hiểu tri thức đã tìm đƣợc, đặc biệt là làm sang tỏ các mô tả và dự đoán. Các bƣớc trên có thể lặp đi lặp lại một số lần, kết quả thu đƣợc có thể đƣợc lấy trung bình trên tất cả các lần thực hiện. Các kết quả của quá trình phát hiện tri thức có thể đƣợc đƣa và ứng dụng trong các lĩnh vực khác nhau.
Do các kết quả có thể là các dự đoán hoặc có mô tả nên chúng có thể đƣợc đƣa vào các hệ thống hỗ trợ ra quyết định nhằm tự động hóa quá trình này. Tóm lại: KDD là một quá trình kết xuất ra tri thức từ kho dữ liệu mà trong đó khai phá dữ liệu là công đoạn quan trọng nhất. Ứng dụng của khai phá dữ liệu. Khai phá dữ liệu là một lĩnh vực mới, nhận đƣợc nhiều sự quan tâm của các nhà nghiên cứu nhờ những ứng dụng thực tiễn của nó, điển hình nhƣ: - Phân tích dữ liệu và hỗ trợ ra quyết định - Điều trị y học - Phân lớp văn bản và các trang web, tóm tắt văn bản.
- Sinh học - Tài chính và thị trƣờng chứng khoán - Bảo hiểm - Môi trƣờng và thời tiết… 2. Các kĩ thuật khai phá dữ liệu. Phân lớp (phân loại - classification) Là việc xác định một hàm ánh xạ từ một mẫu dữ liệu vào một trong số các lớp đã đƣợc biết trƣớc đó. Mục tiêu của thuật toán phân lớp là tìm ra mối quan hệ nào đó giữa thuộc tính dự báo và thuộc tính phân lớp.
Nhƣ thế quá trình phân lớp có thể sử dụng mối quan hệ này để dự báo cho các mục mới. Các kiến thức đƣợc phát hiện biểu diễn dƣới dạng các luật theo cách sau:“ Nếu các thuộc tính dự báo của một mục thỏa mãn điều kiện của các tiền đề thì mục nằm trong lớp chỉ ra trong kết luận”. Phạm Thị Minh Châu – HTTTB – K12 6 Khóa luận tốt nghiệp Ví dụ: Một mục biểu diễn thông tin về nhân viên có các thuộc tính dự báo là : họ tên, tuổi, giới tính, trình độ học vấn… và thuộc tính phân loại là trình độ lãnh đạo của nhân viên. Hồi quy ( regression) Là việc lọc một hàm ánh xạ từ một mẫu dữ liệu thành một biến dự đoán có giá trị thực.
Nhiệm vụ của hồi quy tƣơng tự nhƣ phân lớp, điểm khác nhau chính là ở chỗ thuộc tính để dự báo là liên tục chứ không phải rời rạc. Việc dự báo các giá trị số thƣờng đƣợc làm bởi các phƣơng pháp thống kê cổ điển, chẳng hạn nhƣ hồi quy tuyến tính. Các ứng dụng của hồi quy là rất nhiều, ví dụ nhƣ dự đoán số lƣợng sinh vật phát quang hiện thời trong khu rừng bằng cách dò tìm vi song bằng các thiết bị cảm biến từ xa; ƣớc lƣợng xác suất ngƣời bệnh có thể tử vong bằng cách kiểm tra các triệu chứng; dự báo nhu cầu của khách hàng đối với một sản phẩm… 2. Phân nhóm ( clustering ) Là việc mô tả chung để tìm ra các tập hay các nhóm, loại mô tả dữ liệu.
Các nhóm có thể tách nhau hoặc phân cấp hay gối lên nhau. Có nghĩa là dữ liệu có thể vừa thuộc nhóm này lại vừa thuộc nhóm khác.