Phần mở đầu Chương 2: Trình bày tổng quan cơ sở lý thuyết về khai phá dữ liệu, hồi quy và trí tuệ kinh doanh, một số bài báo nghiên cứu ứng dụng khai phá dữ liệu vào quảng cáo trên truyền hình. Chương 3: Trình bày một số khái niệm liên quan đến quảng cáo trên truyền hình và dữ liệu cụ thể tại TTDV – HTV. Chương 4: Trình bày các bài toán có thể giải quyết tại TTDV – HTV và các kết quả đạt được. Chương 5: Kết luận và khuyến nghị.1 Tổng quan lý thuyết về khai phá dữ liệu và trí tuệ kinh doanh 2.1 Trí tuệ kinh doanh là gì? (Business Intelligence-BI) Hiện nay, có nhiều doanh nghiệp ở Việt Nam vì lý do này hay lý do khác đã hoặc chưa triển khai Business Intelligence (BI – Trí tuệ kinh doanh/Kinh doanh thông minh).
BI có khá nhiều đặc trưng nên cũng có nhiều định nghĩa khác nhau. Mỗi định nghĩa nhấn mạnh một đặc trưng nổi bậc nào đó của BI như là: Business Intelligence đề cập đến các kỹ năng, qui trình, công nghệ, ứng dụng được sử dụng để hỗ trợ ra quyết định (Business Intelligence (BI) refers to skills, processes, technologies, applications and practices used to support decision making). BI là các ứng dụng và công nghệ để chuyển dữ liệu doanh nghiệp thành hành động (BI is the applications and technologies transforming Business Data into Action) Hoặc BI là công nghệ mới giúp doanh nghiệp hiểu biết về quá khứ và dự đoán tương lai (BI is the new technology for understanding the past & predicting the future) Các định nghĩa chung quy lại tất cả đều đề cập đến khả năng trợ giúp ra quyết định hiệu quả trong kinh doanh của BI. Tóm lại, BI là qui trình và công nghệ mà các doanh nghiệp dùng để kiểm soát khối lượng dữ liệu khổng lồ, khai phá tri thức giúp cho các doanh nghiệp có thể đưa các các quyết định hiệu quả hơn trong hoạt động kinh doanh của mình.
Công nghệ BI (BI technology) cung cấp một cách nhìn toàn cảnh hoạt động của doanh nghiệp từ quá khứ, hiện tại và các dự đoán tương lai. Mục đích của BI là hỗ trợ cho doanh nghiệp ra quyết định tốt hơn. Vì vậy, theo Carlo Vercellis (2009) thì hệ thống hỗ trợ quyết đinh (Decision Support System - DSS) có thể được xem là thành phần cốt lõi để phát triển một kiến trúc BI.2 Kiến trúc BI Kiến trúc của một hệ thống BI, được mô tả như Hình 2-1, chứa đựng ba thành phần cơ bản Data sources (nguồn dữ liệu), Data warehouses and data marts (kho dữ liệu) và Business intelligence methodologies (các phương pháp học trí tuệ kinh doanh). Hình 2-1: Kiến trúc BI.
(Nguồn Carlo Vercellis (2009)) Data sources là chặn đầu tiên cần thiết để thu thập và tích hợp dữ liệu từ nhiều nguồn khác nhau. Các dữ liệu này thường không đồng nhất chủ yếu được lấy từ hệ thống cơ sở dữ liệu tác nghiệp, nhưng cũng có thể chứa những tài liệu phi cấu trúc như là thư điện tử và các dữ liệu nhận được từ bên ngoài. Data warehouses and data marts là những cách thức tổ chức cơ sở dữ liệu để lưu trữ các dữ liệu sau khi dùng các công cụ rút trích và chuyển đổi định dạng dữ liệu từ Data sources. Các công cụ này thường được gọi là ETL tool (Extract,Transform, Load).
Dữ liệu lưu trữ trong nhà kho dữ liệu được dùng để hỗ trợ các phân tích trí tuệ kinh doanh. Business intelligence methodologies là các mô hình toán hay các phương pháp phân tích dữ liệu để hỗ trợ ra quyết định. Có khá nhiều ứng dụng hỗ trợ ra quyết - 21 - định như là multidimensional cube analysis (phân tích khối dữ liệu đa chiều); exploratory data analysis (phân tích thăm dò dữ liệu); time series analysis (phân tích chuỗi thờ gian); inductive learning models for data mining (mô hình quy nạp dùng cho khai phá dữ liệu); optimization models (mô hình tối ưu hóa). Hình 2-2: Các thành phần chủ yếu của hệ thống BI.
(Nguồn Carlo Vercellis (2009)) Phân tích một cách chi tiết hơn thì hệ thống BI phải gồm các thành phần chủ yếu như hình kim tự tháp ở trên. Vấn đề cốt lõi trong hệ thống BI là kho dữ liệu (Data Warehouse) và khai phá dữ liệu (Data Mining) vì dữ liệu dùng trong BI là dữ liệu tổng hợp (Nhiều nguồn, nhiều định dạng, phân tán và có tính lịch sử) đó là đặc trung của kho dữ liệu. Đồng thời việc phân tích dữ liệu trong BI không phải là những phân tích đơn giản (query, Filtering) mà là những kỹ thuật trong khai phá dữ - 22 - liệu (Data Mining) dùng để phân loại (classification) phân cụm (clustering), hay dự đoán (Prediction). Vì vậy BI có mối quan hệ rất chặt chẽ với Data Warehouse và Data mining.
BI đem lại khá nhiều lợi ích cho tổ chức triển khai nó như là: • BI làm tăng khả năng kiểm soát thông tin của doanh nghiệp một cách chính xác, hiệu quả từ đó có thể phân tích, khai phá tri thức giúp doanh nghiệp có thể dự đoán về xu hướng của giá cả dịch vụ, hành vi khách hàng, phát hiện khách hàng tiềm năng để đề ra các chiến lược kinh doanh phù hợp nhằm tăng khả năng cạnh tranh doanh nghiệp; • BI giúp cho các doanh nghiệp sử dụng thông tin một cách hiệu quả, chính xác để thích ứng với môi trường thay đổi liên tục và cạnh tranh khốc liệt trong kinh doanh; • Ra các quyết định kinh doanh hiệu quả hơn; • Xác định được vị trí và sức cạnh tranh của DN; • Phân tích hành vi khách hàng; • Xác định mục đích và chiến lược Marketing; • Dự đoán tương lai của doanh nghiệp; • Xây dựng chiến lược kinh doanh; • Giữ được khách hàng có giá trị và dự đoán khách hành tiềm năng.3 Khai phá dữ liệu (Data mining) và Khai phá tri thức (Kownledge Discovery in Database – KDD) Như đã đề cập ở phần trên, Data mining là một thành phần chủ yếu/cốt lõi của hệ thống BI. Vậy Data mining là gì? Khai phá dữ liệu là một khái niệm ra đời vào những năn cuối của thập kỷ 80 của thế kỷ XX. Nó bao hàm một loạt các kỹ thuật nhằm phát hiện ra các thông tin có giá trị tiềm ẩn trong các tập dữ liệu lớn (các kho dữ liệu). Về bản chất, khai phá dữ liệu liên quan đến việc phân tích các dữ liệu và sử dụng các kỹ thuật để tìm ra các mẫu hình có tính chính quy (regularities) trong tập dữ liệu.
- 23 - Năm 1989, Fayyad, Piatestsky-Shapiro và Smyth đã dùng khái niệm Phát hiện tri thức trong cơ sở dữ liệu (Kownledge Discovery in Database – KDD) để chỉ toàn bộ quá trình phát hiện các tri thức có ích từ các tập dữ liệu lớn. Trong đó, khai phá dữ liệu là một bước đặc biệt trong toàn bộ quá trình, sử dụng các giải thuật đặc biệt để chiết xuất ra các mẫu (pattern) (hay các mô hình) từ dữ liệu. Có các cách nhìn khác của giới nghiên cứu về quá trình KDD được mô tả ở hai hình ngay sau đây. Hình 2-3: Quá trình khám phá tri thức (cách nhìn của giới nghiên cứu về các hệ thống dữ liệu và kho dữ liệu).
(Nguồn Jiawei Han, Micheline Kamber (2006)) Tuy nhiên, nhìn chung quá trình khai phá tri thức là một quá trình hoạt động tương tác giữa con người (người sử dụng hoặc chuyên gia phân tích) với các công cụ tin học để thực hiện các bước cơ bản sau: - Tìm một cách hiểu (bằng ngôn ngữ tin học) lĩnh vực ứng dụng và nhiệm vụ đặt ra, xác định các tri thức đã có và các mục tiêu của người sử dụng. - Tạo một tập dữ liệu đích bằng cách chọn từ CSDL một tập dữ liệu với các giá trị biến và các mẫu được quan tâm, trên đó ta thực hiện quá trình phát hiện tri thức. - Làm sạch và tiền xử lý dữ liệu - Thu gọn và rút bớt số chiều của dữ liệu để tập trung vào những thuộc tính chủ chốt đối với việc phát hiện tri thức. - Chọn nhiệm vụ khai phá dữ liệu dựa vào mục tiêu của quá trình phát hiện tri thức: xếp loại, phân nhóm hay hồi quy, v.v… - Chọn thuật toán khai phá dữ liệu thích hợp và thực hiện việc khai phá dữ liệu để tìm được các mẫu hình (pattern) có ý nghĩa dưới dạng biểu diễn tương ứng (luật xếp loại, cây quyết định, luật sản xuất, biểu thức hồi quy, …) - 25 - - Đánh giá, giải thích, thử lại các mẫu hình đã được khai phá, có thể lặp lại một hoặc nhiều bước kể trên.
- Củng cố, tinh chế các tri thức đã được phát hiện. Kết hợp các tri thức thành hệ thống. Giải quyết các xung đột tiềm tàng trong tri thức khai thác được. Sau đó, tri thức được chuẩn bị sẵn sàng cho ứng dụng.
Nếu khai phá tri thức là toàn bộ quá trình chiết xuất tri thức từ các CSDL thì khai phá dữ liệu là giai đoạn chủ yếu của quá trình đó. Như trên đã trình bày, trong quá trình phát hiện tri thức, khâu khai phá dữ liệu được thực hiện sau các khâu tinh lọc và tiền xử lý dữ liệu, tức là việc khai phá để tìm ra các mẫu hình có ý nghĩa được tiến hành trên tập dữ liệu có hy vọng là sẽ thích hợp với nhiệm vụ khai phá đó chứ không phải là khai phá hết dữ liệu với một thời gian đủ dài để lấy được một mẫu không thực sự có ích như khái niệm trong thống kê trước đây. Hình 2-5: Quá trình khai phá dữ liệu. Quá trình xử lý khai phá dữ liệu bắt đầu bằng cách xác định chính xác vấn đề cần giải quyết.
Sau đó sẽ xác định các dữ liệu liên quan dùng để xây dựng giải pháp. Bước tiếp theo là thu thập các dữ liệu có liên quan và xử lý chúng thành dạng sao cho giải thuật khai phá dữ liệu có thể hiểu được. Về lý thuyết thì có vẻ rất đơn giản nhưng khi thực hiện thì đây thực sự là một quá trình rất khó khăn, gặp phải rất nhiều vướng mắc như: các dữ liệu phải được sao ra nhiều bản (nếu được chiết xuất vào các tệp), quản lý tập các tệp dữ liệu, phải lặp đi lặp lại nhiều lần toàn bộ quá trình (nếu mô hình dữ liệu thay đổi), v.v… Sẽ là quá cồng kềnh với một giải thuật khai phá dữ liệu nếu phải truy nhập vào toàn bộ nội dung của CSDL và làm những việc như trên. Vả lại, điều này cũng - 26 - không cần thiết.
Có rất nhiều giải thuật khai phá dữ liệu thực hiện dựa trên những thống kê tóm tắt khá đơn giản của CSDL, khi mà toàn bộ thông tin trong CSDL là quá dư thừa đối với mục đích của việc khai phá dữ liệu.