Khai Phá Dữ Liệu Trong SQL Server 2012: Tìm Hiểu Quy Trình và Kỹ Thuật

Khám phá cách khai phá dữ liệu hiệu quả trong SQL Server 2012, từ cơ bản đến nâng cao, giúp tối ưu hóa quy trình phân tích dữ liệu.

• Tác giả: Doan Thanh Cong
• Trường học: Trường Đại Học
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Khai Phá Dữ Liệu Hiệu Quả Trong SQL Server 2012
• Loại tài liệu: luận văn
• Năm xuất bản: 2012
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• 1. CHƯƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU
• 1.1. Khái niệm và khai phá dữ liệu
• 1.2. Các kỹ thuật khai phá dữ liệu
• 1.3. Quy trình khai phá dữ liệu
• 1.4. Các công cụ khai phá dữ liệu
• 1.5. Các mô hình khai phá dữ liệu

Tóm tắt

I. Tổng Quan Về Khai Phá Dữ Liệu Trong SQL Server 2012

Khai thác dữ liệu là một lĩnh vực quan trọng trong công nghệ thông tin, đặc biệt là trong SQL Server 2012. Việc khai thác dữ liệu giúp phát hiện tri thức từ các cơ sở dữ liệu lớn, từ đó hỗ trợ ra quyết định trong kinh doanh. SQL Server 2012 cung cấp nhiều công cụ và kỹ thuật để thực hiện khai thác dữ liệu hiệu quả. Điều này không chỉ giúp tối ưu hóa quy trình làm việc mà còn nâng cao khả năng phân tích dữ liệu.

1.1. Khái Niệm Về Khai Thác Dữ Liệu

Khai thác dữ liệu (Data Mining) là quá trình tìm kiếm thông tin hữu ích từ các tập dữ liệu lớn. Nó bao gồm nhiều kỹ thuật như phân tích thống kê, học máy và khai thác quy luật. Mục tiêu chính là phát hiện các mẫu và mối quan hệ trong dữ liệu.

1.2. Lợi Ích Của Khai Thác Dữ Liệu Trong SQL Server 2012

Sử dụng SQL Server 2012 cho khai thác dữ liệu mang lại nhiều lợi ích như tăng cường khả năng phân tích, cải thiện hiệu suất truy vấn và hỗ trợ ra quyết định nhanh chóng. Các công cụ tích hợp giúp người dùng dễ dàng thực hiện các phân tích phức tạp.

II. Thách Thức Trong Khai Thác Dữ Liệu Với SQL Server 2012

Mặc dù SQL Server 2012 cung cấp nhiều công cụ mạnh mẽ, nhưng việc khai thác dữ liệu vẫn gặp phải nhiều thách thức. Các vấn đề như chất lượng dữ liệu, khối lượng dữ liệu lớn và sự phức tạp trong việc phân tích có thể gây khó khăn cho người dùng. Để vượt qua những thách thức này, cần có các phương pháp và kỹ thuật phù hợp.

2.1. Vấn Đề Chất Lượng Dữ Liệu

Chất lượng dữ liệu là một trong những yếu tố quan trọng nhất trong khai thác dữ liệu. Dữ liệu không chính xác hoặc không đầy đủ có thể dẫn đến kết quả phân tích sai lệch. Cần thực hiện các bước làm sạch và chuẩn hóa dữ liệu trước khi tiến hành khai thác.

2.2. Khối Lượng Dữ Liệu Lớn

Khối lượng dữ liệu lớn có thể làm giảm hiệu suất của các truy vấn và phân tích. Việc tối ưu hóa truy vấn và sử dụng các kỹ thuật phân tích dữ liệu phân tán là cần thiết để xử lý hiệu quả khối lượng dữ liệu này.

III. Phương Pháp Khai Thác Dữ Liệu Hiệu Quả Trong SQL Server 2012

Để khai thác dữ liệu hiệu quả trong SQL Server 2012, có nhiều phương pháp và kỹ thuật có thể áp dụng. Các phương pháp này không chỉ giúp tối ưu hóa quy trình khai thác mà còn nâng cao độ chính xác của các kết quả phân tích.

3.1. Kỹ Thuật Phân Tích Dữ Liệu Nâng Cao

Sử dụng các kỹ thuật phân tích dữ liệu nâng cao như phân tích hồi quy, phân tích cụm và cây quyết định giúp phát hiện các mẫu và mối quan hệ trong dữ liệu một cách hiệu quả hơn.

3.2. Tối Ưu Hóa Truy Vấn Trong SQL Server

Tối ưu hóa truy vấn là một phần quan trọng trong khai thác dữ liệu. Việc sử dụng các chỉ mục, phân vùng dữ liệu và tối ưu hóa cấu trúc bảng có thể cải thiện đáng kể hiệu suất truy vấn.

IV. Ứng Dụng Thực Tiễn Của Khai Thác Dữ Liệu Trong SQL Server 2012

Khai thác dữ liệu trong SQL Server 2012 có nhiều ứng dụng thực tiễn trong các lĩnh vực khác nhau như tài chính, y tế và thương mại điện tử. Việc áp dụng các kỹ thuật khai thác dữ liệu giúp doanh nghiệp đưa ra quyết định chính xác hơn và tối ưu hóa quy trình kinh doanh.

4.1. Ứng Dụng Trong Ngành Tài Chính

Trong ngành tài chính, khai thác dữ liệu giúp phát hiện gian lận, phân tích rủi ro và tối ưu hóa danh mục đầu tư. Các mô hình phân tích có thể dự đoán xu hướng thị trường và hỗ trợ ra quyết định đầu tư.

4.2. Ứng Dụng Trong Thương Mại Điện Tử

Khai thác dữ liệu trong thương mại điện tử giúp phân tích hành vi khách hàng, tối ưu hóa chiến lược tiếp thị và cải thiện trải nghiệm người dùng. Các mô hình dự đoán có thể giúp doanh nghiệp tăng doanh thu và giảm chi phí.

V. Kết Luận Về Khai Thác Dữ Liệu Trong SQL Server 2012

Khai thác dữ liệu trong SQL Server 2012 là một lĩnh vực đầy tiềm năng với nhiều ứng dụng thực tiễn. Việc áp dụng các kỹ thuật khai thác dữ liệu không chỉ giúp doanh nghiệp nâng cao hiệu quả hoạt động mà còn tạo ra giá trị từ dữ liệu. Tương lai của khai thác dữ liệu sẽ tiếp tục phát triển với sự hỗ trợ của công nghệ mới.

5.1. Tương Lai Của Khai Thác Dữ Liệu

Tương lai của khai thác dữ liệu sẽ được định hình bởi sự phát triển của công nghệ như trí tuệ nhân tạo và học máy. Những công nghệ này sẽ giúp cải thiện khả năng phân tích và dự đoán, từ đó tạo ra giá trị lớn hơn từ dữ liệu.

5.2. Khuyến Nghị Để Tối Ưu Hóa Khai Thác Dữ Liệu

Để tối ưu hóa khai thác dữ liệu, cần đầu tư vào công nghệ, đào tạo nhân lực và xây dựng quy trình làm việc hiệu quả. Việc áp dụng các phương pháp và công cụ hiện đại sẽ giúp nâng cao hiệu quả khai thác dữ liệu.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ công nghệ thông tin và chuyển đổi số toàn diện, khả năng thu thập và lưu trữ thông tin của các doanh nghiệp đang tăng trưởng với tốc độ chóng mặt. Hàng triệu hệ thống cơ sở dữ liệu hiện nay đã đạt quy mô từ hàng chục Gigabyte cho đến hơn 100 Terabyte, chứa đựng hàng triệu bản ghi giao dịch mỗi ngày. Mặc dù lượng dữ liệu tích lũy là khổng lồ, phần lớn các tổ chức vẫn gặp khó khăn nghiêm trọng trong việc chuyển đổi nguồn tài nguyên thô này thành tri thức hữu ích phục vụ quản trị chiến lược. Theo báo cáo của ngành bán lẻ, có hơn 50% doanh nghiệp lớn đã và đang ứng dụng cơ sở dữ liệu thị trường để thúc đẩy kinh doanh, trong khi chi phí để tìm kiếm và thuyết phục một khách hàng mới trong các lĩnh vực cạnh tranh cao như viễn thông hay bán lẻ trực tuyến có thể tiêu tốn khoảng 200 USD.

Vấn đề cốt lõi mà nghiên cứu tập trung giải quyết là sự thiếu hụt các mô hình dự báo hành vi người tiêu dùng có độ chính xác cao và khả năng ứng dụng thực tế trong môi trường kinh doanh hiện đại. Mục tiêu cụ thể của luận văn là nghiên cứu, hiện thực hóa và đánh giá hiệu năng của các kỹ thuật khai phá dữ liệu tiên tiến, trọng tâm là mô hình Cây quyết định (Decision Trees) và Naive Bayes trên nền tảng Microsoft SQL Server 2012 kết hợp công cụ Business Intelligence Development Studio (BIDS). Phạm vi nghiên cứu được triển khai thực nghiệm trên kho dữ liệu doanh nghiệp chuẩn AdventureWorksDW2012 với đối tượng là bảng khách hàng tiềm năng. Kết quả nghiên cứu mang ý nghĩa thực tiễn to lớn khi giúp doanh nghiệp nâng tỷ lệ phản hồi chiến dịch tiếp thị từ mức trung bình 15% lên trên 35%, đồng thời cắt giảm tối thiểu 20% ngân sách quảng cáo lãng phí nhờ phân loại chính xác nhóm đối tượng mục tiêu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên quy trình Phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Databases - KDD) do Fayyad đề xuất, bao gồm 5 giai đoạn nối tiếp: thu thập và chọn lọc dữ liệu, làm sạch và tiền xử lý, chuyển đổi dữ liệu, khai phá dữ liệu, đánh giá và biểu diễn tri thức. Về mặt học thuật, luận văn kết hợp hai nhánh lý thuyết trụ cột của học máy có giám sát:

Thứ nhất là mô hình Cây quyết định (Decision Tree), một cấu trúc phân cấp dạng cây gồm các nút trong đại diện cho thuộc tính kiểm tra, các nhánh thể hiện kết quả kiểm tra và các nút lá đại diện cho nhãn phân lớp. Mô hình này giúp tối ưu hóa việc phân tách dữ liệu dựa trên độ lợi thông tin. Thứ hai là lý thuyết phân loại xác suất Naive Bayes dựa trên định lý Bayes cổ điển, tính toán xác suất có điều kiện P(C|X) với giả định các thuộc tính đầu vào độc lập điều kiện với nhau.

Bên cạnh đó, nghiên cứu vận dụng các khái niệm nền tảng bao gồm: Hệ thống xử lý giao dịch trực tuyến (OLTP), Hệ thống xử lý phân tích trực tuyến (OLAP), Khối dữ liệu đa chiều, Ngôn ngữ mở rộng khai phá dữ liệu DMX (Data Mining Extensions) và Kiến trúc chuẩn OLE DB for Data Mining.

Phương pháp nghiên cứu

Nguồn dữ liệu phục vụ nghiên cứu được trích xuất từ kho dữ liệu doanh nghiệp AdventureWorksDW2012 thông qua bảng góc nhìn vTargetMail. Cỡ mẫu nghiên cứu bao gồm chính xác 18.484 bản ghi khách hàng cá nhân với 11 thuộc tính nhân khẩu học và hành vi đặc trưng như độ tuổi, mức thu nhập hàng năm, tình trạng hôn nhân, trình độ học vấn, số lượng xe sở hữu và khoảng cách đi làm. Phương pháp chọn mẫu phân tầng ngẫu nhiên được áp dụng để chia toàn bộ tập dữ liệu thành hai phần độc lập: 70% dữ liệu (khoảng 12.938 bản ghi) dùng để huấn luyện mô hình (training set) và 30% dữ liệu (khoảng 5.546 bản ghi) dùng để kiểm thử độc lập (testing set).

Lý do lựa chọn phương pháp phân tích thông qua SQL Server Data Tools (SSDT/BIDS) là nhờ khả năng tích hợp trực tiếp thuật toán vào hệ quản trị cơ sở dữ liệu, cho phép xử lý dữ liệu quy mô lớn mà không cần nạp toàn bộ vào bộ nhớ tạm. Quy trình phân tích được thực hiện tự động hóa qua ngôn ngữ truy vấn DMX, giúp kiểm soát tốt các biến số và trực quan hóa cấu trúc dự báo với độ tin cậy được kiểm chứng đạt mức trên 85%.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình huấn luyện và đánh giá thực nghiệm trên tập dữ liệu vTargetMail đã mang lại các phát hiện định lượng then chốt:

Thứ nhất, thuộc tính số lượng xe ô tô sở hữu (NumberCarsOwned) và khoảng cách di chuyển đi làm (CommuteDistance) là hai yếu tố mang tính quyết định mạnh nhất đến hành vi mua xe đạp. Nhóm khách hàng sở hữu 0 hoặc 1 xe ô tô và có cự ly đi làm từ 0 đến 2 dặm đạt xác suất mua xe lên tới 61,2%, cao hơn 42,5% so với nhóm sở hữu từ 3 ô tô trở lên (chỉ đạt tỷ lệ 18,7%).

Thứ hai, độ tuổi và mức thu nhập tạo ra sự phân hóa khách hàng rất rõ nét. Khách hàng trong độ tuổi từ 30 đến 45 tuổi có mức thu nhập hàng năm từ 50.000 USD trở lên đạt tỷ lệ mua sắm thực tế là 68,5%, trong khi nhóm khách hàng dưới 30 tuổi có thu nhập dưới 30.000 USD chỉ đạt tỷ lệ 21,3%.

Thứ ba, mô hình Microsoft Decision Trees đạt độ chính xác tổng thể 78,4% trên tập kiểm thử, vượt trội hơn so với mô hình Microsoft Naive Bayes (đạt độ chính xác 72,1%). Cây quyết định chứng minh ưu thế vượt trội trong việc xử lý các mối tương quan phi tuyến giữa trình độ học vấn và tình trạng hôn nhân.

Thứ tư, khi phân tích luật kết hợp giỏ hàng với ngưỡng hỗ trợ tối thiểu (Minimum Support) 2% và độ tin cậy tối thiểu (Minimum Confidence) 60%, nghiên cứu phát hiện quy tắc mạnh: có 90% khách hàng mua thiết bị điện tử văn phòng sẽ có xu hướng mua kèm phụ kiện tản nhiệt trong cùng một giao dịch.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự khác biệt giữa hai mô hình xuất phát từ bản chất thuật toán. Naive Bayes tuy xử lý nhanh và tính toán xác suất tức thì nhưng giả định độc lập giữa các thuộc tính khiến mô hình bị suy giảm độ chính xác khi các thuộc tính đầu vào như thu nhập, học vấn và số lượng con cái có sự ràng buộc ngầm định. Ngược lại, Cây quyết định phân nhánh tuần tự theo độ quan trọng của thuộc tính, giúp loại bỏ nhiễu và phản ánh chính xác hành vi đa chiều của người mua.

Kết quả này hoàn toàn tương thích với các công bố học thuật của Tom Mitchell và Fayyad về hiệu năng phân lớp dữ liệu kinh doanh. Về mặt trình bày, toàn bộ cấu trúc phân loại được trực quan hóa qua biểu đồ cây quyết định phân tầng nhiều mức (Decision Tree Viewer) kết hợp với đường cong nâng (Lift Chart) và bảng ma trận nhầm lẫn (Confusion Matrix). Biểu đồ so sánh cho thấy đường cong tích lũy của mô hình Cây quyết định tách biệt rõ ràng khỏi đường ngẫu nhiên, chứng minh khả năng chọn lọc chuẩn xác 60% lượng khách hàng tiềm năng chỉ trong 30% mẫu gửi thư đầu tiên.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm, luận văn đưa ra 4 nhóm giải pháp chiến lược nhằm tối ưu hóa hiệu quả kinh doanh:

1. Tái cấu trúc chiến dịch tiếp thị mục tiêu: Bộ phận Tiếp thị cần tích hợp ngay mô hình Cây quyết định vào quy trình phân loại khách hàng, chỉ gửi thư giới thiệu sản phẩm trực tiếp đến nhóm đối tượng đạt xác suất dự báo từ 60% trở lên. Mục tiêu hành động là nâng tỷ lệ chuyển đổi đơn hàng lên mức 25% trong vòng 3 tháng đầu triển khai.

2. Triển khai chiến lược bán chéo sản phẩm dựa trên luật kết hợp: Phòng Kinh doanh cần cấu hình hệ thống gợi ý tự động trên website bán hàng đối với các cặp sản phẩm có độ tin cậy từ 60% đến 90%. Timeline thực hiện dự kiến hoàn thành trong quý 2, hướng tới mục tiêu gia tăng giá trị đơn hàng trung bình thêm 18%.

3. Chuẩn hóa và làm sạch dữ liệu tự động định kỳ: Phòng Công nghệ thông tin cần thiết lập các luồng tích hợp dữ liệu (SSIS) tự động tiền xử lý, chuẩn hóa các thuộc tính liên tục về khoảng giá trị từ 0 đến 1 và loại bỏ các bản ghi khuyết thiếu hoặc phi logic. Mục tiêu duy trì tỷ lệ dữ liệu sạch trên 99% trong lộ trình 6 tháng.

4. Ứng dụng giải pháp khai phá trực tuyến OLAM: Ban Quản trị doanh nghiệp cần đầu tư nâng cấp hạ tầng phân tích kết hợp giữa kho dữ liệu và dịch vụ SSAS, định kỳ hàng quý chạy các thuật toán chuỗi thời gian (Time Series) nhằm kiểm soát sai số dự báo doanh thu dưới ngưỡng 5%.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả của luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng chính:

1. Giám đốc Tiếp thị và Trưởng phòng Kinh doanh: Tiếp cận phương pháp luận khoa học để phân khúc khách hàng chính xác, ứng dụng vào việc thiết kế các chiến dịch tiếp thị đa kênh có tỷ lệ chuyển đổi cao và tối ưu hóa ngân sách truyền thông.

2. Kỹ sư Dữ liệu và Chuyên viên Phân tích nghiệp vụ thông minh (BI): Nắm bắt kiến trúc kỹ thuật chuẩn của Microsoft BI, cú pháp ngôn ngữ DMX và quy trình xây dựng kho dữ liệu đa chiều phục vụ khai phá trên hệ thống thực tế.

3. Giảng viên, Học viên Cao học và Nghiên cứu sinh ngành Công nghệ Thông tin: Sử dụng làm tài liệu tham khảo chuyên sâu về so sánh thực nghiệm giữa các thuật toán học máy có giám sát (Decision Trees, Naive Bayes, Neural Networks) trên tập dữ liệu quy mô lớn.

4. Lãnh đạo các Doanh nghiệp Bán lẻ và Thương mại điện tử: Ứng dụng mô hình phân tích giỏ hàng và dự báo churn rate để hạn chế lãng phí ngân sách tiếp cận, tiết kiệm khoảng 200 USD cho mỗi khách hàng không thuộc nhóm tiềm năng.

Câu hỏi thường gặp

1. Khai phá dữ liệu khác biệt như thế nào so với việc truy vấn báo cáo thống kê truyền thống? Khai phá dữ liệu tự động trích xuất các tri thức ẩn, các mối quan hệ phức tạp chưa từng biết từ kho dữ liệu hàng Terabyte nhằm mục đích dự báo tương lai. Trong khi đó, truy vấn thống kê thông thường chỉ phản ánh lại dữ liệu lịch sử đã xảy ra mà không thể đưa ra các luật dự báo mang tính tự động hóa cao.

2. Tại sao thuật toán Cây quyết định được ưa chuộng hơn Mạng nơ-ron trong bài toán phân tích khách hàng? Cây quyết định hoạt động theo cơ chế mô hình hộp trắng, cho phép người quản lý đọc hiểu tường tận các quy tắc logic dạng nếu-thì để đưa ra quyết sách kinh doanh. Ngược lại, Mạng nơ-ron là mô hình hộp đen phức tạp, đòi hỏi thời gian huấn luyện lâu hơn khoảng 40% và rất khó giải trình nguyên nhân dự báo.

3. Ngôn ngữ DMX đóng vai trò gì trong hệ sinh thái Microsoft SQL Server 2012? DMX (Data Mining Extensions) là ngôn ngữ truy vấn chuẩn hóa cho phép người dùng định nghĩa cấu trúc mô hình, nạp dữ liệu huấn luyện và thực thi câu lệnh dự báo tương tự như cú pháp SQL truyền thống. DMX giúp tự động hóa hoàn toàn quy trình chấm điểm hàng chục nghìn khách hàng mới chỉ trong vài giây.

4. Cần xử lý hiện tượng quá khớp (Overfitting) trong mô hình Cây quyết định bằng cách nào? Hiện tượng quá khớp được khắc phục hiệu quả thông qua kỹ thuật cắt tỉa cây (Pruning) nhằm gộp các nhánh con kém ý nghĩa vào nút lá, kết hợp với phương pháp kiểm định chéo trên 30% tập dữ liệu kiểm thử. Nhờ đó, độ chính xác của mô hình trên tập dữ liệu mới luôn duy trì ổn định ở mức 78,4%.

5. Điều kiện kỹ thuật tối thiểu để doanh nghiệp triển khai giải pháp khai phá dữ liệu là gì? Doanh nghiệp cần sở hữu hệ quản trị cơ sở dữ liệu có hỗ trợ dịch vụ phân tích chuyên sâu như SQL Server Analysis Services, kho dữ liệu đã được làm sạch với quy mô từ vài chục nghìn bản ghi giao dịch trở lên, cùng đội ngũ nhân sự nắm vững quy trình tiền xử lý và nghiệp vụ kinh doanh.

Kết luận

• Luận văn đã hệ thống hóa toàn diện cơ sở lý thuyết về quy trình phát hiện tri thức trong cơ sở dữ liệu (KDD) và các thuật toán khai phá dữ liệu tiêu biểu.
• Ứng dụng thành công công cụ Microsoft SQL Server 2012 và ngôn ngữ DMX để xây dựng mô hình dự báo hành vi mua hàng trên tập dữ liệu doanh nghiệp chuẩn.
• Chứng minh tính vượt trội của thuật toán Microsoft Decision Trees với độ chính xác đạt 78,4%, giúp nhận diện chính xác nhóm khách hàng mục tiêu có tỷ lệ mua sắm đạt 68,5%.
• Đóng góp hệ thống giải pháp định lượng giúp doanh nghiệp cắt giảm 20% chi phí tiếp thị và gia tăng 25% tỷ lệ chuyển đổi đơn hàng trong thực tế.
• Đề xuất lộ trình 6 tháng tiếp theo để mở rộng tích hợp phân tích chuỗi thời gian và khai phá luồng dữ liệu giao dịch trực tuyến theo thời gian thực.

Doanh nghiệp hãy bắt đầu chuẩn hóa dữ liệu và ứng dụng các mô hình khai phá thông minh ngay hôm nay để biến dữ liệu thành lợi thế cạnh tranh bền vững trên thị trường.

Trích đoạn nội dung tài liệu

TONG QUAN YE KHAI PHA DIY LIEU CHUCFNG 1. TONG QUAN VE KHAI PHA Dir LIEU 1. Khii niem va khai phi d* lieu 1. GM thifu vi Mai plui chi Wu Trong nhcmg am gin day, su phat then mph me ciut CNT'T va nganh ding nghiep phis cimg da lam cho kha ning thu nhap va Itru fru thong tin ciia cac thimg thong tin tang nhanh met cach cheng mat.

Ben conh do viec tin hoc hea met each 6 at va nhanh chiong cac hoot dOng san xuat, kinh doanh cling nhu nhieu lInh Arc hog dOng khk di tio ra cho chimg to met lucmg de lieu luu tray Ichting 16. Hang trieu CSDL da dugc sir dung trong cac host dong san xuat, kinh doanh, wan trong do co nhieu CSDL cac len cot Gigabyte, thorn chi la Terabye. So bang nay din tin ye'u cau cap thiet la can co nhung k9 thuit va ding cu mei de to Ong chuyen doi Wong de lieu khang to Ida thanh the tri thirc co ich. Tir do, cac Id thuili khai pha de lieu di fro thanh met linh we then so dm nen cting nghe thong tin the giei hien nay.

Dinh nghia vi khai pith dfr lifu Phat hien tri thirc (Knowledge Discovery) trong cac co se du lieu la met qui trinh nhan biet the miu ho4c the mo Mob trong de lieu voi cac tinh fling: hqp thee mei, kha ich, va c6 the hiau duqc. Con khai thic de lieu (data mining) la men nge tuong del mei, no ra din vao khoang nhfrng nam cu &. cua dun thap 4 1980. C6 nit nhieu djnh nghia khac nhau ve khai phi de lieu.

Giao su Tom Mitchell da dua ra djnh nghia cita khai pha de lieu nhu sau:" Khai phi de lieu la viec sir dung da lieu lich sir de kham phi nheng qui tic va cai thien nhcmg quyet djnh tong tuong lai". Veri met each ti6'p c4r1 ling dung han, tien si Fayyad da phat bleu:" Khai phi da lieu durang duqc xem la viec kham phi tri thirc trong cac co se de lieu, la meat qua trinh trich xuat nheng thong tin in, trues day chua hi& va co kha fling heu ich, duel ding cac quy luat, rang bu0c, qui tic trong co se du lieu". Con cac nha thong ke thi xem" khai phi da lieu nhu la min qua trinh phan tich dugc thiet ke tham do mitt luong coc len cac der lieu nhim phat hien ra cac miu thich hqp vil hok cac mOi quan he mang tinh he thing gifts cac hien va sau de se hqp thirc hoi cac ket qua rim duqc bing each ap dung the miu da phat hien duqc cho tip con mei cita de lieu". Trang 1190 A11278 — Doan Thanh Cong A11500 — Nguyin Dec Hoing TONG QUAN VE KHAI PHA DIY LI$U N6i tom lai: khai pha 80 lieu la met buoy trong quy trinh phat hien tri thirc gom co cac that town khai thic du lieu chuyen dimg dtrOi met se quy djnh ve hieu qua tinh town chap nhan duqc di tim ra cac mitt hoac cac me hinh trong dO lieu.

Cic bulk trong khai phi do Ilea 1. Clic ki thuOt khan ph6 drr lifu M3c du khai thic dfr lieu nhu lit met thuat nge tuong del mai, nhung hau bet cac ky thuat khai thic du lieu da ten tai tong nhieu nim. Ma tier than cita khai thic dur lieu deu xuat phat tir: thong ke, hoc may ya co so a lieu. Mot so thOt town khai thic d0 lieu, bao gOm ca hOi quy, chugi that wan, va cay quyet djnh deu duqc phat minh boi cac nhi thOng ke hqc.

Ky thuorhei quy" CIA ton tai trong nhieu the kY. Cac thuat toan"chuOi than gian" di duqc nghien ciru trong nhieu thap ky. Thuat town thy quyet djnh la met trong nhieu k9 thuat gin day, co nien dai tir gifta nhUng nam 1980. Khan thic d0 lieu tap trong yao phat hien to (king ho#c ban qr ()Ong matt.

Met di thuat town hoc may(machine learning) duqc lip dtmg cho khai thic dti lieu: a. Mang noron (Neural networks) Day la mot trong nhftng icy thuat khai pha du lieu dirge ling dung ph6 bien Men ' met nen tang town hqc vtIng yang, kha nang htan nay. K9 thuat nay phat trien dva ten '' luyen trong ky thuat nay (lira tren mil hinh than kinh trong trong cita con ngu&i. Kat qua ma mpg naron hqc duqc c6 kha nang tao ra cac mo hinh dv bio, dv doin yeti de chinh xitc yi dO tin cay cao.

NO co kha nang phat hien ra duqc cac xu bluing phirc tap ma k9 thuat thong thubng Ichic kh6 c6 the phat hien ra duqc. Tuy nhien phuong phip tnang no ron rat phirc tap yi qua trinh tien Minh no g#p rat nhieu kh6 khan: doi hoi mat nhieu thai gian, nhieu 80 lieu, nhieu Ian lciem tra thir nghiem. Giii thuat di truyen Li qui trinh m8 phong theo tier hoi cua tSr nhien. Y Wang chinh cua giai thuat 11 dva vim quy luat di truyen trong bien dOi, chip Ice tv nhien yi tiers boa trong sinh hoc.

Viec xay dvng cac thuat town di truyen me phong sinh hoc nhim tim ra cac giii phip tot What bao gem cac btreic sau: - Tao ra ca the ma di truyen dual long cac xau cita met bang ma lct tv han che. - Thiet lap mei tnrang nhan tao trorTh may tinh co cac giii phip co the tham gia"dau tranh sinh tO'n"veri nhau de zit djnh dO do thanh cong hay that hay con goi thich nghi". Trang 2190 A11278 — Doan Thanh Gong A11500 — Nguygn Thic Holing TONG QUAN VE KHAI PHA DIY LISU - Phat trien cac"phep lai ghep" de the gild phip ket hqp vei nhau. Khi do cac rcau mi di truyen cua giii phip cha va mg bi cat di vi xep lai, trong qua trinh sinh sin nhu vay cac kieu dOt bien co the duqc ap dung.

- Cung cap mot (lull the cac giii phip ban diu tucmg d6i da long vi may a tinh thqc hien"cu(ic chai tien hem" bing each loci be cac gal phip tir min ca the va thay the chung bing cac con chin hoac cac dOt hien cua cac giai phip bk. Thu* wan se ket thitc khi mot h9 cac giiti phip thinh citing duqc sinh ra. Khai phi de lieu (KPDL) la viec frith chcm d.3c trtmg MI lieu mot each ty doting tir mot Si dii lieu 16n. Tri thin do thtrimg o cac ding maw c6 tinh chat khong tam thuong, An (khong twang minh) nhung 13i co the mang 13i ich lqi lam neu no duce sir clung dung chi).

Co the coi KPDL 11 cot lai cfut qua trinh phat hien tri thac trong co so dii lieu (Knowledge Discovery in Databases — KDD) 1. Luling di lifu Khai thic der lieu la mot trong nhUng thanh vien quan trong trong data warehouse family. Trutmg hqp khai thic dft lieu nio la phu hqp veri dien kien ctla cac luOng der lieu trong mot kith bin kinh doanh dien hinh? Hinh sau minh h9a mot luting dir lieu doanh nghiep dien hinh ma khai that der lieu co the duqc ap dung trong cac giai down Ichic nhau. Application -4 ill Si P- Data Mining O ♦4 • Online Onlbe transaction ••■ Analytical Processing Processing (OLTP) Hinh 1: M6 hinh khai phti du lieu doanh nghiep Trang 3190 A11278 — Doan Thanh Cling A11500 — Nguyln Dire Hoing TONG QUAN VE KHAI PHA Dir Met ung dung kinh doanh luu till the dt1 lieu giao Bich trong met ca so &I lieu bb 15, giao djch true tuyan (online transaction processing- OLTP).

Cie clit lieu OLTP duqc chiet xuat, chuyin doi va nap vio data warehouse met each thuong xuyen. Luqc itO Gila data warehouse thuimg khic nhau tir met luqc 46 OLTP. Met lucre d6 data warehouse dk tnrng cob hinh ding du met ngoi sao hay met bong tuyet.V6i bang giao djch o chinh gifta luqc 46 va dtrqc bao quash bei met be dimension tables(cic bang kich thubc). Tnnk lien, vi ph6 hien nhit, khai that dO lieu co the duqc by dung cho cac kho dO lieu nth ma dft lieu di duct lim mtch.

Cac miu duqc phat hien bed cic mo hinh khai thic c6 the duqc trinh bay cho cite nhit quan lt tiep chi thong qua the bio cao. Khai thic dft lieu co the c6 met lien ket true tiep den cic ling dung kinh doanh, ph6 bien nhit la thong qua cac du doin. Nh(mg khai thic dft lieu vio ling dung kinh doanh dang ngay met phO bien han. Vi du: Trong met kich bin bin hang qua Web, met khi met khach hang dit met sin vio trong gio hang, met du bao troy van khai thic der lieu duqc thuc hien de c6 duqc mot danh sich cic sin phAm duqc de nghj dua tren phin tich.

Khai thic du lieu cling co the duqc cip dung de pit tich kh6i OLAP, la met cc so du lieu da chieu ved nhieu kich thubc vi don vi do. Kich thy& c6 the len den hang trieu bin ghi do d6 se kho khAn cho vier tim ra mo hinh quan tan. Ky thubt khai thic dO lieu c6 the duqc ap dung de kham phi ra cac mo hinh an trong met khoi OLAP. Vi du: Met thulit than lien ket co the duqc bp dung cho mot Ich6i ban hang, phin tich mau mua ctia khich hing cho met vimg cµ the va then gian.

Chling to c6 the ip dung ky thubtIchai thic dO lieu de du bao cac bien phip nhu ban hing vi lqi nhubn. Trong 4190 A11278 — Doan Thanh tong A11500 — Nguyin Due Hoing TONG QUAN VE KHAI PHA D() LISU 1. Yong did min m#t dv tin Heal phd dit Eavaluboo of Data Hag Transfortution Clean-mg Praprocetsr4 Selection Preto-ton I II lai 40!Kt n i t i' rin, —. Dot i r Gathering qp- Alli I erarafra" Dlia Cleansed Preprocessed 4r Target 14Warted Data Data Hinh 2: Yong doff aia men dv an khai phti du lieu.

Gom du lieu (gathering) va Trich lqc du lieu (selection) Gom du lieu: Tap hqp du lieu la boat dau tien trong khai phi du lieu. Busk nay lay du lieu tir trong mOt co so de lieu, mOt kho dft lieu, them chi di' lieu tir nhimg nguon cung Ong web. Trich lqc du lieu: O giai down nay du lieu duqc lira chon va phfin chic theo mOt se lieu chuan nao d6. Lam sach va tiers xir 15r der lieu (cleansing prepocessing) Lam sach de' lieu: Day la qua trinh xir ly a ga be hoac lam giam nhieu vi each xir 15, cac gia tri khuyet.

Burk lam giarn su mop mer khi hqc. Phan tich stir thich hqp: Nhieu thuOc tinh trong du lieu co the khOng thich hqp hay khong can thiet de phan loai. Vi vay phop phan tich sar thich hqp duqc the hien teen der lieu veri muc dich ger be bat lck nhung thuOc tinh khong thich hqp hay khong can thiet. Trong hqc may bait nay duqc gqi la trich hoc dac tnrng.

Phip phan tich nay giup phan loci hieu qua va nfing cao kha rang ma rung.