CHƯƠNG 1: TỔNG QUAN 244 1. Lí do hình thành đề tài 245Khoảng những năm trở lại gần đây, thế giới nói chugn và nước ta nói riêng đang trong 246cuộc cách mạng công nghiệp 4.0 với những tiến bộ vượt bậc của nền khoa học – kỹ 247thuật trên tất cả các lĩnh vực. Từ đó, dẫn đến việc tăng lên nhanh chóng của CSDL với 248tốc độ bùng nổ. Theo ước tính của các nhà nghiên cứu lượng thông tin sẽ tăng nhanh 0 0 21Ứng dụng Sql Server Data Tool vào khai phá dữ liệu bán hàng tại Công Ty TNHH FORNIX 22 249chóng trong những năm tiếp theo cùng với CSDL có thể tăng lên theo lũy tuyến.
Nói 250theo một cách hình ảnh thì chúng ta đang “chìm” trong CSDL nhưng không biết cách 251vận dụng những CSDL đã có để áp dụng vào các công việc có liên quan. Từ đó khai 252phá dữ liệu đã ra đời, để giải quyết đi những khuất mắt, những phần chìm của CSDL 253để tìm ra giải pháp, vận hành thông tin sao cho có lợi cho những nhà quản trị CSDL 254bằng việc khai thác chúng. 255Để tiếp thu những kiến thức mới về khai phá dữ liệu trong thời đại công nghiệp hóa – 256hiện đại hóa cũng như là vận hành việc khai phá dữ liệu vào đối tượng thực tế để ra 257những quy luật bên trong. Vì thế, nhóm chúng em xin lựa chọn đề tài “Ứng dụng SQL 258Server Data Tool vào khai phá dữ liệu bán hàng tại công ty TNHH Fornix” với đề tài 259này chúng em sẽ thực hiện các thuật toán đã được học khi còn trên lớp để khám phá 260các quy luật ẩn bên trong bộ dữ liệu và ứng dụng những quy luật đó vào công việc 261kinh doanh của công ty TNHH Fornix.
Mục tiêu của đồ án 263 Hiểu được các thuật toán và vận hành các thuật toán đã học vào bộ dữ liệu thực tế 264 Hệ thống lại kiến thức đã được học trong môn học Khai phá dữ liệu 265 Tiếp cận, nghiên cứu và vận hành được phần mềm khai phá với bộ dữ liệu có sẵn 266 từ đó hệ thống ra các quy luật và hiểu được bộ dữ liệu từ đó gợi ý, áp dụng những 267 quy luật đó vào công việc kinh doanh để mang lại hiệu suất cao nhất có thể. 268 Xây dựng, vận hành các thuật toán như: gom cụm, phân lớp, kết hợp 2691.Dự kiến kết quả đạt được 270 - Hướng dẫn cài đặt công cụ SQL Server Data Tool trên Visual Studio 2017. 271 - Chạy được thuật toán phân lớp và nêu được kết luận. 272 - Chạy được thuật toán gom cụm và nêu được kết luận.
273 - Chạy được thuật toán kết hợp và nêu được kết luận 274 275 276 0 0 23Ứng dụng Sql Server Data Tool vào khai phá dữ liệu bán hàng tại Công Ty TNHH FORNIX 24 277 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT CỦA HỌC 278 PHẦN 2812. Giới thiệu về khai phá dữ liệu 282 2.1 Khái niệm 283 Khai phá dữ liệu là một tập hợp các kỹ thuật được sử dụng để tự động khai thác 284và tìm ra các mối quan hệ lẫn nhau của dữ liệu trong một tập hợp dữ liệu khổng lồ và 285phức tạp, đồng thời cũng tìm ra các mẫu tiềm ẩn trong tập dữ liệu đó.2 Vai trò của khai phá dữ liệu trong kinh doanh 287 Sự kiếm tìm tri thức trong một lượng dữ liệu lớn là nhu cầu cấp thiết của nhiều 288doanh nghiệp kinh doanh. 289 Với vai trò khám phá tri thức mới từ những phân tích trên dữ liệu quá khứ để 290xây dựng và biểu diễn mô hình dự báo cho tương lai, các kết quả của quá trình khai 291phá dữ liệu là cơ sở quan trọng hỗ trợ cho nhà quản lý trong việc ra quyết định trong 292quá trình điều hành, xây dựng và phát triển doanh nghiệp/tổ chức giúp doanh nghiệp 293sẽ có thêm cơ sở rất trực quan và khoa học để đưa ra các quyết định đúng đắn hơn. 294 Tăng khả năng cạnh tranh trên thị trường.3 Quy trình khai phá dữ liệu 296 Định nghĩa các mục tiêu: 297Các phân tích khai thác dữ liệu được thực hiện trong các lĩnh vực ứng dụng cụ thể và 298nhằm cung cấp cho các nhà ra quyết định những kiến thức hữu ích.
299Các chuyên gia đòi hỏi phải có trực giác và năng lực để xây dựng các mục tiêu điều tra 300có thể xác định được và xác định rõ ràng. 301Nếu vấn đề đang bàn cãi không được xác định và xác định một cách đầy đủ, người ta 302có thể có nguy cơ cản trở bất kỳ nỗ lực trong tương lai nào trong cáchoạt động khai 303thác dữ liệu. 304Việc xác định các mục tiêu sẽ được lợi từ sự hợp tác chặt chẽ giữa các chuyên gia 305trong lĩnh vực ứng dụng và các nhà phân tích khai thác dữ liệu. 306 Thu thập và hợp nhất dữ liệu.
0 0 25Ứng dụng Sql Server Data Tool vào khai phá dữ liệu bán hàng tại Công Ty TNHH FORNIX 26 307Khi các mục tiêu của cuộc điều tra đã được xác định, bắt đầu thu thập dữ liệu. Dữ liệu 308có thể đến từ cácnguồn khác nhau và do đó có thể yêu cầu hợp nhất. 309Nguồn dữ liệu có thể là nội bộ, bên ngoài hoặc kết hợp cả hai. Việc tích hợp các nguồn 310dữ liệu khác nhau có thể được đề xuất bởi nhu cầu làm phongphú thêm dữ liệu với các 311tham số mô tả mới, chẳng hạn như các biến về tiếp thị địa lý hoặc với các danh sách 312tên khách hàng tiềm năng, khách hàng tiềm năng, hiện chưa có trong hệ thống thông 313tin của công ty.
314Trong một số trường hợp, các nguồn dữ liệu đã đượccấu trúc trong các kho dữ liệu và 315các trung tâm dữ liệu cho các phân tích của OLAP và nói chung là cho các hoạt động 316hỗ trợ ra quyết định. 317 Phân tích nghiên cứu. 318Trong giai đoạn thứ ba của quá trình khai thác dữ liệu, một phân tích sơ bộ về dữ liệu 319được thực hiệnvới mục đích làm quen với các thông tin hiện có và thực hiện việc làm 320sạch dữ liệu. 321Bước này sẽ loại bỏ nhiễu và dữ liệu không nhất quán 322Thông thường, dữ liệu được lưu trữ trong kho dữ liệu được xử lý ở thời gian tải theo 323cách để loại bỏ bất kỳ sự không nhất quán về cú pháp 324 Lựa chọn thuộc tính.
325Trong giai đoạn tiếp theo, sự liên quan của các thuộc tính khác nhau được đánh giá 326liên quan đến các mục tiêu của phân tích. 327Các thuộc tính chứng tỏ ít được sử dụng sẽ bị xóa, để làm sạch các thông tin không 328liên quan từ bộ dữ liệu. 329Các thuộc tính mới thu được từ các biến ban đầu thông qua các phép biến đổi thích 330hợp được đưa vàobộ dữ liệu. 331 Mô hình phát triển và xác nhận.
332Một khi bộ dữ liệu chất lượng cao đã được lắp ráp vàcó thể được làm phong phú với 333các thuộc tính mới được xác định, có thể phát triển các mô hình nhận diện và dự báo. 334Thông thường việc đào tạo các mô hình được thực hiện bằng cách sử dụng một mẫu 335các hồ sơ trích ra từ bộ dữ liệu ban đầu. 336Độ chính xác dự đoán của từng mô hình được tạo ra có thể được đánh giá bằng cách 337sử dụng phần còn lại của dữ liệu. 338Tập dữ liệu hiện có được chia thành hai tập con.
Đầu tiên tạo thành tập huấn luyện 339(training set) và được sử dụng để xác định một mô hình học cụ thể trong mô hình các 0 0 27Ứng dụng Sql Server Data Tool vào khai phá dữ liệu bán hàng tại Công Ty TNHH FORNIX 28 340mô hình đã chọn. Thông thường cỡ mẫu của tập huấn luyện được chọn là tương đối 341nhỏ, mặc dù có ý nghĩa thống kê từ quan điểm thống kê, vài ngàn quan sát. 342Tập con thứ hai là tập kiểm tra (test set) và được sử dụng để đánh giá độ chính xác của 343các mô hình thay thế được tạo ra trong giai đoạn đào tạo để xác định mô hình tốt nhất 344cho dự đoán trong tương lai. 345 Dự đoán và diễn giải.
346Sau khi kết thúc quá trình khai thác dữ liệu, mô hình được lựa chọn giữa những người 347tạo ra trong giai đoạn phát triển nên được thực hiện và sử dụng để đạt được các mục 348tiêu ban đầu được xác định. 349Hơn nữa, cần kết hợp chặt chẽ vào các thủ tục hỗ trợ các quá trình ra quyết định để các 350nhân viên có thể sử dụng nó rút ra những dự đoán và thu thập kiến thức sâu hơn về 351hiện tượng quan tâm. Kho dữ liệu 353 Kho dữ liệu là kho lưu trữ quan trọng nhất cho các dữ liệu sẵn có để phát triển 354kiến trúc BI và các hệ thống hỗ trợ ra quyết định. 355 Kho dữ liệu là một hệ thống lấy (retrieve) và hợp nhất (consolidate) dữ liệu 356theo định kỳ từ các hệ thống nguồn vào một kho dữ liệu có chiều (dimensional) hoặc 357kho dữ liệu đã chuẩn hóa (normalized data store).
358 Kho dữ liệu thường giữ dữ liệu qua nhiều năm lịch sử và được truy vấn bởi hệ 359thống BI hoặc các hoạt động phân tích khác. 360 Dữ liệu thường được cập nhật theo đợt, không phải ngay tức khắc lúc một giao 361dịch xảy ra trong hệ thống nguồn.1 Kiến trúc luồng dữ liệu 363 Kiến trúc dữ liệu là về cách dữ liệu được sắp xếp trong mỗi kho dữ liệu và cách 364lưu trữ dữ liệu được thiết kế để phản ánh các quy trình kinh doanh. Hoạt động tạo ra 365kiến trúc dữ liệu được gọi là mô hình hóa dữ liệu. 366 Các kho lưu trữ dữ liệu (data stores) là những thành phần quan trọng của kiến 367trúc luồng dữ liệu.
Data store là một hoặc nhiều cơ sở dữ liệu hoặc tệp chứa dữ liệu 368của kho dữ liệu (data warehouse), được sắp xếp theo một định dạng cụ thể và tham gia 369vào các quy trình kho dữ liệu. 0 0 29Ứng dụng Sql Server Data Tool vào khai phá dữ liệu bán hàng tại Công Ty TNHH FORNIX 30 370 Dựa vào định dạng dữ liệu, có thể phân loại data store của kho dữ liệu thành 371bốn loại: A stage (STG), A normalized data store (NDS), An operational data store 372(ODS), A dimensional data store (DDS).2 Kho dữ liệu và khai phá dữ liệu trong BI 374 Có ba loại ứng dụng kho dữ liệu: 375 Xử lý thông tin: hỗ trợ truy vấn, phân tích thống kê cơ bản và báo cáo sử dụng 376 crosstab, bảng, biểu đồ hoặc đồ thị. 377 Xử lý phân tích: phân tích số liệu dữ liệu kho dữ liệu theo chiều sâu. Nó thường 378 hoạt động trên dữ liệu lịch sử trong cả hai dạng tóm tắt và chi tiết.