CHƯƠNG 1: TỔNG QUAN 1. Lý do hình thành đồ án Trong thời đại 4.0, công nghệ phát triển ngày càng nhanh, ngày càng tân tiến, gây ra ảnh hưởng không nhỏ cho các khối ngành nói chung và ngành phân tích và đánh giá xe ô tô nói riêng. Ngày nay đã xuất hiện rất nhiều công ty chuyên sản xuất xe ô tô trên thị trường buôn bán xe ô tô nhờ sự xuất hiện của những công ty ấy đã làm cho các loại xe ô tô ngày càng đa dạng và có nhiều chức năng tiên tiến. Qua đó, ta thấy chất lượng của xe ô tô ngày càng vượt bậc nhưng bên cạnh ấy vẫn còn nhiều công ty sản xuất ra các loại xe ô tô có chất lượng thấp khiến cho nhiều khách hàng mất lòng tin vào thị trường xe mô tô.
Nắm bắt được sự cấp thiết của việc phân tích các dữ liệu của xe ô tô để có thể đánh giá chất lượng của xe ô tô ấy, chúng em quyết định chọn đề tài “Ứng dụng phần mềm RapidMiner để thực hiện khai phá dữ liệu trong việc đánh giá chất lượng của xe ô tô” nhằm có thể thực hiện các phương pháp khai phá dữ liệu vào việc phân tích dữ liệu của các loại xe ô tô từ đó có thể đánh giá chất lượng xe ô tô hay có thể phân loại xe ô tô thành từng phân khúc để phù hợp cho từng khách hàng,… 1. Mục tiêu đồ án - Hiểu được cách vận hành các thuật toán được sử dụng trong RapidMiner. - Khai phá dữ liệu đưa ra quyết định sát với thực tế tại các doanh nghiệp nhất có thể. - Hiểu được kiến trúc luồng dữ liệu, vai trò của khai phá dữ liệu trong kinh doanh.
- Hiểu được các phương pháp trong khai phá dữ liệu. Dự kiến kết quả đạt được - Sử dụng thành thạo phần mềm RapidMiner cho việc phân tích và khai phá dữ liệu. - Xử lý dữ liệu gốc hợp lý, phù hợp với các thuật toán của các phương pháp trong khai phá dữ liệu. 3 0 0 ỨNG DỤNG PHẦN MỀM RAPIDMINER ĐỂ THỰC HIỆN KHAI PHÁ DỮ LIỆU TRONG VIỆC ĐÁNH GIÁ CHẤT LƯỢNG CỦA XE Ô TÔ - Thực hiện thành công 3 phương pháp trong khai phá dữ liệu, đưa ra các kết quả phân tích rõ ràng, hợp lý, tỷ lệ chính xác cao nhất.
4 0 0 ỨNG DỤNG PHẦN MỀM RAPIDMINER ĐỂ THỰC HIỆN KHAI PHÁ DỮ LIỆU TRONG VIỆC ĐÁNH GIÁ CHẤT LƯỢNG CỦA XE Ô TÔ CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2. Giới thiệu về khai phá dữ liệu 2.1 Khái niệm - Khai phá dữ liệu (Data Mining) là quá trình tìm kiếm các mẫu từ tập dữ liệu lớn (Data Set) và phân tích dữ liệu từ những quan điểm khác nhau. Việc này cho phép người dùng trong doanh nghiệp có thể phân tích dữ liệu từ nhiều góc độ khác nhau và tóm tắt các mối quan hệ xác định (relationship) để đưa ra các quyết định và giải quyết vấn đề. - Về bản chất, khai phá dữ liệu là quá trình tự động trích xuất thông tin có giá trị (Thông tin dự đoán - Predictive Information) ẩn chứa trong khối lượng dữ liệu khổng lồ trong thực tế - Các hoạt động khai phá dữ liệu có thể được chia thành hai dòng nghiên cứu chính, theo mục đích chính của phân tích: diễn giải (interpretation) và dự đoán (Predictive): Diễn giải (interpretation): + Mục đích của việc diễn giải là xác định các mẫu thông tin thông thường trong dữ liệu và để thể hiện chúng thông qua các quy tắc và tiêu chuẩn mà các chuyên gia trong lĩnh vực ứng dụng có thể dễ dàng hiểu được.
+ Các quy tắc tạo ra phải là nguyên gốc và không tầm thường để thực sự làm tăng mức độ hiểu biết và hiểu biết về hệ thống quan tâm. Dự đoán (Predictive): + Dự đoán giá trị mà một biến ngẫu nhiên sẽ giả định trong tương lai hoặc để ước tính khả năng xảy ra các sự kiện trong tương lai.2 Vai trò của khai phá dữ liệu trong kinh doanh - Phân tích và quản lý thị trường: 5 0 0 ỨNG DỤNG PHẦN MỀM RAPIDMINER ĐỂ THỰC HIỆN KHAI PHÁ DỮ LIỆU TRONG VIỆC ĐÁNH GIÁ CHẤT LƯỢNG CỦA XE Ô TÔ + Có vai trò rất quan trọng trong ngành công nghiệp bán lẻ, do dữ liệu thu thập từ lĩnh vực này rất lớn từ doanh số bán hàng, lịch sử mua hàng của khách hàng, vận chuyển hàng hóa, tiêu thụ và dịch vụ. + Khối lượng dữ liệu từ ngành công nghiệp này sẽ tiếp tục tăng lên nhanh chóng và dễ dàng thu thập bởi tính sẵn có trên môi trường Web. + Ứng dụng khai phá dữ liệu nhằm xây dựng mô hình giúp xác định xu hướng mua hàng của khách hàng, giúp doanh nghiệp cải thiện chất lượng sản phẩm dịch vụ nhằm nâng cao sự hài lòng của khách hàng và giữ chân khách hàng tốt.
+ Các chức năng cụ thể của việc “Phân tích và quản lý thị trường”: Khai phá dữ liệu trên kho dữ liệu khách hàng. Phân tích đa chiều trên kho dữ liệu khách hàng về doanh số bán hàng, khách hàng, sản phẩm, thời gian và khu vực. Phân tích hiệu quả của các chiến dịch bán hàng, Marketing. Quản trị mối quan hệ khách hàng (CRM).
Giới thiệu và tư vấn sản phẩm phù hợp cho khách hàng. - Phân tích doanh nghiệp và quản lý rủi ro: + Lập kế hoạch tài chính và đánh giá tài sản: bao gồm phân tích và dự đoán dòng chảy của đồng tiền, phân tích giá trị phụ thuộc (contingent claim) để thẩm định tài sản. - Phát hiện gian lận – fraud detection: + Phát hiện gian lận thường được sử dụng trong các lĩnh vực như ngân hàng, với dịch vụ thẻ tín dụng, hoặc là viễn thông. Đối với viễn thông, khai phá dữ liệu từ các cuộc gọi lừa đảo sẽ giúp các cơ quan điều tra xác định thời gian gọi, gọi trong bao lâu, gọi đến ai, ai là người gọi, từ đó sẽ xác định được thủ phạm và truy bắt chúng.
+ Trong lĩnh vực tài chính, bán hàng, nó còn được dùng để phân tích các mô hình, xem coi có trường hợp nào đi chệch khỏi quỹ đạo hay không, doanh thu bán hàng có khác với chỉ tiêu dự kiến hay không. - Phát hiện xâm nhập bất hợp pháp (Intrusion Detection): 6 0 0 ỨNG DỤNG PHẦN MỀM RAPIDMINER ĐỂ THỰC HIỆN KHAI PHÁ DỮ LIỆU TRONG VIỆC ĐÁNH GIÁ CHẤT LƯỢNG CỦA XE Ô TÔ + Xâm nhập bất hợp pháp là những hành động đe dọa tính toàn vẹn, bảo mật và tính sẵn sàng của tài nguyên mạng. + Trong thế giới của kết nối, bảo mật đã trở thành vấn đề lớn đối với tồn tại của hệ thống. Với sự phát triển của internet và sự sẵn có của các công cụ, thủ thuật trợ giúp cho xâm nhập và tấn công mạng, yêu cầu kiểm soát truy cập bất hợp pháp là yếu tố rất quan trọng đảm bảo cho sự ổn định và bảo mật của hệ thống.
+ Phát triển các thuật toán khai phá dữ liệu để phát hiện xâm nhập. + Phân tích kết hợp, tương quan và khác biệt để phát hiện xâm nhập. + Phân tích dòng dữ liệu dữ liệu (Analysis of Stream data) để phát hiện bất thường vào hệ thống.3 Quy trình khai phá dữ liệu 1. Nghiên cứu lĩnh vực.
- Ta cần nghiên cứu lĩnh vực cần sử dụng Data mining để xác định được những tri thức ta cần chắt lọc, từ đó định hướng để tránh tốn thời gian cho những tri thức không cần thiết. Tạo tập tin dữ liệu đầu vào. - Ta xây dựng tập tin để lưu trữ các dữ liệu đầu vào để máy tính có thể lưu trữ và xử lý. Tiền xử lý, làm sạch, mã hóa.
- Ở bước này ta tiến hành bỏ bớt những dữ liệu rườm rà, không cần thiết, tinh chỉnh lại cấu trúc của dữ liệu và mã hóa chúng để tiện cho quá trình xử lý. - Thông thường một tập dữ liệu có chiều khá lớn sẽ sinh ra một lượng dữ liệu khổng lồ, ví dụ với n chiều ta sẽ có 2^n tổ hợp. Do đó, đây là một bước quan trọng giúp giảm đáng kể hao tổn về tài nguyên trong quá trình xử lý tri thức. Thông thường ta sẽ dùng Rough set (http://en.org/wiki/Rough_set) để giảm số chiều.
Chọn tác vụ khai thác dữ liệu. 7 0 0 ỨNG DỤNG PHẦN MỀM RAPIDMINER ĐỂ THỰC HIỆN KHAI PHÁ DỮ LIỆU TRONG VIỆC ĐÁNH GIÁ CHẤT LƯỢNG CỦA XE Ô TÔ - Để đạt được mục đích ta cần, ta cần chọn được tác vụ khai thác dữ liệu sao cho phù hợp. Thông thường có các tác vụ sau: o Đặc trưng (feature). o Phân tích độ lệch.
o Phân tích hiếm. Chọn các thuật giải khai thác dữ liệu. Khai thác dữ liệu: Tìm kiếm tri thức. - Sau khi tiến hành các bước trên thì đây là bước chính của cả quá trình, ta sẽ tiến hành khai thác và tìm kiếm tri thức.
Đánh giá mẫu tìm được. - Ta cần đánh giá lại xem trong các tri thức tìm được, ta sẽ sử dụng được những tri thức nào, những tri thức nào dư thừa, không cần thiết 9. Biểu diễn tri thức. - Ta biểu diễn tri thức vừa thu thập được dưới dạng ngôn ngữ tự nhiên và hình thức sao cho người dùng có thể hiểu được những tri thức đó.
Sử dụng các tri thức vừa khám phá. - Ta có thể tham khảo tiến trình KDD (Knowledge Discovery in Databases) để hiểu rõ hơn về Khai thác dữ liệu: Làm sạch dữ liệu (data cleaning & preprocessing)s: Loại bỏ nhiễu và các dữ liệu không cần thiết. 8 0 0 ỨNG DỤNG PHẦN MỀM RAPIDMINER ĐỂ THỰC HIỆN KHAI PHÁ DỮ LIỆU TRONG VIỆC ĐÁNH GIÁ CHẤT LƯỢNG CỦA XE Ô TÔ DẪN NHẬP Trong thời đại 4.0, công nghệ phát triển ngày càng nhanh, ngày càng tân tiến, gây ra ảnh hưởng không nhỏ cho các khối ngành nói chung và ngành phân tích và đánh giá xe ô tô nói riêng. Ngày nay đã xuất hiện rất nhiều công ty chuyên sản xuất xe ô tô trên thị trường buôn bán xe ô tô nhờ sự xuất hiện của những công ty ấy đã làm cho các loại xe ô tô ngày càng đa dạng và có nhiều chức năng tiên tiến.
Qua đó, ta thấy chất lượng 0 của xe ô tô ngày càng vượt bậc nhưng0bên cạnh ấy vẫn còn nhiều công ty sản xuất ra các loại xe ô tô có chất lượng thấp khiến cho nhiều khách hàng mất lòng tin vào thị trường xe mô tô.