Tìm Hiểu Phân Tích Dữ Liệu và Cài Đặt Bằng Ngôn Ngữ Python

Chuyên khảo phân tích Tìm hiểu phân tích dữ liệu data mining và cài đặt bằng ngôn ngữ python, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Nguyễn Gia Huy
• Người hướng dẫn: ThS. Lê Văn Hạnh
• Trường học: Trường Đại Học Quốc Tế Hồng Bàng
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Tìm Hiểu Phân Tích Dữ Liệu và Cài Đặt Bằng Ngôn Ngữ Python
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU VỀ PHÂN TÍCH DỮ LIỆU
• 1.1. Giới thiệu
• 1.2. Vai trò
• 1.3. Dữ liệu lớn
• 1.4. Quy trình phân tích dữ liệu
• 1.4.1. Xác định mục tiêu
• 1.4.2. Thu thập dữ liệu
• 1.4.2.1. Các phương pháp thu thập dữ liệu
• 1.4.3. Lưu trữ dữ liệu
• 1.4.3.1. Data warehouse
• 1.4.3.2. Data lake
• 1.4.4. Sự khác biệt của data lake và data warehouse
• 1.4.5. Tiền xử lý dữ liệu
• 1.4.5.1. Data cleaning

Tóm tắt

I. Tổng Quan về Phân Tích Dữ Liệu Python cho Khóa Luận

Theo Amazon, phân tích dữ liệu là quá trình thu thập, lưu trữ, xử lý, làm sạch, phân tích dữ liệu thô để tạo ra thông tin hữu ích, hỗ trợ quyết định. Nó bao gồm nhiều khía cạnh và phương pháp khác nhau trong kinh tế, khoa học và xã hội. Ứng dụng Python trong phân tích dữ liệu ngày càng phổ biến do tính linh hoạt và mạnh mẽ. Vai trò của phân tích dữ liệu rất quan trọng, giúp định hình quy trình kinh doanh và cải thiện khả năng ra quyết định. Phân tích dữ liệu giúp doanh nghiệp hiểu sâu hơn về quy trình và dịch vụ, thu thập thông tin chi tiết về trải nghiệm khách hàng, từ đó cá nhân hóa trải nghiệm, xây dựng sản phẩm số, tối ưu hoạt động và năng suất nhân viên.

1.1. Tầm quan trọng của Phân Tích Dữ Liệu trong Nghiên Cứu

Phân tích dữ liệu đóng vai trò then chốt trong nghiên cứu khoa học và kinh doanh. Nó cung cấp cái nhìn sâu sắc về các xu hướng, mô hình và mối quan hệ ẩn sâu trong dữ liệu. Bằng cách sử dụng các công cụ và kỹ thuật phù hợp, nhà nghiên cứu có thể đưa ra những kết luận có giá trị và hỗ trợ quá trình ra quyết định một cách hiệu quả. Phân tích dữ liệu còn giúp xác định các vấn đề tiềm ẩn, đánh giá hiệu quả của các chiến lược và dự đoán các kết quả trong tương lai.

1.2. Giới Thiệu Python và các Thư Viện Hỗ Trợ Phân Tích Dữ Liệu

Python là một ngôn ngữ lập trình mạnh mẽ và linh hoạt, được sử dụng rộng rãi trong phân tích dữ liệu. Với cú pháp đơn giản và dễ học, Python cho phép nhà nghiên cứu tập trung vào giải quyết vấn đề thay vì lo lắng về cú pháp phức tạp. Các thư viện như Pandas, NumPy, Scikit-learn, và Matplotlib cung cấp các công cụ mạnh mẽ để xử lý, phân tích và trực quan hóa dữ liệu. Việc sử dụng Python giúp tăng tốc quá trình phân tích và tạo ra các kết quả chất lượng cao.

II. Thách Thức và Giải Pháp khi Phân Tích Dữ Liệu với Python

Lượng dữ liệu ngày nay tăng lên rất lớn, tạo ra dữ liệu lớn (Big Data). Dữ liệu lớn được tạo ra liên tục với tốc độ cao và khối lượng lớn. Để phân tích dữ liệu lớn, cần các công cụ cụ thể, năng lực điện toán và kho lưu trữ dữ liệu hỗ trợ. Quy trình phân tích dữ liệu thô bao gồm các bước: xác định mục tiêu, thu thập dữ liệu, tiền xử lý dữ liệu, xử lý dữ liệu, phân tích dữ liệu, diễn giải dữ liệu và đưa ra kết luận. Xác định mục tiêu rõ ràng là bước quan trọng đầu tiên. Loại dữ liệu và định dạng dữ liệu cần được xác định trước.

2.1. Vấn đề về Dữ Liệu Lớn và Cách Python Giải Quyết

Dữ liệu lớn đặt ra những thách thức lớn về lưu trữ, xử lý và phân tích. Các kỹ thuật truyền thống không còn phù hợp để xử lý khối lượng dữ liệu khổng lồ này. Python, với các thư viện như Dask và PySpark, cung cấp các giải pháp hiệu quả để xử lý dữ liệu lớn. Dask cho phép xử lý song song trên nhiều lõi CPU, trong khi PySpark tận dụng sức mạnh của các cụm tính toán để xử lý dữ liệu phân tán. Việc sử dụng các thư viện này giúp tăng tốc quá trình phân tích và cho phép xử lý các tập dữ liệu có kích thước terabyte hoặc petabyte.

2.2. Các Bước Tiền Xử Lý Dữ Liệu Quan Trọng trong Python

Tiền xử lý dữ liệu là một bước quan trọng để đảm bảo chất lượng và độ tin cậy của kết quả phân tích. Các bước tiền xử lý bao gồm: làm sạch dữ liệu, chuyển đổi dữ liệu, và giảm chiều dữ liệu. Trong Python, thư viện Pandas cung cấp các công cụ mạnh mẽ để thực hiện các tác vụ này. Việc xử lý các giá trị thiếu, loại bỏ các dữ liệu ngoại lai, và chuẩn hóa dữ liệu là những bước quan trọng để cải thiện độ chính xác của các mô hình học máy và phân tích thống kê.

2.3. Lựa Chọn và Sử Dụng Thuật Toán Phân Tích Phù Hợp

Việc lựa chọn thuật toán phân tích phù hợp là rất quan trọng để đạt được kết quả tốt nhất. Có nhiều thuật toán khác nhau có sẵn, mỗi thuật toán phù hợp với một loại dữ liệu và mục tiêu phân tích khác nhau. Trong Python, thư viện Scikit-learn cung cấp một loạt các thuật toán học máy, từ các thuật toán đơn giản như hồi quy tuyến tính đến các thuật toán phức tạp hơn như mạng nơ-ron. Việc hiểu rõ các thuật toán và cách chúng hoạt động giúp nhà nghiên cứu lựa chọn thuật toán phù hợp và tinh chỉnh các tham số để đạt được hiệu suất tốt nhất.

III. Ứng Dụng Python trong Khai Phá Dữ Liệu cho Khóa Luận

Thu thập dữ liệu bao gồm xác định nguồn dữ liệu và thu thập dữ liệu từ nguồn này. Việc thu thập cần tuân theo một trong hai quá trình là ELT hoặc ETL. ELT (Extract, Load, Transform) trích xuất, tải, chuyển đổi: dữ liệu sau khi được trích xuất sẽ được tải vào kho lưu trữ rồi được chuyển đổi. ETL (Extract, Transform, Load) trích xuất, chuyển đổi, tải: dữ liệu sau khi được trích xuất sẽ được chuyển đổi rồi được tải và kho lưu trữ. Dữ liệu cần phải được lưu trữ ở dịch vụ lưu trữ đặc biệt do dữ liệu thu về thường có dung lượng rất lớn. Data warehouse và datalake là 2 dịch vụ phổ biến và hiệu quả nhất.

3.1. Khai Phá Dữ Liệu với Thuật Toán Apriori bằng Python

Khai phá dữ liệu là quá trình khám phá các mẫu, xu hướng và mối quan hệ ẩn sâu trong dữ liệu. Thuật toán Apriori là một thuật toán phổ biến để tìm các tập phổ biến và luật kết hợp trong khai phá dữ liệu. Trong Python, thư viện mlxtend cung cấp một triển khai hiệu quả của thuật toán Apriori. Việc sử dụng thuật toán Apriori giúp nhà nghiên cứu xác định các mối quan hệ quan trọng giữa các biến, chẳng hạn như các sản phẩm thường được mua cùng nhau hoặc các triệu chứng thường xuất hiện cùng nhau.

3.2. Xây Dựng Mô Hình Dự Đoán Bằng Học Máy với Python

Học máy là một lĩnh vực của trí tuệ nhân tạo cho phép máy tính học từ dữ liệu mà không cần được lập trình một cách rõ ràng. Trong Python, thư viện Scikit-learn cung cấp một loạt các thuật toán học máy để xây dựng các mô hình dự đoán. Các mô hình này có thể được sử dụng để dự đoán các kết quả trong tương lai, chẳng hạn như dự đoán doanh số bán hàng, dự đoán nguy cơ mắc bệnh, hoặc dự đoán hành vi của khách hàng. Việc lựa chọn thuật toán phù hợp và tinh chỉnh các tham số là rất quan trọng để đạt được độ chính xác cao.

IV. Phân Tích Dữ Liệu Kinh Doanh với Python Ví dụ Thực Tế

Tiền xử lý dữ liệu (pre data processing) bao gồm các bước làm sạch dữ liệu (data cleaning), chuyển đổi dữ liệu (data transformation), rút gọn dữ liệu (data reduction). Làm sạch dữ liệu là quá trình loại bỏ hoặc chỉnh sửa các tệp dữ liệu không phù hợp, sai định dạng hoặc bị thiếu thông tin. Đảm bảo dữ liệu được chính xác và toàn vẹn là vô cùng quan trọng. Các bước làm sạch dữ liệu: loại bỏ các dữ liệu bị trùng lặp hoặc không phù hợp, sữa lỗi cấu trúc, lọc dữ liệu ngoại lai.

4.1. Phân Tích Dữ Liệu Khách Hàng và Đề Xuất Cá Nhân Hóa

Phân tích dữ liệu khách hàng là một ứng dụng quan trọng của phân tích dữ liệu trong kinh doanh. Bằng cách phân tích dữ liệu về hành vi mua hàng, sở thích và thông tin nhân khẩu học của khách hàng, doanh nghiệp có thể tạo ra các đề xuất cá nhân hóa để tăng doanh số bán hàng và cải thiện sự hài lòng của khách hàng. Trong Python, các thư viện như Pandas và Scikit-learn có thể được sử dụng để phân tích dữ liệu khách hàng và xây dựng các mô hình đề xuất cá nhân hóa. Ví dụ, có thể sử dụng thuật toán lọc cộng tác để đề xuất các sản phẩm mà khách hàng có thể thích dựa trên lịch sử mua hàng của họ và các khách hàng khác có sở thích tương tự.

4.2. Phân Tích Dữ Liệu Chuỗi Cung Ứng và Tối Ưu Hóa Quản Lý

Phân tích dữ liệu chuỗi cung ứng giúp doanh nghiệp tối ưu hóa quản lý kho, giảm chi phí vận chuyển, và cải thiện hiệu quả hoạt động. Bằng cách phân tích dữ liệu về tồn kho, vận chuyển, và nhu cầu của khách hàng, doanh nghiệp có thể dự đoán nhu cầu, tối ưu hóa mức tồn kho, và giảm thiểu rủi ro thiếu hàng hoặc tồn kho quá nhiều. Trong Python, các thư viện như Pandas và Statsmodels có thể được sử dụng để phân tích dữ liệu chuỗi cung ứng và xây dựng các mô hình dự đoán. Ví dụ, có thể sử dụng mô hình ARIMA để dự đoán nhu cầu trong tương lai và tối ưu hóa mức tồn kho.

V. Kết Luận và Hướng Phát Triển của Phân Tích Dữ Liệu Python

Data cleaning làm sạch dữ liệu là quá trình loại bỏ hoặc chỉnh sửa các tệp dữ liệu không phù hợp, sai định dạng hoặc bị thiếu thông tin trong tập dữ liệu. Khi kết hợp các tệp dữ liệu lại với nhau có khả năng dữ liệu bị trùng lặp hoặc sai. Việc đảm bảo dữ liệu được chính xác và toàn vẹn trước khi được đưa vào xử lý là vô cùng quan trọng nhằm đảm bảo kết quả và thuật toán được chính xác. Làm sạch dữ liệu bao gồm các bước: Loại bỏ các dữ liệu bị trùng lặp hoặc không phù hợp, sửa lỗi cấu trúc, lọc dữ liệu ngoại lai.

5.1. Tóm Tắt các Kết Quả Nghiên Cứu và Đánh Giá Tiềm Năng

Khóa luận đã trình bày một tổng quan về phân tích dữ liệu và ứng dụng Python trong các lĩnh vực khác nhau. Các ví dụ thực tế cho thấy tiềm năng to lớn của Python trong việc giải quyết các vấn đề kinh doanh và khoa học. Các kết quả nghiên cứu cho thấy rằng Python là một công cụ mạnh mẽ và linh hoạt để phân tích dữ liệu và tạo ra các giá trị gia tăng cho doanh nghiệp và xã hội. Tuy nhiên, việc sử dụng Python cũng đòi hỏi kiến thức chuyên môn và kỹ năng lập trình. Việc đào tạo và phát triển nguồn nhân lực là rất quan trọng để tận dụng tối đa tiềm năng của Python.

5.2. Hướng Nghiên Cứu và Phát Triển Trong Tương Lai

Trong tương lai, phân tích dữ liệu sẽ tiếp tục phát triển và đóng vai trò quan trọng hơn trong các lĩnh vực khác nhau. Các hướng nghiên cứu và phát triển tiềm năng bao gồm: học sâu (Deep Learning), trí tuệ nhân tạo (AI), và Internet of Things (IoT). Python sẽ tiếp tục là một ngôn ngữ quan trọng trong lĩnh vực này, với sự phát triển của các thư viện và công cụ mới. Việc kết hợp Python với các công nghệ mới sẽ mở ra những cơ hội mới để giải quyết các vấn đề phức tạp và tạo ra các ứng dụng sáng tạo.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU VỀ PHÂN TÍCH DỮ LIỆU 1.1 Giới thiệu Theo công ty Amazon, phân tích dữ liệu là quá trình thu thập, lưu trữ, xử lý, làm sạch, phân tích dữ liệu thô để trở thành các thông tin hữu ích, kết luận và hỗ trợ việc quyết định cho các tổ chức, doanh nghiệp. Phân tích dữ liệu có nhiều khía cạnh và hướng tiếp cận khác nhau bao gồm nhiều phương thức phân tích khác nhau trong các lĩnh vực như kinh tế, khoa học và xã hội học [2].2 Vai trò Phân tích dữ liệu đóng vai trò quan trọng vì nó có thể định hình các quy trình kinh doanh và cải thiện khả năng ra quyết định của doanh nghiệp. Lý do mà việc phân tích dữ liệu có thể làm được như vậy là vì nó có thể giúp cho doanh nghiệp nhìn rõ hơn và hiểu sâu hơn về quá trình và dịch vụ của họ bằng cách thu thập thông tin chuyên sâu chi tiết về trải nghiệm và các vấn đề của khách hàng để rồi phân tích, xây dựng và tạo ra những trải nghiệm khách hàng đã được cá nhân hóa, xây dựng các sản phẩm kỷ thuật số liên quan, tối ưu hoạt động và năng xuất của nhân viên [2].3 Dữ liệu lớn Việc lượng dữ liệu được sinh ra ngày nay ngày càng lớn lên đến 2.5 tỷ gigabytes mỗi ngày là quá lớn để để có thể xử lý 1 bằng các phương pháp thông thường như xử lý 1 dạng dữ liệu thường mà thay vào đó chúng sẽ được xem là dữ liệu lớn (big data).

Dữ liệu lớn (big data) là cách gọi các tệp dữ liệu lớn đa dạng cấu trúc (structured),bán cấu trúc (semi structured) và không cấu trúc (unstructured ) được tạo ra liên tục với tốc độ cao và khối lượng lớn. Big data thường được đo bằng terabyte hoặc petabyte. 1 terabyte tương đương 1. Việc phân tích dữ liệu lớn là quá trình tìm các mẫu, xu hướng và các mỗi quan hệ trong những tập dữ liệu khổng lồ.Việc này đòi hỏi các công cụ, công cụ cụ thể, năng lực điện toán và kho lưu trữ dữ liệu hỗ trợ theo quy mô của dữ liệu.4 Quy trình phân tích dữ liệu Quy trình phân tích dữ liệu thô sang các thông tin có lợi cho doanh nghiệp, tổ chức,… bao gồm các bước sau [2]: - Xác định mục tiêu - Thu thập dữ liệu - Tiền xử lý dữ liệu - Xử lý dữ liệu - Phân tích dữ liệu 16 - Diễn giải dữ liệu và đưa ra kết luận 1.1 Xác định mục tiêu Đây là bước mà các nhà phân tích dữ liệu phải phát thảo một số mục tiêu rõ ràng.

Tìm ra các câu hỏi mà doanh nghiệp, tổ chức, cá nhân,… cần trả lời bằng dữ liệu. VD: Liệu đặt kệ khăn giấy gần quầy thuốc tây có tăng doanh thu của khăn giấy lên không ? Đây cũng là bước mà các nhà phân tích dữ liệu xác định rõ loại dữ liệu, định dạng của dữ liệu mà họ muốn phân tích.2 Thu thập dữ liệu Bước này bao gồm việc xác định nguồn dữ liệu và thu thập dữ liệu từ nguồn này. Việc thu thập cần tuân theo một trong hai quá trình là ELT hoặc ETL [2]. - ELT – (Extract, Load, Transform) Trích xuất, tải, chuyển đổi: Trong ELT,trước tiên dữ liệu sau khi được trích xuất từ nguồn sẽ được tải vào kho lưu trữ và sau đó được chuyển đổi thành định dạng yêu cầu - ETL – (Extract, Transform, Load) Trích xuất, chuyển đổi, tải: Trong ETL, trước tiên dữ liệu sau khi được trích xuất từ nguồn sẽ được chuyển đổi thành định dạng yêu cầu sau đó được tải và kho lưu trữ.

Sau khi thu thập, dữ liệu cần phải được lưu trữ ở dịch vụ lưu trữ đặc biệt do dữ liệu thu về thường có dung lượng rất lớn.Trong số các dịch vụ lưu trữ dữ liệu: Data warehouse và datalake là 2 dịch vụ phổ biến và hiệu quả nhất.1 Các phương pháp thu thập dữ liệu Các phương pháp để thu thập dữ liệu bao gồm [3]: - Phương pháp quan sát (observation) - Phương pháp phỏng vấn bằng thư (mail interview) - Phương pháp phỏng vấn bằng điện thoại (telephone interview) - Phương pháp phỏng vấn cá nhân trực tiếp (personal interview) - Phương pháp điều tra nhóm cố định (panels) - Phương pháp điều tra nhóm chuyên đề (focus groups) 1.2 Lưu trữ dữ liệu Dựa vào các loại và độ phức tạp khác nhau mà dữ liệu được lưu trữ ở kho dữ liệu (data warehouse) hoặc hồ dữ liệu (data lake). Đây là các công nghệ giúp cho doanh nghiệp quản lý và tận dụng tiềm năng rộng lớn của Big data.1 Data warehouse Là cơ sở dữ liệu được tối ưu hóa cho phân tích dữ liệu quan hệ đến từ hệ thống giao dịch và ứng dụng kinh doanh. Cấu trúc dữ liệu và lược đồ được xác định trước để tối ưu hóa việc tìm kiếm và báo cáo nhanh. Dữ liệu được đưa vào kho dữ liệu đã được dọn dẹp và biến đổi để đóng vai trò là “nguồn thông tin “ đáng tin cậy mà người dùng có thể tin tưởng.

Đa số dữ liệu được lưu trữ trong kho dữ liệu đều là các dữ liệu có cấu trúc hoặc bán cấu trúc.2 Data lake Data lake thì khác vì có thể lữu trữ cả dữ liệu có cấu trúc và phi cấu trúc mà không cần xử lý thêm. Cấu trúc dữ liệu hoặc lược đồ không cần được xác định khi thu thập, tức là có thể lưu mọi dữ liệu mà không cần cẩn trọng thiết kế, điều này hữu ích khi chưa xác định mục đích sử dụng dữ liệu trong tương lai. Các ví dụ về dữ liệu bao gồm: nội dung truyền thông xã hội, dữ liệu Iot,… 1.3 Sự khác biệt của data lake và data warehouse So sánh giữa data lake và data warehouse [4]: Data lake Data warehouse Loại dữ liệu Chỉ lưu trữ các dữ liệu trích Tất cả các loại dữ liệu từ hệ thống đếu được lưu trữ kể cả dữ liệu bị xuất từ hệ thống giao dịch và từ chối lưu trữ trong data warecác số liệu định lượng để hỗ house. trợ quá trình phân tích hiệu Các loại dữ liệu này chưa được suất và tình trạng kinh doanh.

Dữ liệu trong data warehouse Có thể lưu cả dữ liệu hiện tại là các dữ liệu có cấu trúc rõ không sử dụng. Hình thức Data lake sử dụng phương pháp Data warehouse áp dụng schema “Schema on Read”.Nghĩa là khi phương pháp “Schema on có nhu cầu xử dụng dữ liệu để Write”. Nghĩa là mô hình này giải quyết các vấn đề kinh doanh được thiết kế với mục đích là thì chỉ có các dữ liệu liên quan cung cấp báo cáo thông qua đến được chọn và phân tích. quá trình dài phân tích dữ liệu, Dữ liệu được giữ ở trạng thái thấu hiểu quy trình nghiệp vụ, nguyên bản.

và hình thành một hệ thống xác định để phân tích dữ liệu. Tiết kiệm chi phí và thời gian Dữ liệu được biến đổi theo cấu trúc. 18 Hình thành hệ thống phân tích chi tiết. Tính linh hoạt Linh hoạt trong việc tái cấu trúc Khó khăn và tốn kém trong do dữ liệu được lưu trữ trong data việc tái cấu trúc do dữ liệu lake đều là những dữ liệu phi cấu được lưu trữ trong data trúc.

warehouse thường là những dữ liệu có cấu trúc nên dẫn đến việc đòi hỏi thêm các quy trình xử lý phức tạp và tốn kém Người dùng Phù hợp với những người có nhu Phù hợp với doanh nghiệp và cầu phân tích chuyên sâu như người dùng. những data scientists. Dễ dàng sử dụng và chủ yếu Đa dạng các loại dữ liệu để các được dùng để trả lời các câu nhà phân tích có thể kết hợp và truy vấn do dữ liệu được quản đưa ra các câu hỏi mới để giải lý với cấu trúc chặt chẽ. Bảng 1-1 Bảng so sánh giữa data lake và data warehouse 1.3 Tiền xử lý dữ liệu Theo tác giả của IBM developer, tiền xử lý dữ liệu (pre data processing) bao gồm các bước làm sạch dữ liệu (data cleaning), chuyển đổi dữ liệu (data transformation), rút gọn dữ liệu (data reduction) [5].1 Data cleaning Làm sạch dữ liệu là quá trình loại bỏ hoặc chỉnh sửa các tệp dữ liệu không phù hợp, sai định dạng hoặc bị thiếu thông tin trong tập dữ liệu.

Khi kết hợp các tệp dữ liệu lại với nhau có khả năng dữ liệu bị trùng lặp hoặc sai [6]. Việc đảm bảo dữ liệu được chính xác và toàn vẹn trước khi được đưa vào xử lý là vô cùng quan trọng nhằm đảm bảo kết quả và thuật toán được chính xác. Làm sạch dữ liệu bao gồm các bước: - Loại bỏ các dữ liệu bị trùng lặp hoặc không phù hợp Các dữ liệu bị trùng lặp thường do trong quá trình thu thập dữ liệu và kết hợp các dữ liệu. Khi kết hợp dữ liệu từ nhiều nguồn, đối tượng khác nhau sẽ dễ dẫn đến trùng lặp dữ liệu.

Để xử lý dữ liệu bị trùng lặp trước hết cần quan sát 19 và liệt kê các dữ liệu bị trùng lặp sau đó tiến hành xoá đi các hàng dữ liệu trùng lặp [6]. Các dữ liệu không phù hợp là các dữ liệu không liên quan hoặc không phù hợp với vấn đề đang cần phân tích [6]. VD: Nếu muốn phân tích các hoạt động, sở thích của genz nhưng các tập dữ liệu lại có cả thông tin của những thế hệ lớn hơn thì có thể xoá đi những tập tin của các thế hệ đấy. Điều này góp phần giảm thiểu sự phân tâm và tăng cường hiệu suất trong việc phân tích.

- Sữa lỗi cấu trúc Lỗi cấu trúc thường xảy ra khi nhà phân tích di chuyển tập dữ liệu hoặc khi đo lường thì dữ liệu thường bị thay đổi như quy ước tên lạ, lỗi chính tả, sai kiểu ký tự, viết hoa sai,… Những điều không nhất quán có thể gây ra sai sót trong phân loại danh mục.VD: Tập dữ liệu đếu xuất hiện đồng thời N/A và NAN,nhưng đáng lý thì chúng phải đều ở cùng 1 phân loại. - Lọc dữ liệu ngoại lai Đôi khi trong lúc quan sát tập dữ liệu sẽ xuất hiện các tập dữ liệu không phù hợp với dữ liệu mà nhà phân tích đang phân tích. Nếu dữ liệu khác biệt với các dữ liệu còn lại do sai sót trong lúc nhập liệu thì nhà phân tích hoàn toàn có thể xoá giá trị ngoại lai này đi để tăng chất lượng dữ liệu mà nhà phân tích đang phân tích. Ngược lại nếu dữ liệu đó tồn tại để chứng minh cho lý thuyết mà nhà phân tích đang phân tích thì nhà phân tích nên giữ lại [6].