Chương 1 Tông quan Sự phát triển nhanh chóng các ứng dụng công nghệ thông tin và internet vào nhiều lĩnh vực đời sống xã hội, quản lý kinh tế, khoa học kỹ thuật,. đã tạo ra nhiều cơ sở dữ liệu khổng lồ. Khai phá dữ liệu là tiến trình khám phá các tri thức tiềm an trong các cơ sở dữ liệu. Cụ thé hơn đó là tiến trình lọc, sản sinh những tri thức hoặc các mẫu tiềm ẩn, chưa biết từ các cơ sở dữ liệu lớn.
Nguồn dữ liệu phục vụ cho Khai thác dữ liệu có thể là các cơ sở dữ liệu lớn hay các kho dữ liệu có hoặc không có cấu trúc. Kho dữ liệu là nơi lưu trữ dữ liệu hướng chủ dé, tích hợp, biến đổi theo thời gian, không gian nhằm hỗ trợ tiến trình ra quyết định. 11 Vấn đề chất lượng dữ liệu Dữ liệu trong thế giới thực thường kém chất lượng đặc biệt là đối với những dữ liệu có kích thước lớn với những vấn đề sau: o — Dữ liệu không day đủ: thiếu các giá trị thuộc tính, thiếu các thuộc tính cần chú ý hoặc chỉ chứa những dữ liệu đã kết hợp. ° Dữ liệu “sai lạc/nhiễu”: với những lỗi và những giá trị nằm bên ngoài vùng khảo sát.
o Dữ liệu không nhất quán: chứa đựng các giá trị không đồng nhất trong code và trong tên. o Dữ liệu trùng lắp.2 Vì sao chất lượng dữ liệu thấp — _ Dữ liệu được thành lập từ những dữ liệu phác thảo nghèo nàn. — Sai sót của con người trong quá trình nhập dữ liệu. — Những lỗi có tính toán.
— Sự mô tả dữ liệu mâu thuẫn và sử dụng mã mâu thuẫn. — Lỗi trong thiết bị mà dữ liệu ghi. Lỗi hệ thống. Những nguồn không thống nhất.
Dữ liệu được sử dụng với mục đích khác với ý định ban đầu. Lỗi do tích hợp dữ liệu.3 Sự cần thiết của tiền xử lý dữ liệu Dữ liệu không chất lượng dẫn đến kết quả khai phá dữ liệu cũng sẽ không chất lượng vì: o Chất lượng của những quyết định phải đặt căn bản trên chất lượng dữ liệu ° Nhà kho đữ liệu cần sự tích hợp nhất quán của dữ liệu có chất lượng Tập dữ liệu thực thường rất lớn, có thể lên đến vài trăm triệu bản ghi, kích thước tập dữ liệu càng lớn thì thời gian và chi phí khai phá càng cao, dé tăng hiệu suất khai phá dữ liệu cần phải thu nhỏ kích thước của tập dữ liệu Định dạng các tập dữ liệu không phù hợp với yêu cầu định dạng của những công cụ khai phá dir liệu, vì vậy cần phải định dạng lại dữ liệu Vi vậy, ta cần xử lý trước dữ liệu dé cải tiến chất lượng dữ liệu cho khai phá dữ liệu cũng như để giảm nhẹ và tăng hiệu quả của quá trình xử lý. Mục tiêu của luận văn này là nghiên cứu các kỹ thuật tiền xử lý dữ liệu bao gôm các vẫn dé sau: Làm sạch dữ liệu: Điền giá trị thiếu, làm phăng những giá trị lỗi, đồng nhất hoặc xóa những dữ liệu bất thường và giải quyết vấn đề mâu thuẫn. Tích hợp dữ liệu : Tích hợp dữ liệu từ nhiều cơ sở dữ liệu, các khối dữ liệu hoặc các tập tin dữ liệu vào trong kho dữ liệu.
Chuyển đổi dữ liệu: Chuẩn hóa và kết tập dữ liệu. Chuẩn hóa dữ liệu có thé cải tiến các thuật toán khai phá một cách đúng đắn và có hiệu quả. Thu gọn dữ liệu: Giảm kích thước dữ liệu bằng cách kết tập, hạn chế những điểm dư thừa, hoặc gom cụm cho những dữ liệu có khoảng cách nhưng vẫn bảo đảm cùng kết quả hoặc là kết quả phân tích giống nhau. Data cleaning Data integration Data transformation 2, 32, 100, 59, 48 —» 0.48 Data reduction attributes attributes AI A2 A3 „A26 Al Ad.
ALIS Tl transcio T2 Tả T4 T2000 Hinh 1.1 Các bước tiền xử lý dữ liệu [7] Những kỹ thuật này không loại trừ lẫn nhau, chúng bồ sung cho nhau, chẳng hạn: Việc loại bỏ dữ liệu thừa có thê xem như làm sạch dữ liệu cũng như giảm bớt dữ liệu. Tóm lại, dữ liệu trong thế giới thực có thể bị nhiễu, không đầy đủ, và mâu thuẫn. Những kỹ thuật tiền xử lý dữ liệu có thể tăng chất lượng dữ liệu, do đó nâng cao sự chính xác và hiệu quả của tiến trình khai phá dữ liệu về sau. Tiền xử lý dữ liệu là một bước quan trọng trong tiến trình khai phá kiến thức, vì chất lượng quyết định phải đặt trên cơ sở chất lượng dữ liệu.
Việc phát hiện những dữ liệu không bình thường, sửa chữa sớm và giảm dữ liệu phân tích có thể dẫn tiết kiệm một khoản chỉ phí to lớn cho việc ra quyết định. 2 Chương 2 Lam sạch dữ liệu 2.1 Khái niệm Lam sạch dt liệu là quá trình xác định những dữ liệu không đúng, thiếu hoặc không phù hợp và nâng cao chất lượng của dữ liệu thông qua việc sửa chữa, xóa đi những lỗi và b6 sung những thiếu sót. Quá trình này bao gồm kiểm tra định dạng, kiêm tra sự đầy đủ, kiểm tra tính hợp lý, kiểm tra giới han, xem lại dữ liệu để nhận ra những giá trị ở bất thường (địa lý, thống kế, thời gian, môi trường.) hoặc những lỗi khác và đánh giá dữ liệu theo các chủ đề chuyên biệt.2 Quá trình làm sạch dữ liệu 2.1 Tìm kiếm và nhận dạng lỗi 2.1 Kiểm tra dữ liệu thiếu o Kiểm tra tat ca các dữ liệu bang tay: kết quả chính xác nhưng không khả thi với những dữ liệu lớn o _ Sử dụng bat kỳ sự hiểu biết nào ta có đã có đối với tính chất của dit liệu. Ví dụ: = Pham vi và kiểu của mỗi thuộc tính là gì?.
Những giá tri nào cho các thuộc tính được chấp nhận? = Có phải tất cả giá trị đều rơi vào vùng chờ đợi không? “Có bất kỳ sự phụ thuộc nào đã biết giữa các thuộc tính không? o _ Sắp xếp dit liệu theo tần số xuất hiện. Phương pháp này làm việc tốt với những dữ liệu rõ ràng. © Sw dụng những ràng buộc. o Sử dụng các phương pháp thống kê.2 Kiểm tra những dữ liệu bất thường: — _ Sử dụng ràng buộc dé nắm bắt dữ liệu bat thường.
= Ràng buộc khóa ngoại là rất tốt néu dữ liệu được liệt kê trước. 10 =» Rang buộc sô : ví dụ sô lượng là sô không âm, thời gian hoặc ngày tháng trong các khoảng xác định. — _ Sử dụng những kỹ thuật thống kê dé phát hiện dữ liệu sai lạc. = Kiểm tra những giá trị bất thường: ví dụ: người không thé cao 3m.
= Kiém tra các giá trị có liên quan đến bat thường: Số tuổi đi nghĩa vụ quân sự >=18.3 Xác định những dữ liệu trùng lắp Đây là loại lỗi dữ liệu hơi khó phát hiện. Chúng chỉ có thé được phát hiện và tinh chỉnh nhiều lần (có thể sử dụng kỹ thuật khoảng cách ngắn nhất).2 Sửa chữa lỗi: Sửa chữa các lỗi đã nhận dạng: — __ Đối với các thuộc tính thiếu giá trị cần điền đầy giá trị thiếu. — __ Đối với các dữ liệu có giá trị bị nhận định là giá trị nhiễu hay giá trị bất thường, cần sửa chữa các giá trị bị sai lệch. — _ Đối với dữ liệu trùng lắp: Xóa và hạn chế các thông tin trùng lắp.
— _ Sử dụng các phương pháp làm sạch dé sửa chữa các lỗi. Các phương pháp làm sạch [1],[3],[4],[6],[21],[22],[23],[33],[34],[36] 2.1 Điền day giá trị thiếu Có nhiều lý do cho việc có những lỗ hồng trong các tập dữ liệu. Ban đầu các tập di liệu được hình thành từ việc tích hợp các bộ phận khác nhau mà có thể có một số thuộc tính chung nhưng cũng có một số là riêng. Ví dụ, không phải mọi phụ huynh học sinh đều có một số điện thoại dé liên lạc.
Một lý do khác, khi dữ liệu giống nhau được tập hợp từ các nguồn khác nhau (ví dụ việc bán hàng từ những chi nhánh khác nhau của những cửa hiệu bán lẻ), có nơi không gởi dữ liệu vào lúc biên soạn tích hợp dữ liệu, hoặc một số cột thuộc tính (ví dụ: số điện thoại khách hàng) 11 không được người bán hàng nhập vào. Cũng có nhiều lý do liên quan đến hệ thống và việc xử lý.1 Điền đầy giá trị thiếu bằng cách thủ công: Tính toán, xem xét lại tập giá trị và điền giá trị thích hợp vào. Phương pháp này cho kết quả tính toán cao, nhưng chỉ áp dụng cho những tập dữ liệu nhỏ với những ít thuộc tính bị thiếu.2 Bó qua những dòng thiếu Đây là phương pháp dễ dàng nhưng kém hiệu quả, chỉ nên sử dụng sau cùng khi dòng chứa nhiều thuộc tính bị thiếu. Sử dụng những hang số chung để điền day giá trị thiếu + Thay thế những giá trị thuộc tính thiếu với cùng một giá trị như là một nhãn “không biết” hay -e.
Nếu giá trị thiếu được thay thé bang “không biết” thì chương trình khai phá dữ liệu có thể nghĩ sai rằng chúng thành lập một khái niệm mới bởi vì tất cả đều có một giá trị chung “không biết”. Vì lý do đó, mặc dù phương pháp này đơn giản nhung nó không đáng tin cậy. + Sử dụng giá trị thuộc tính trung bình dé điền vào giá trị thiếu. Ví dụ, giả sử tiền lương bình quân của công nhân trong một xí nghiệp là 900.
Sử dụng giá trị này dé thay thé giá trị thiếu cho tiền lương. + Sử dụng giá trị trung bình cho tất cả các mẫu thuộc về cùng một lớp như bộ dữ liệu đã cho. Ví dụ nếu việc phân lớp khách hàng theo nghề nghiệp, thay thế giá trị thiếu với tiền lương trung bình cho những khách hàng cùng có nghề nghiệp giống nhau.4 Sử dụng giá trị dự đoán có kha năng nhất dé điền đầy giá trị thiêu. Phương pháp sử dụng hăng số chung để điền đầy giá trị thiếu đơn giản nhưng van đề chất lượng dữ liệu nảy sinh khi những giá trị giống nhau được sử 12 dụng dé đại diện cho những giá trị bị thiếu.
That ra những hóa đơn có giá trị thật là 0 khác với những hóa đơn thiếu giá trị và giá trị thiếu được gán là 0. Sử dụng giá trị dự đoán có khả năng nhất dé điền day giá trị thiếu là quá trình suy đoán giá trị thiếu dựa vào các giá tri đã cho. Dựa theo sự phân bố các giá trị đã biết: Dựa theo các giá trị không thiếu và vẽ từ sự phân bố mỗi lần chúng ta bắt gặp giá trị thiếu. Ví dụ: dãy 1,2,3,1,3,1,,, ,l có 3 giá trị thiếu.
Các giá trị thiếu dựa vào sự phân bồ là P(1) = 3, P(2) =1, P(3) = 3.