Tổng quan về giáo trình

Tài liệu học thuật Chương 2: Các vấn đề tiền xử lý dữ liệu thuộc khuôn khổ học phần Khai phá dữ liệu (Data Mining), được biên soạn và giảng dạy tại Khoa Khoa học & Kỹ thuật Máy tính – Trường Đại học Bách Khoa TP. Hồ Chí Minh. Trong chương trình đào tạo chuyên ngành Khoa học Máy tính và Công nghệ Thông tin ở bậc đại học và sau đại học, học phần này giữ vai trò là khối kiến thức chuyên ngành cốt lõi, cung cấp nền tảng xử lý dữ liệu trước khi bước vào các thuật toán phân lớp, gom cụm hay phát hiện tập phổ biến.

Mục tiêu học tập của tài liệu tập trung vào việc trang bị cho người học hiểu biết toàn diện về bản chất của dữ liệu thô (raw/original data) và các kỹ thuật xử lý để nâng cao chất lượng dữ liệu (data quality). Sau khi nghiên cứu nội dung, người học có khả năng nhận diện, phân tích và áp dụng các kỹ thuật tiền xử lý nhằm chuẩn bị tập dữ liệu tối ưu cho quy trình khai phá dữ liệu tổng thể.

Cấu trúc tài liệu được tổ chức theo quy trình kỹ thuật chuẩn xác, đi từ định nghĩa chất lượng dữ liệu, thống kê mô tả, đến các phương pháp xử lý chuyên sâu: làm sạch dữ liệu, tích hợp dữ liệu, biến đổi dữ liệu, thu giảm dữ liệu, rời rạc hóa và tạo phân cấp ý niệm. Điểm đặc sắc của bài giảng là tính hình thức hóa toán học cao, kết hợp định nghĩa tường minh các giải thuật, công thức thống kê và ví dụ minh họa trực tiếp trên các cấu trúc dữ liệu thực tế.

Nội dung kiến thức cốt lõi

                    +------------------------------------------+
                    |    CÁC NGUỒN DỮ LIỆU (Data Sources)      |
                    | (File Processing Systems & Database Sys) |
                    +------------------------------------------+
                                         |
                                         v
               +----------------------------------------------------+
               |           GIAI ĐOẠN TIỀN XỬ LÝ DỮ LIỆU             |
               |  (Làm sạch, Tích hợp, Biến đổi, Thu giảm dữ liệu)  |
               +----------------------------------------------------+
                                         |
                                         v
                    +------------------------------------------+
                    |          KHO DỮ LIỆU (Data Warehouse)    |
                    |              Task-Relevant Data          |
                    +------------------------------------------+
                                         |
                                         v
                    +------------------------------------------+
                    |      KHAI PHÁ DỮ LIỆU (Data Mining)      |
                    +------------------------------------------+
                                         |
                                         v
                    +------------------------------------------+
                    |   ĐÁNH GIÁ MẪU / TRÌNH DIỄN KẾT QUẢ      |
                    |     (Pattern Evaluation / Presentation)  |
                    +------------------------------------------+

Các chương/chủ đề chính

Bài giảng Chương 2 bao gồm 8 phân vùng nội dung chính theo tiến trình logic của quy trình tiền xử lý:

  1. Tổng quan về giai đoạn tiền xử lý dữ liệu: Định nghĩa vai trò của tiền xử lý trong việc chuyển đổi dữ liệu thô (có cấu trúc, bán cấu trúc, phi cấu trúc từ các hệ thống tập tin và cơ sở dữ liệu) thành dữ liệu sẵn sàng cho khai phá. Xác lập 4 tiêu chuẩn chất lượng dữ liệu: tính chính xác (accuracy), tính hiện hành (currency/timeliness), tính toàn vẹn (completeness) và tính nhất quán (consistency).
  2. Tóm tắt mô tả về dữ liệu: Thiết lập các chỉ số thống kê phản ánh xu hướng chính (central tendency) bao gồm Mean, Weighted Arithmetic Mean, Median, Mode, Midrange và các chỉ số đo độ phân tán (dispersion) gồm Quartiles ($Q_1, Q_2, Q_3$), Interquartile Range ($IQR = Q_3 - Q_1$), Variance và bộ 5 giá trị tóm tắt (Minimum, $Q_1$, Median, $Q_3$, Maximum).
  3. Làm sạch dữ liệu (Data Cleaning): Phương pháp xử lý dữ liệu bị thiếu (bỏ qua, xử lý thủ công, điền giá trị thay thế bằng hằng số toàn cục, trung bình toàn cục/cục bộ, giá trị dự đoán); nhận diện phần tử biên (outliers) dựa trên phân bố thống kê, khoảng cách, mật độ, độ lệch; giảm thiểu nhiễu (noisy data) bằng Binning (bin means, bin medians, bin boundaries), hồi quy (regression) và phân tích cụm (cluster analysis); xử lý dữ liệu không nhất quán do xung đột biểu diễn hoặc ràng buộc khóa ngoại.
  4. Tích hợp dữ liệu (Data Integration): Giải quyết vấn đề nhận dạng thực thể (entity identification) ở mức lược đồ và mức thể hiện; phân tích tương quan để loại bỏ dữ liệu dư thừa bằng hệ số tương quan Pearson ($r_{A,B} \in [-1, 1]$) cho biến số và phép kiểm thống kê Chi-Square ($\chi^2$) với bậc tự do $(r-1)(c-1)$ cho biến rời rạc; xử lý mâu thuẫn giá trị dữ liệu do khác biệt về thang đo (scaling) và mã hóa (encoding).
  5. Biến đổi dữ liệu (Data Transformation): Kỹ thuật làm trơn (smoothing), kết hợp (aggregation), tổng quát hóa (generalization), xây dựng đặc trưng mới (attribute/feature construction) và các phương pháp chuẩn hóa dữ liệu (min-max normalization, z-score normalization, decimal scaling).
  6. Thu giảm dữ liệu (Data Reduction): Áp dụng chiến lược kết hợp khối dữ liệu (data cube aggregation), chọn tập con thuộc tính (attribute subset selection), thu giảm chiều (Wavelet Transforms, PCA), và thu giảm lượng theo phương pháp có tham số (hồi quy) hoặc phi tham số (histogram, clustering, sampling).
  7. Rời rạc hóa dữ liệu (Discretization): Phân chia miền giá trị liên tục thành các khoảng (intervals), gán nhãn đại diện theo cấu trúc phân cấp hoặc đa độ phân giải.
  8. Tạo cây phân cấp ý niệm (Concept Hierarchy Generation): Cơ chế ánh xạ dữ liệu mức thấp/nguyên tố lên các khái niệm mức cao nhằm phục vụ tóm lược dữ liệu.

Kiến thức nền tảng được xây dựng

Tài liệu thiết lập hệ thống kiến thức dựa trên các nền tảng toán học và khoa học máy tính:

  • Thống kê toán học và xác suất: Ứng dụng các phân bố thống kê, kiểm định giả thuyết độc lập ($\chi^2$), ước lượng tham số, hiệp phương sai và phân tích tương quan tuyến tính.
  • Đại số tuyến tính: Nền tảng cho các kỹ thuật biến đổi không gian dữ liệu như phân tích thành phần chính (PCA) và biến đổi Wavelet.
  • Lý thuyết cơ sở dữ liệu và kho dữ liệu: Mô hình dữ liệu quan hệ, tích hợp lược đồ, siêu dữ liệu (metadata), toàn vẹn tham chiếu và cấu trúc khối đa chiều (data cubes).

Kỹ năng phát triển

Thông qua nội dung học phần, người học được rèn luyện các kỹ năng kỹ thuật cụ thể:

  • Kỹ năng phân tích chất lượng dữ liệu: Đánh giá độ tin cậy của tập dữ liệu dựa trên các độ đo phân tán và độ đo xu hướng tập trung.
  • Kỹ năng thiết kế đường ống xử lý dữ liệu (Data Pipeline): Lựa chọn và kết hợp các kỹ thuật xử lý dữ liệu thiếu, lọc nhiễu và chuẩn hóa số liệu phù hợp với từng dạng thuộc tính (liên tục hoặc rời rạc).
  • Kỹ năng tối ưu hóa không gian biểu diễn: Giảm thiểu số chiều và kích thước dữ liệu bằng các giải thuật chọn lọc thuộc tính và nén dữ liệu có bảo toàn hoặc chấp nhận mất mát thông tin có kiểm soát (lossless vs lossy reduction).

Phương pháp giảng dạy và học tập

Phương pháp tiếp cận sư phạm của giáo trình được xây dựng trên sự kết hợp giữa định thức lý thuyết và quy trình giải thuật thực nghiệm. Giảng viên trình bày các khái niệm trừu tượng thông qua mô hình toán học rõ ràng, sau đó cụ thể hóa bằng các bài toán xử lý dữ liệu trong hệ thống thực tế.

+-------------------------------------------------------------------------------+
|                            CÁC PHƯƠNG PHÁP CHUẨN HÓA                          |
+-------------------------------------------------------------------------------+
| Min-Max Normalization:                                                        |
|   v' = [ (v - min_A) / (max_A - min_A) ] * (new_max_A - new_min_A) + new_min_A|
+-------------------------------------------------------------------------------+
| Z-Score Normalization:                                                        |
|   v' = (v - Mean_A) / StandardDeviation_A                                    |
+-------------------------------------------------------------------------------+
| Decimal Scaling:                                                              |
|   v' = v / 10^j  (với j là số nguyên nhỏ nhất sao cho Max(|v'|) < 1)         |
+-------------------------------------------------------------------------------+

Trong quá trình học tập, sinh viên thực hiện các bài tập phân tích thống kê mô tả (tính toán Mean, Median, Mode, IQR trên dữ liệu mẫu về đơn giá và số lượng giao dịch) và giải quyết các bài toán xung đột dữ liệu:

  • Tích hợp thực thể: Xử lý khác biệt tên gọi thuộc tính ở mức lược đồ (customer_id thuộc nguồn $S_1$ so với cust_number thuộc nguồn $S_2$) và mức thể hiện (R & D so với Research & Development, Male/Female so với Nam/Nữ).
  • Phát hiện dư thừa: Tính toán hệ số tương quan Pearson cho thuộc tính định lượng và kiểm định Chi-Square cho thuộc tính phân loại.
  • Làm mịn và chuẩn hóa: Áp dụng kỹ thuật phân thùng (binning by means/medians/boundaries), chuẩn hóa Min-Max, Z-Score và Decimal Scaling trên dữ liệu số.

Phương pháp đánh giá kết quả học tập bao gồm: kiểm tra lý thuyết về các nguyên lý tiền xử lý, bài tập tính toán trên các tập dữ liệu nhỏ và các đồ án lập trình tiền xử lý dữ liệu lớn (sử dụng Python/R hoặc các công cụ khai phá dữ liệu). Hướng dẫn tự học yêu cầu sinh viên đọc kỹ tài liệu tham khảo được chỉ định trong bài giảng, đặc biệt là phần Data Cleaning (p.67) và Data Integration and Transformation, kết hợp thực hành kiểm chứng các công thức chuẩn hóa trên máy tính.

Điểm nổi bật và cập nhật

Nội dung bài giảng phản ánh đầy đủ các quy chuẩn học thuật của lĩnh vực Khai phá dữ liệu theo mô hình chuẩn KDD (Knowledge Discovery in Databases):

  • Tính phân loại chặt chẽ: Phân tách rõ ràng giữa các nhóm kỹ thuật có tham số (parametric - như mô hình hồi quy) và phi tham số (nonparametric - như biểu đồ tần số Histogram, phân cụm Clustering, lấy mẫu Sampling).
  • Phân định ranh giới xử lý: Định nghĩa ranh giới kỹ thuật giữa thu giảm dữ liệu bảo toàn (lossless reduction) và thu giảm dữ liệu có mất mát thông tin (lossy reduction), giúp người học đưa ra quyết định đánh đổi (trade-off) phù hợp giữa hiệu năng tính toán và độ chính xác của mô hình.
  • Xử lý toàn diện tính không thuần nhất về ngữ nghĩa (Semantic Heterogeneity): Đi sâu vào giải quyết các mâu thuẫn biểu diễn (representation), thang đo (scaling - ví dụ đơn vị tiền tệ hoặc khối lượng khác nhau) và mã hóa (encoding - ví dụ 1/0 và Yes/No).

Đối tượng sử dụng giáo trình

Tài liệu được thiết kế phục vụ các đối tượng cụ thể trong môi trường đào tạo đại học và nghiên cứu chuyên sâu:

  • Sinh viên đại học và học viên cao học: Dành cho sinh viên từ năm thứ ba trở đi thuộc các ngành Khoa học Máy tính, Kỹ thuật Phần mềm, Hệ thống Thông tin và Khoa học Dữ liệu đang theo học môn Khai phá dữ liệu hoặc Học máy.
  • Yêu cầu kiến thức tiên quyết (Prerequisites): Người học cần nắm vững kiến thức về Hệ quản trị cơ sở dữ liệu, Cấu trúc dữ liệu và Giải thuật, Xác suất thống kê và Đại số tuyến tính căn bản.
  • Giảng viên: Sử dụng làm đề cương bài giảng chuẩn, khung hướng dẫn bài tập trên lớp và định hướng đồ án môn học.
  • Kỹ sư và nhà nghiên cứu: Tài liệu là tài liệu tham khảo hệ thống hóa các bước tiền xử lý trong các dự án phân tích dữ liệu thực tế tại doanh nghiệp.

Câu hỏi thường gặp

1. Giáo trình này phù hợp với ai?

Tài liệu phù hợp cho sinh viên chuyên ngành Công nghệ thông tin, Khoa học máy tính, Khoa học dữ liệu bậc đại học/cao học và các kỹ sư dữ liệu cần nắm vững quy trình xử lý dữ liệu thô.

2. Cần kiến thức nền nào để học?

Người học cần trang bị kiến thức nền tảng về Xác suất Thống kê (phân bố, kỳ vọng, phương sai, kiểm định thống kê), Đại số tuyến tính và Cơ sở dữ liệu quan hệ.

3. Điểm khác biệt của tài liệu so với các tài liệu khác là gì?

Tài liệu cung cấp cấu trúc phân loại kỹ thuật rõ ràng, chi tiết hóa các công thức toán học và giải thuật từ mức lược đồ (schema) đến mức thể hiện (instance), đi kèm các phương pháp xử lý mâu thuẫn ngữ nghĩa cụ thể.

4. Làm sao để tự học hiệu quả nội dung này?

Người học nên kết hợp đọc lý thuyết với việc tự giải lại các bài toán mẫu (tính $IQR$, hệ số Pearson, $\chi^2$, chuẩn hóa Min-Max/Z-Score) và lập trình hiện thực hóa các bước tiền xử lý trên các tập dữ liệu thực nghiệm.

5. Có tài liệu bổ trợ nào kèm theo?

Nội dung bài giảng chỉ định các phần đọc mở rộng bao gồm tài liệu chuyên đề Data Cleaning (trang 67) và Data Integration and Transformation thuộc các giáo trình Khai phá dữ liệu chuẩn mực.

Kết luận

Tài liệu Chương 2: Các vấn đề tiền xử lý dữ liệu của Khoa Khoa học & Kỹ thuật Máy tính – Trường Đại học Bách Khoa TP.HCM là tài liệu học thuật định hình nền tảng kỹ thuật thiết yếu cho toàn bộ quy trình Khai phá dữ liệu. Văn bản cung cấp đầy đủ các cơ sở toán học, phân loại giải thuật và phương pháp luận từ khâu kiểm định chất lượng dữ liệu đến việc tối ưu hóa biểu diễn dữ liệu phục vụ các mô hình phân tích chuyên sâu.