Tổng quan về giáo trình

Tài liệu "Bài giảng Khai phá dữ liệu" (Mã học phần: 17409) là tài liệu giảng dạy chính thức và thống nhất do Bộ môn Hệ thống Thông tin, Khoa Công nghệ Thông tin, Trường Đại học Hàng hải Việt Nam biên soạn và ban hành năm 2011. Học phần có thời lượng 2 tín chỉ (tổng cộng 45 tiết định mức, gồm 30 tiết lý thuyết và 15 tiết thực hành/thảo luận), được thiết kế cho sinh viên hệ đại học chính quy thuộc ngành Công nghệ Thông tin.

Mục tiêu học tập cốt lõi của giáo trình là trang bị cho người học hệ thống tri thức nền tảng về mô hình tổ chức lưu trữ trong kho dữ liệu (Data Warehouse) quy mô lớn, quy trình phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Databases - KDD), và các thuật toán tiền xử lý, khai phá mẫu dữ liệu. Kết thúc học phần, người học có khả năng phân biệt giữa hệ thống xử lý giao dịch trực tuyến (OLTP) với kho dữ liệu phục vụ trợ giúp quyết định (DSS/OLAP), thực hiện các bước chuẩn hóa, làm sạch dữ liệu, và áp dụng các giải thuật khai phá luật kết hợp cũng như mô hình phân lớp.

Giáo trình tiếp cận theo mô hình tuyến tính có cấu trúc chặt chẽ: xuất phát từ nhu cầu quản trị và khai thác dữ liệu lịch sử ở tầng kiến trúc kho dữ liệu, tiến sang phương pháp luận tiền xử lý, và đi sâu vào cơ chế thuật toán khai phá tri thức. Điểm đặc thù của tài liệu là sự kết hợp giữa mô hình hóa hình thức (toán học rời rạc, ma trận nhị phân, giải tích thống kê) với việc đối chiếu trực tiếp trên hệ quản trị cơ sở dữ liệu và công cụ phân tích thương mại (Microsoft Visual Studio 2005, Analysis Services, cơ sở dữ liệu mẫu NorthWind).

Nội dung kiến thức cốt lõi

Các chương/chủ đề chính

Cấu trúc giáo trình phân bổ nội dung qua 5 chương chuyên đề:

  • Chương 1: Tổng quan kho dữ liệu (Data warehouse) (6 tiết - 4 LT, 2 TH): Phân tích các chiến lược xử lý dữ liệu; định nghĩa kho dữ liệu theo John Ladley; xác định 4 đặc tính cơ bản của dữ liệu trong kho: tính tích hợp (integration), tính hướng chủ đề (subject-oriented), tính ổn định (nonvolatility) và tính tổng hợp theo thời gian (time-variant qua các snapshots 5–10 năm); phân biệt sự khác nhau giữa kho dữ liệu và cơ sở dữ liệu tác nghiệp (OLTP).
  • Chương 2: Tổng quan về khai phá dữ liệu (9 tiết - 6 LT, 3 TH): Định nghĩa khai phá dữ liệu thông qua các quan điểm học thuật của Berruzza, Parsaye, và Fayyad; chuẩn hóa quy trình KDD qua 4 giai đoạn; hệ thống hóa 5 nhiệm vụ chính (phân lớp, hồi quy, phân nhóm, mô hình hóa phụ thuộc theo mạng Bayes, phát hiện biến đổi/độ lệch); phân tích cấu trúc giải thuật (biểu diễn mô hình, kiểm định mô hình, tìm kiếm tham số/mô hình); khảo sát các thách thức kỹ thuật như dữ liệu đa chiều, hiện tượng quá phù hợp (overfitting), tri thức biểu diễn đồ họa theo Gaines và ngôn ngữ tự nhiên theo Matheus.
  • Chương 3: Tiền xử lý dữ liệu: Trình bày chi tiết 4 nhiệm vụ: làm sạch dữ liệu (xử lý giá trị thiếu bằng phương pháp thống kê, làm mịn nhiễu bằng phương pháp Binning theo trung vị và biên); tích hợp dữ liệu (đánh giá tương quan qua hệ số tương quan tuyến tính $r_{A,B}$ và kiểm định Chi-square $\chi^2$); biến đổi dữ liệu (chuẩn hóa Min-Max, chuẩn hóa Z-score, chuẩn hóa thập phân Decimal Scaling); thu nhỏ dữ liệu qua khối dữ liệu (cuboid, apex cuboid) và các chiến lược lựa chọn tập thuộc tính con (lựa chọn tăng dần, loại bớt, cây quyết định).
  • Chương 4: Khai phá dựa trên các mẫu phổ biến và luật kết hợp (12 tiết - 8 LT, 4 TH): Thiết lập cơ sở lý thuyết về tập mục phổ biến (frequent itemset), độ hỗ trợ tối thiểu ($minsup$), độ tin cậy tối thiểu ($minconf$); phân loại 7 hướng tiếp cận luật kết hợp (luật nhị phân, định lượng, tập thô, đa mức, mờ, trọng số, khai phá song song); xây dựng mô hình hình thức hệ thông tin nhị phân $S_B = (O, D, B, \rho)$ và triển khai thuật toán Apriori-Tid tối ưu hóa bằng vectơ chỉ báo nhị phân trong bộ nhớ RAM.
  • Chương 5: Phân lớp dữ liệu: Trình bày các khái niệm cơ bản về phân lớp dữ liệu (classification) và thuật toán phân lớp dựa trên cây quyết định (decision tree induction).

Kiến thức nền tảng được xây dựng

Giáo trình cung cấp các khung lý thuyết có tính hệ thống:

  • Lý thuyết quy trình KDD: Phân định ranh giới kỹ thuật giữa các bước thu thập, tiền xử lý, khai phá dữ liệu và diễn giải tri thức.
  • Đại số tập hợp và Logic hình thức: Xây dựng cấu trúc dữ liệu nhị phân thông qua hệ thông tin $S_B$, các ánh xạ chỉ báo $\rho$, tích vectơ nhị phân $v_B(X)$ và tính chất đơn điệu của tập phổ biến ($A \subseteq B \Rightarrow sup(A) \ge sup(B)$).
  • Xác suất và Thống kê ứng dụng: Phương pháp ước lượng độ tin cậy có điều kiện, kiểm định độc lập thống kê $\chi^2$ trên bảng ngẫu nhiên phân loại (contingency table), hệ số tương quan mẫu, và hiệu chỉnh thống kê tránh bẫy overfitting (như hiệu chỉnh Bonferroni, đánh giá chéo cross-validation).

Kỹ năng phát triển

  • Kỹ năng kỹ thuật: Xây dựng và thực hiện quy trình chuẩn hóa số liệu đa biến; tính toán thủ công và tự động các độ đo $minsup$, $minconf$; triển khai ma trận bit biểu diễn giao dịch nhằm tăng tốc độ tính toán tập phổ biến trực tiếp trên bộ nhớ chính; cấu hình môi trường phân tích dữ liệu trên công cụ Microsoft Visual Studio 2005.
  • Kỹ năng phân tích: Năng lực so sánh đối chiếu hiệu năng giữa giải thuật khai phá dữ liệu với các phương pháp truyền thống (thống kê cổ điển, học máy, hệ chuyên gia); nhận diện và xử lý các lỗi dữ liệu thực tế như mất cân bằng thuộc tính, thiếu dữ liệu, dữ liệu nhiễu và bùng nổ không gian tìm kiếm.
  • Kỹ năng thực tiễn: Vận dụng mô hình phân tích giỏ hàng (Market Basket Analysis) trong thương mại bán lẻ, viễn thông, y tế, và phân tích dân số học.

Phương pháp giảng dạy và học tập

Giáo trình được cấu trúc để phục vụ tiến trình đào tạo kết hợp chặt chẽ giữa lý thuyết suy diễn và thực hành tính toán. Phương pháp sư phạm tập trung vào việc mô hình hóa các bài toán nghiệp vụ thành các mô hình dữ liệu toán học trước khi chuyển giao vào thuật toán.

  • Hệ thống bài tập định lượng: Cuối mỗi chương đều tích hợp hệ thống câu hỏi lý thuyết và bài tập tính toán cụ thể. Điển hình gồm: bài tập chuẩn hóa mảng số liệu một chiều $X = {-5..11}$ qua 3 phương pháp (Min-Max, Z-score, Decimal scaling); bài tập phân tích tương quan giữa 2 biến định tính qua bảng khảo sát 1500 mẫu bằng kiểm định $\chi^2$; bài tập làm mịn dữ liệu mảng giá trị bằng kỹ thuật Binning trung vị/biên; bài toán khai phá luật kết hợp trên hệ thông tin nhị phân gồm 4 giao tác ($o_1..o_4$) và 5 mặt hàng ($d_1..d_5$).
  • Thực hành phòng máy: Giáo trình yêu cầu sinh viên thực hiện các bài thực hành kỹ thuật: cài đặt bộ công cụ Microsoft Visual Studio 2005, cấu hình và tìm hiểu dịch vụ phân tích dữ liệu (Data Analysis Services), quan sát và khai thác cấu trúc dữ liệu trên cơ sở dữ liệu mẫu NorthWind.
  • Phương thức đánh giá: Căn cứ theo quy chế đào tạo tín chỉ, điểm tổng kết học phần ($Z$) được tính theo công thức trọng số: $$Z = 0.3X + 0.7Y$$ Trong đó:
    • $X$: Điểm quá trình (đánh giá chuyên cần, tham gia thảo luận, kết quả thực hành và kiểm tra giữa kỳ).
    • $Y$: Điểm thi kết thúc học phần (thi theo hình thức tự luận hoặc trắc nghiệm khách quan).
    • Thang điểm quy đổi: Thang điểm chữ tiêu chuẩn (A, B, C, D, F).
  • Định hướng tự học: Tài liệu yêu cầu người học phải chủ động giải quyết các bài tập chứng minh thuật toán, thực hiện các phép chiếu dữ liệu, cắt tỉa nhánh cây quyết định và tối ưu hóa ma trận chỉ báo trước khi tham gia các buổi thực hành.

Điểm nổi bật và cập nhật

  • Chuẩn hóa theo tài liệu học thuật quốc tế: Giáo trình kế thừa và hệ thống hóa trực tiếp từ các giáo trình chuẩn mực quốc tế về khai phá dữ liệu tại thời điểm biên soạn, bao gồm:
    • Jiawei Han & Micheline Kamber, Data Mining: Concepts and Techniques (2nd edition, Morgan Kaufmann, 2006).
    • Vipin Kumar et al., Introduction to Data Mining (Addison-Wesley, 2006).
    • Paulraj Ponniah, Data Warehousing Fundamentals (John Wiley & Sons).
  • Mở rộng chuyên sâu về lý thuyết luật kết hợp: Khác với các tài liệu nhập môn thông thường chỉ dừng lại ở thuật toán Apriori cơ bản, giáo trình phân loại chi tiết 7 hướng tiếp cận chuyên sâu: luật kết hợp nhị phân, luật với thuộc tính số và hạng mục, luật tiếp cận theo lý thuyết tập thô (rough set), luật kết hợp đa mức (multi-level), luật kết hợp mờ (fuzzy association rules), luật kết hợp có trọng số (weighted items), và giải thuật khai phá song song/phân tán.
  • Cơ chế tối ưu hóa giải thuật trên bộ nhớ RAM: Giáo trình chi tiết hóa thuật toán phát hiện tập chỉ báo phổ biến dựa trên ma trận nhị phân và phép nhân logic vectơ chỉ báo ($v_B(X_1) \otimes_B v_B(X_2)$). Giải pháp này giúp loại bỏ việc đọc/ghi liên tục trên đĩa từ, mô tả trực quan cơ chế tính toán độ hỗ trợ của các tập ứng viên cấp $k$ từ cấp $k-1$.
  • Phân tích so sánh đa chiều: Giáo trình cung cấp các luận điểm phân biệt sự khác nhau về bản chất giữa khai phá dữ liệu với học máy (Machine Learning), hệ chuyên gia (Expert Systems), thống kê học (Statistics) và phương pháp phát kiến khoa học thực nghiệm.

Đối tượng sử dụng giáo trình

  • Sinh viên đại học: Giáo trình được thiết kế chuyên biệt cho sinh viên đại học chính quy ngành Công nghệ Thông tin, Hệ thống Thông tin (thường ở học kỳ 6 hoặc 7). Sinh viên các ngành Khoa học Máy tính, Kỹ thuật Phần mềm có thể sử dụng làm tài liệu học tập các môn xử lý dữ liệu lớn.
  • Yêu cầu điều kiện tiên quyết: Để tiếp thu hiệu quả nội dung giáo trình, người học bắt buộc phải hoàn thành các học phần nền tảng:
    1. Cơ sở dữ liệu (Database Systems).
    2. Cơ sở dữ liệu nâng cao (Advanced Databases).
    3. Hệ quản trị cơ sở dữ liệu (Database Management Systems).
    • Ngoài ra, người học cần có kiến thức căn bản về đại số tuyến tính, lý thuyết tập hợp, ngôn ngữ truy vấn SQL và xác suất thống kê.
  • Giảng viên chuyên ngành: Tài liệu đóng vai trò là khung bài giảng chuẩn để xây dựng đề cương chi tiết, bài giảng điện tử, bài tập lớn và ngân hàng đề thi (tự luận/trắc nghiệm) cho học phần Khai phá dữ liệu.
  • Cán bộ kỹ thuật và nghiên cứu: Kỹ sư dữ liệu, lập trình viên hệ thống có thể sử dụng tài liệu như một tài liệu tham khảo kỹ thuật để hiểu rõ nguyên lý vận hành của các mô hình kho dữ liệu đa chiều và thuật toán trích xuất mẫu dữ liệu.

Câu hỏi thường gặp

1. Giáo trình này phù hợp với đối tượng người học nào?

Tài liệu được biên soạn phục vụ trực tiếp cho sinh viên trình độ đại học chính quy ngành Công nghệ Thông tin và Hệ thống Thông tin đã tích lũy các học phần cơ sở ngành về dữ liệu.

2. Cần chuẩn bị những kiến thức nền tảng nào trước khi học?

Người học cần hoàn thành 3 học phần học trước gồm: Cơ sở dữ liệu, Cơ sở dữ liệu nâng cao và Hệ quản trị CSDL. Đồng thời cần có kỹ năng thao tác với hệ quản trị CSDL quan hệ và kiến thức toán học về ma trận, đại số tập hợp và thống kê cơ bản.

3. Điểm khác biệt về mặt học thuật của giáo trình là gì?

Giáo trình kết nối chặt chẽ giữa thiết kế kiến trúc Kho dữ liệu (DW) với các thuật toán Khai phá dữ liệu (KDD). Phần thuật toán luật kết hợp được toán học hóa chi tiết qua hệ thông tin nhị phân và thao tác bit ma trận, giúp người học nắm vững bản chất tính toán thay vì chỉ tiếp cận ở mức khái niệm.

4. Phương pháp tự học giáo trình như thế nào để đạt hiệu quả cao?

Người học nên bám sát lộ trình từng chương: đọc kỹ định nghĩa và mô hình toán học, tự thực hiện các bước tính toán trên giấy đối với các bài tập ví dụ mẫu (như tính toán bảng $\chi^2$, chuẩn hóa Min-Max, duyệt ma trận Apriori-Tid), sau đó cài đặt thử nghiệm trên máy tính với CSDL NorthWind thông qua Visual Studio 2005.

5. Những tài liệu tham khảo chính yếu nào được giáo trình khuyến nghị?

Tài liệu định hướng người học nghiên cứu 3 giáo trình quốc tế kinh điển: Data Mining: Concepts and Techniques (J. Han & M. Kamber, 2006), Introduction to Data Mining (V. Kumar et al., 2006), và Data Warehousing Fundamentals (Paulraj Ponniah).

Kết luận

"Bài giảng Khai phá dữ liệu" (Mã học phần: 17409) của Khoa Công nghệ Thông tin - Trường Đại học Hàng hải Việt Nam cung cấp hệ thống tri thức hoàn chỉnh từ nền tảng lưu trữ dữ liệu lịch sử trong Kho dữ liệu đến các kỹ thuật tiền xử lý và thuật toán trích xuất mẫu tri thức KDD.

Lộ trình học tập xuyên suốt giáo trình bao gồm:

  1. Thiết lập kiến trúc kho dữ liệu đa chiều và các đặc tính dữ liệu lịch sử.
  2. Thực hiện quy trình làm sạch, tích hợp, chuẩn hóa và thu giảm chiều dữ liệu.
  3. Áp dụng các giải thuật khai phá tập phổ biến, luật kết hợp nhị phân/nâng cao và mô hình phân lớp cây quyết định.
  4. Thực nghiệm kỹ thuật trên các hệ quản trị cơ sở dữ liệu và công cụ phân tích dữ liệu chuyên dụng.

Tài liệu là cơ sở học thuật định hình tư duy xử lý và phân tích dữ liệu có cấu trúc cho sinh viên ngành Công nghệ Thông tin.