Giáo trình khai phá dữ liệu - Trường Đại học Công nghiệp Hà Nội - Trần Hùng Cường, Trần Thanh Hùng

Giáo trình khai phá dữ liệu của Đại học Công nghiệp Hà Nội cung cấp kiến thức nền tảng về luật kết hợp, phân lớp, gom cụm và thực hành với Weka, SQL Server.

• Tác giả: Trần Hùng Cường
• Trường học: Trường Đại học Công nghiệp Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Khai phá dữ liệu
• Loại tài liệu: Giáo trình
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về khai phá dữ liệu tại Đại học Công nghiệp Hà Nội

Khai phá dữ liệu là lĩnh vực khoa học máy tính phát triển mạnh trong thời đại bùng nổ thông tin. Giáo trình "Khai Phá Dữ Liệu" do Trường Đại học Công nghiệp Hà Nội xuất bản năm 2017 là tài liệu học thuật chuẩn mực. Chủ biên gồm hai tác giả: Trần Hùng Cường và Trần Thanh Hùng. Nhà xuất bản Thống Kê chịu trách nhiệm phát hành. Giáo trình được thiết kế cho sinh viên ngành Công nghệ Thông tin và các ngành liên quan. Nội dung bao gồm 5 chương, trải từ lý thuyết nền tảng đến ứng dụng thực tiễn. Sự bùng nổ dữ liệu trong môi trường kinh tế - xã hội đặt ra nhu cầu cấp thiết về kỹ thuật khai thác thông tin. Các phương pháp quản trị cơ sở dữ liệu truyền thống không còn đủ năng lực xử lý khối lượng dữ liệu khổng lồ hiện nay. Khai phá dữ liệu ra đời để lấp đầy khoảng trống này. Kỹ thuật phát hiện tri thức trong cơ sở dữ liệu trở thành xu hướng tất yếu. Giáo trình giúp người học làm quen từng bước, tiến tới triển khai ứng dụng thực tế. Đây là tài liệu tham khảo quan trọng cho giảng viên và sinh viên Khoa Công nghệ Thông tin.

1.1. Bối cảnh ra đời và mục tiêu của giáo trình khai phá dữ liệu

Sự phát triển mạnh mẽ của công nghệ thông tin kéo theo lượng dữ liệu thu thập và lưu trữ ngày càng lớn. Môi trường cạnh tranh kinh tế đòi hỏi thông tin có độ tin cậy cao để hỗ trợ ra quyết định. Các phương pháp truyền thống không đủ khả năng đáp ứng thách thức mới. Giáo trình này được biên soạn nhằm trang bị kiến thức nền tảng về khai phá dữ liệu. Mục tiêu là giúp người học hiểu bản chất, nắm vững kỹ thuật và áp dụng được vào thực tế. Khoa Công nghệ Thông tin - Trường Đại học Công nghiệp Hà Nội là đơn vị chủ trì biên soạn tài liệu này.

1.2. Cấu trúc 5 chương của giáo trình khai phá dữ liệu

Chương 1 cung cấp tổng quan về khai phá dữ liệu và các kỹ thuật cơ bản. Chương 2 giới thiệu kỹ thuật luật kết hợp, khám phá mối quan hệ giữa các tập mục trong cơ sở dữ liệu giao dịch. Chương 3 đề cập kỹ thuật phân lớp dựa trên cây quyết định, xác suất và mạng nơron nhân tạo. Chương 4 trình bày kỹ thuật gom cụm với các thuật toán K-means và thuật toán gộp. Chương 5 giới thiệu phần mềm ứng dụng như Weka và Microsoft SQL Server, đồng thời hướng dẫn cài đặt thuật toán bằng ngôn ngữ C.

II. Phân tích các kỹ thuật cốt lõi trong khai phá dữ liệu

Khai phá dữ liệu sử dụng nhiều kỹ thuật khác nhau để trích xuất tri thức từ dữ liệu thô. Mỗi kỹ thuật phục vụ một mục đích cụ thể và phù hợp với từng loại bài toán. Luật kết hợp là kỹ thuật đầu tiên được đề cập trong giáo trình. Kỹ thuật này tìm kiếm mối quan hệ giữa các tập mục trong cơ sở dữ liệu giao dịch. Giải thuật Apriori là công cụ nổi bật nhất trong nhóm này. Thuật toán hoạt động qua hai pha: pha tìm tập phổ biến và pha sinh luật kết hợp mạnh. Độ hỗ trợ và độ tin cậy là hai thước đo cơ bản để đánh giá chất lượng luật. Kỹ thuật phân lớp giúp gán nhãn cho đối tượng chưa được phân loại. Cây quyết định, mô hình xác suất Bayes và mạng nơron nhân tạo đều được ứng dụng cho phân lớp. Thuật toán ID3 do J. Ross Quinlan phát triển là nền tảng cho các phương pháp phân lớp dựa trên cây quyết định. Gom cụm nhóm các đối tượng tương đồng lại dựa trên tiêu chuẩn đo lường sự giống nhau. Mỗi kỹ thuật có ưu điểm riêng biệt và phù hợp với từng bài toán thực tế khác nhau.

2.1. Giải thuật Apriori và nguyên lý tập phổ biến trong luật kết hợp

Giải thuật Apriori hoạt động qua hai pha rõ ràng. Pha 1 tìm tất cả các tập phổ biến có số lần xuất hiện lớn hơn giá trị ngưỡng mincount. Pha 2 sinh luật kết hợp mạnh từ mỗi tập phổ biến tìm được. Tập phổ biến L được tách thành hai tập con không giao nhau X và Y. Luật X suy ra Y được chấp nhận khi độ tin cậy vượt ngưỡng minsup. Hai tính chất quan trọng giúp rút gọn không gian tìm kiếm: tập con của tập phổ biến cũng là phổ biến, và tập cha của tập không phổ biến cũng không phổ biến. Điều này giảm đáng kể chi phí tính toán.

2.2. Thuật toán ID3 và kỹ thuật xây dựng cây quyết định

Thuật toán ID3 được J. Ross Quinlan phát triển tại Đại học Sydney năm 1975, dựa trên thuật giải CLS. Đây là thuật giải học có giám sát, tạo cây quyết định từ tập dữ liệu huấn luyện có sẵn. Cây kết quả phân lớp cho mẫu mới chưa được gán nhãn. Thuộc tính được chọn tại mỗi nút là thuộc tính có độ lợi thông tin lớn nhất. Thuật toán triển khai chiến lược phân tích từ trên xuống. Entropy đo mức độ hỗn loạn của tập dữ liệu. Giá trị Entropy càng nhỏ, phân hoạch càng thuần nhất và cây quyết định càng hiệu quả.

III. Phương pháp gom cụm và ứng dụng phần mềm khai phá dữ liệu

Gom cụm là kỹ thuật phân nhóm đối tượng không cần dữ liệu được gán nhãn trước. Đây là phương pháp học không giám sát, phù hợp khi chưa biết cấu trúc dữ liệu. Các đối tượng trong cùng nhóm có mức độ tương đồng cao. Các đối tượng khác nhóm có sự khác biệt rõ ràng. Hai nhóm phương pháp chính được trình bày trong giáo trình. Phương pháp dựa trên phân hoạch chia tập dữ liệu thành K nhóm rời nhau. Thuật toán K-means là đại diện tiêu biểu, lặp đi lặp lại việc gán điểm vào tâm cụm gần nhất. Phương pháp phân cấp xây dựng cây phân cụm bằng cách hợp nhất hoặc tách các nhóm. Thuật toán gộp theo chiến lược từ dưới lên là ví dụ điển hình. Bên cạnh lý thuyết, phần mềm thực hành đóng vai trò quan trọng. Weka là công cụ mã nguồn mở phổ biến hỗ trợ nhiều thuật toán khai phá dữ liệu. Microsoft SQL Server Analysis Services tích hợp sẵn công cụ khai phá dữ liệu cho môi trường doanh nghiệp. Ngôn ngữ lập trình C được dùng để cài đặt thuật toán tùy chỉnh theo yêu cầu riêng.

3.1. Thuật toán K means và phương pháp gom cụm dựa trên phân hoạch

Thuật toán K-means phân chia tập dữ liệu thành K cụm định trước. Bước đầu tiên chọn ngẫu nhiên K điểm làm tâm cụm ban đầu. Mỗi điểm dữ liệu được gán vào cụm có tâm gần nhất theo khoảng cách Euclidean. Sau đó tâm cụm được tính lại bằng trung bình các điểm trong cụm. Quá trình lặp cho đến khi tâm cụm không thay đổi đáng kể. Kết quả phụ thuộc vào giá trị K và điểm khởi đầu. Phương pháp này hiệu quả với dữ liệu dạng số và cụm có dạng cầu. Nhược điểm là nhạy cảm với điểm ngoại lệ và cần xác định K trước.

3.2. Ứng dụng phần mềm Weka và SQL Server trong thực hành khai phá dữ liệu

Weka là phần mềm mã nguồn mở do Đại học Waikato phát triển, tích hợp hàng trăm thuật toán khai phá dữ liệu. Giao diện đồ họa thân thiện giúp sinh viên tiếp cận dễ dàng mà không cần lập trình phức tạp. Microsoft SQL Server Analysis Services cung cấp môi trường khai phá dữ liệu chuyên nghiệp cho doanh nghiệp. Giáo trình hướng dẫn sử dụng ngôn ngữ C để cài đặt các thuật toán tùy chỉnh. Việc kết hợp lý thuyết với công cụ thực hành giúp người học nhanh chóng đưa kiến thức vào ứng dụng thực tế. Đây là điểm mạnh nổi bật của giáo trình so với các tài liệu thuần lý thuyết.

IV. Kết luận và ứng dụng thực tiễn của khai phá dữ liệu hiện đại

Khai phá dữ liệu đã trở thành công nghệ then chốt trong thời đại dữ liệu lớn. Tri thức tiềm ẩn trong kho dữ liệu khổng lồ có thể được khai thác hiệu quả nhờ các kỹ thuật học trong giáo trình. Lĩnh vực tài chính - ngân hàng sử dụng khai phá dữ liệu để phát hiện gian lận và đánh giá rủi ro tín dụng. Y tế ứng dụng kỹ thuật này để chẩn đoán bệnh và dự báo kết quả điều trị. Bán lẻ khai thác luật kết hợp để phân tích hành vi mua sắm và thiết kế chương trình khuyến mại. Giáo dục sử dụng phân lớp để cá nhân hóa lộ trình học tập. An ninh mạng dùng phát hiện bất thường để nhận diện tấn công. Giáo trình của Trường Đại học Công nghiệp Hà Nội xây dựng nền tảng vững chắc cho người học tiếp cận các ứng dụng này. Từ lý thuyết đến thực hành với Weka và SQL Server, sinh viên có đủ công cụ để giải quyết bài toán khai phá dữ liệu thực tế. Đây là điểm xuất phát quan trọng trước khi tiếp cận các kỹ thuật nâng cao như học sâu và khai phá dữ liệu phi cấu trúc.

4.1. Ứng dụng luật kết hợp và phân lớp trong các bài toán kinh doanh thực tế

Luật kết hợp tìm ra mẫu mua hàng phổ biến, ví dụ khách mua bánh mì thường mua bơ cùng lúc. Siêu thị dùng kết quả này để sắp xếp hàng hóa và thiết kế chương trình khuyến mại hiệu quả. Phân lớp dự báo khả năng khách hàng rời bỏ dịch vụ dựa trên hành vi sử dụng. Ngân hàng áp dụng phân lớp để phê duyệt hoặc từ chối hồ sơ vay vốn. Cây quyết định và mạng nơron nhân tạo được kết hợp để tăng độ chính xác dự báo. Các ứng dụng này trực tiếp tạo ra giá trị kinh doanh đo lường được cho tổ chức.

4.2. Triển vọng phát triển khai phá dữ liệu và định hướng nghiên cứu tiếp theo

Khai phá dữ liệu đang hội tụ với trí tuệ nhân tạo và học máy để tạo ra các hệ thống thông minh thế hệ mới. Dữ liệu phi cấu trúc như văn bản, hình ảnh và âm thanh mở ra hướng nghiên cứu khai phá dữ liệu đa phương thức. Khai phá dữ liệu theo thời gian thực trên luồng dữ liệu là thách thức công nghệ lớn tiếp theo. Bảo mật và quyền riêng tư trong khai phá dữ liệu ngày càng được chú trọng. Sinh viên nắm vững giáo trình này có nền tảng vững chắc để tiếp tục nghiên cứu các kỹ thuật nâng cao như học sâu, học tăng cường và khai phá đồ thị.

Nội dung chính

Tổng quan về giáo trình

Giáo trình Khai phá dữ liệu do Trần Hùng Cường và Trần Thanh Hùng đồng chủ biên, với sự tham gia đóng góp chuyên môn của TS. Nguyễn Mạnh Cường cùng tập thể giảng viên Khoa Công nghệ Thông tin – Trường Đại học Công nghiệp Hà Nội, được Nhà xuất bản Thống kê ấn hành năm 2017.

Trong chương trình đào tạo bậc đại học và sau đại học ngành Công nghệ Thông tin, Khoa học Máy tính và Hệ thống Thông tin, môn học Khai phá dữ liệu giữ vị trí chuyên ngành cốt lõi thuộc khối kiến thức xử lý, phân tích dữ liệu và trí tuệ nhân tạo. Môn học giải quyết bài toán khai thác tri thức tiềm ẩn từ các kho dữ liệu quy mô lớn mà hệ quản trị cơ sở dữ liệu truyền thống không đáp ứng được.

Mục tiêu học tập của giáo trình tập trung vào việc cung cấp cho người học hiểu biết toàn diện về tiến trình phát hiện tri thức từ cơ sở dữ liệu (Knowledge Discovery from Databases - KDD). Sinh viên nắm vững cơ sở toán học và cơ chế vận hành của các thuật toán phân tích mẫu; rèn luyện năng lực triển khai các mô hình mô tả, dự báo và hỗ trợ ra quyết định; đồng thời làm chủ các công cụ chuyên dụng và ngôn ngữ lập trình để giải quyết các bài toán dữ liệu thực tế.

Cấu trúc giáo trình gồm 5 chương được tổ chức theo quy trình sư phạm tuyến tính: bắt đầu từ bức tranh tổng quan KDD, đi sâu vào ba kỹ thuật khai phá nền tảng (luật kết hợp, phân lớp, gom cụm) và kết thúc bằng việc hướng dẫn thực nghiệm trên các phần mềm chuyên dụng (Weka, Microsoft SQL Server) và ngôn ngữ C#.

Điểm đặc sắc của tài liệu là phương pháp tiếp cận định lượng chặt chẽ. Mỗi giải thuật không chỉ dừng lại ở mô tả khái niệm mà được làm rõ qua mô hình toán học, mã giải thuật, chứng minh tính chất rút gọn và minh họa từng bước lặp thông qua các bộ dữ liệu giao dịch mẫu.

---

Nội dung kiến thức cốt lõi

Các chương/chủ đề chính

Cấu trúc nội dung giáo trình được triển khai qua 5 chương chuyên đề:

• Chương 1: Tổng quan về khai phá dữ liệu: Định vị bối cảnh bùng nổ thông tin điện tử dựa trên số liệu thực tế tại Amazon (250 triệu sách, 55 triệu người dùng), Google (90 triệu lượt tìm kiếm/ngày), YouTube (dung lượng tăng gấp đôi sau 5 tháng). Chương này phân tích chi tiết quy trình 6 bước của KDD: Gom dữ liệu (Gathering), Chọn lọc (Selection), Tiền xử lý và làm sạch (Cleaning/Pre-processing), Chuyển đổi (Transformation), Khai phá dữ liệu (Data Mining) và Đánh giá kết quả (Evaluation). Đồng thời, chương giới thiệu các nhóm kỹ thuật chính (luật kết hợp, chuỗi thời gian, phân lớp, hồi quy, gom cụm, tóm tắt khái niệm) và hệ thống hóa các thách thức nghiên cứu mở.
• Chương 2: Khai phá luật kết hợp: Khảo sát bài toán tìm mối ràng buộc giữa các tập mục trong cơ sở dữ liệu giao dịch $D$. Định nghĩa hình thức về độ hỗ trợ $Sup(X \rightarrow Y) = P(X \cup Y)$ và độ tin cậy $Conf(X \rightarrow Y) = P(Y|X)$. Phân tích 3 tính chất rút gọn không gian tìm kiếm, trình bày chi tiết thuật toán Apriori với hai thủ tục Apriori_gen và has_infrequent_subset. Tiếp đó, chương giới thiệu thuật toán FP-growth nén dữ liệu vào cấu trúc cây FP-tree, khai thác mẫu qua cơ sở mẫu có điều kiện (conditional pattern base) và kỹ thuật sinh luật mạnh từ tập phổ biến.
• Chương 3: Kỹ thuật phân lớp: Trình bày quy trình phân lớp gồm giai đoạn học (huấn luyện mô hình) và giai đoạn kiểm thử trên tập dữ liệu độc lập. Đi sâu vào mô hình cây quyết định (Decision Tree), xây dựng công thức tính Entropy và độ lợi thông tin (Information Gain) cho thuật toán ID3 của J. Ross Quinlan. Phân tích mô hình xác suất Naive Bayes dựa trên giả định độc lập có điều kiện, và mô hình mạng nơ-ron nhân tạo với kiến trúc Perceptron cùng thuật toán cập nhật trọng số.
• Chương 4: Kỹ thuật gom cụm: Khảo sát bài toán học không giám sát nhằm tối đa hóa độ tương tự nội cụm và tối thiểu hóa độ tương tự liên cụm. Trình bày các độ đo khoảng cách (Euclid, Manhattan, Minkowski). Đi sâu vào hai nhóm phương pháp: gom cụm phân hoạch với thuật toán K-means và gom cụm phân cấp với thuật toán gộp (agglomerative hierarchical clustering) thông qua các khoảng cách đơn, khoảng cách đầy đủ và khoảng cách trung bình.
• Chương 5: Một số phần mềm khai phá dữ liệu: Cung cấp hướng dẫn kỹ thuật trên phần mềm Weka (giao diện Explorer, định dạng file ARFF, thực hành Apriori, phân lớp J48/Naive Bayes); cấu hình khai phá dữ liệu với Microsoft SQL Server Analysis Services; và phương pháp lập trình cài đặt thuật toán bằng ngôn ngữ C#.

Progression logic của giáo trình đi từ tầng kiến trúc quy trình tổng quát (Chương 1) đến các mô hình toán học cụ thể (Chương 2, 3, 4) và chuyển giao sang tầng ứng dụng công nghệ thực thi (Chương 5).

Kiến thức nền tảng được xây dựng

Giáo trình xây dựng hệ thống lý thuyết dựa trên ba trụ cột:

1. Lý thuyết toán học và thống kê: Tích hợp giải tích xác suất có điều kiện (trong đánh giá độ tin cậy và bộ phân lớp Bayes), lý thuyết thông tin Shannon (độ đo Entropy $Entropy(S) = - \sum p_i \log_2 p_i$ và độ lợi thông tin $Gain(S, A) = Entropy(S) - Info(S, A)$), cùng đại số tuyến tính trong tối ưu hóa hàm truyền mạng Perceptron.
2. Nguyên lý thuật toán học máy: Xác lập nguyên lý Apriori (mọi tập con của tập phổ biến đều là tập phổ biến, tập cha của tập không phổ biến chắc chắn không phổ biến), chiến lược phân chia để trị (divide-and-conquer) trên cấu trúc cây tiền tố FP-tree, và chiến lược xây dựng cây quy nạp từ trên xuống (Top-Down induction).
3. Khung xử lý KDD chuẩn: Định hình tư duy xử lý dữ liệu qua các tầng làm sạch, tích hợp, làm giảm số chiều, mã hóa định danh và biểu diễn tri thức dưới dạng luật hoặc cây.

Kỹ năng phát triển

Thông qua nội dung giảng dạy, người học hoàn thiện các nhóm năng lực:

• Kỹ năng kỹ thuật (Technical skills): Năng lực lập trình thuật toán khai phá dữ liệu bằng C#; khả năng thao tác trên phần mềm Weka để tiền xử lý file ARFF, phân lớp và khai thác tập phổ biến; kỹ năng cấu hình dịch vụ Data Mining trong Microsoft SQL Server.
• Kỹ năng phân tích (Analytical skills): Khả năng tính toán thủ công độ hỗ trợ, độ tin cậy, ngưỡng $mincount = \lceil minsup \times |D| \rceil$, giá trị Entropy; đánh giá độ phức tạp tính toán và chi phí bộ nhớ của giải thuật duyệt dữ liệu.
• Năng lực ứng dụng thực tế (Practical competencies): Chuyển đổi các bài toán nghiệp vụ (phân tích giỏ hàng siêu thị, thẩm định rủi ro tín dụng ngân hàng, phân loại văn bản, nghiên cứu y sinh học) thành bài toán kỹ thuật tương ứng.

---

Phương pháp giảng dạy và học tập

Giáo trình áp dụng cách tiếp cận sư phạm diễn dịch kết hợp quy nạp trực quan. Mỗi chủ đề lý thuyết phức tạp đều được cụ thể hóa bằng các bảng dữ liệu số học với số lượng giao dịch và thuộc tính xác định, giúp người học theo dõi trực quan diễn biến của thuật toán qua từng bước lặp.

Hệ thống bài tập và nghiên cứu trường hợp (case studies) được bố trí tương thích với nội dung từng chương:

• Chương 1 cung cấp câu hỏi trắc nghiệm và câu hỏi tự luận nhằm chuẩn hóa khái niệm: phân biệt khai phá dữ liệu với truy vấn cơ sở dữ liệu tác nghiệp, vai trò của tri thức nền (background knowledge), và mô tả các phân nhánh ứng dụng.
• Chương 2 đưa ra bài toán thực tế về hành vi tiêu dùng "giỏ hàng siêu thị" thông qua bảng dữ liệu giao dịch mẫu (với các mục A, B, C, D, E), hướng dẫn chi tiết quy trình kết nối (join) và tỉa (prune) của Apriori, cũng như xây dựng cây FP-tree và đường đi tiền tố.
• Chương 3 sử dụng case study về bài toán dự báo mức độ rủi ro bảo hiểm xe hơi (bảng dữ liệu chứa các thuộc tính Tuổi, Loại xe, Mức độ rủi ro) và bài toán xếp hạng tín dụng khách hàng (Tuổi, Thu nhập, Nhãn lớp) để mô phỏng thuật toán ID3 và phân lớp Naive Bayes.

Các bài tập thực hành yêu cầu sinh viên tự lập trình cài đặt giải thuật Apriori và FP-growth với tham số $minsup$ và $minconf$ nhập trực tiếp từ bàn phím, đồng thời sử dụng các tập dữ liệu thực tế để chạy thử nghiệm trên Weka và SQL Server.

Phương pháp đánh giá kết quả học tập được thiết kế đa chiều: đánh giá kiến thức lý thuyết thông qua trả lời câu hỏi trắc nghiệm/tự luận cuối chương; đánh giá tư duy giải thuật thông qua các bài tập giải tay từng bước lặp; và đánh giá kỹ năng thực hành thông qua sản phẩm mã nguồn lập trình cùng báo cáo phân tích dữ liệu trên công cụ Weka.

Để tự học hiệu quả, người đọc được hướng dẫn tái hiện lại các phép tính độ hỗ trợ, độ tin cậy và độ lợi thông tin trên giấy theo đúng ví dụ mẫu của giáo trình trước khi chuyển giao thuật toán sang dạng mã nguồn C# hoặc vận hành trên giao diện Weka Explorer.

---

Điểm nổi bật và cập nhật

Giáo trình được biên soạn và xuất bản năm 2017 bởi Nhà xuất bản Thống kê, đóng vai trò là tài liệu học tập chính thức cho hệ thống đào tạo ngành Công nghệ Thông tin tại Trường Đại học Công nghiệp Hà Nội.

Nội dung giáo trình phản ánh các xu hướng công nghệ dữ liệu hiện đại thông qua việc phân tích bối cảnh dữ liệu lớn tại các nền tảng công nghệ toàn cầu:

• Mô tả quy mô cơ sở dữ liệu của Amazon (250 triệu sách), công cụ tìm kiếm Google (90 triệu lượt tìm kiếm mỗi ngày), Thư viện Quốc hội Mỹ (125 triệu mục), và tốc độ nhân đôi dữ liệu sau 5 tháng của YouTube.
• Tổng hợp 11 hướng nghiên cứu và thách thức mở của lĩnh vực khai phá dữ liệu: xây dựng lý thuyết thống nhất (Developing a Unifying Theory), mở rộng xử lý dữ liệu nhiều chiều và dòng dữ liệu tốc độ cao (Data Streams), khai phá dữ liệu tuần tự và chuỗi thời gian, trích xuất tri thức phức hợp dạng đồ thị, khai phá mạng xã hội (Network setting), khai phá dữ liệu phân tán và hệ đa tác tử (Multi-Agent), xử lý dữ liệu sinh học phân tử (chuỗi DNA, điều chế vaccine HIV), tự động hóa quy trình KDD, an ninh bảo mật dữ liệu, và xử lý dữ liệu bất cân bằng gắn với chi phí (Cost-Sensitive Data).

Về mặt ứng dụng thực tiễn, giáo trình liên kết trực tiếp với các bài toán công nghiệp:

• Lĩnh vực tài chính - ngân hàng: Xây dựng mô hình thẩm định rủi ro tín dụng, phân tích thị trường chứng khoán.
• Thương mại điện tử: Nhận diện hành vi duyệt web và đề xuất sản phẩm dựa trên mẫu giao dịch mua sắm.
• Y học và chăm sóc sức khỏe: Phân tích mối liên hệ triệu chứng - bệnh lý và hỗ trợ phác đồ điều trị.
• Viễn thông, giáo dục, thể thao và thiên văn học.

Sự kết nối công nghiệp được củng cố bằng việc đưa hệ quản trị cơ sở dữ liệu doanh nghiệp Microsoft SQL Server (Analysis Services - SSAS) vào giảng dạy thực hành, kết hợp cùng môi trường phân tích học máy Weka và ngôn ngữ C#.

---

Đối tượng sử dụng giáo trình

Giáo trình được thiết kế phục vụ các nhóm độc giả học thuật:

• Sinh viên đại học và học viên cao học: Là giáo trình chính cho sinh viên năm thứ ba và năm thứ tư thuộc các ngành Công nghệ Thông tin, Khoa học Máy tính, Kỹ thuật Phần mềm và Hệ thống Thông tin. Tài liệu cũng được sử dụng làm tài liệu học tập cho học viên cao học định hướng xử lý dữ liệu lớn và học máy.
• Yêu cầu kiến thức tiên quyết (Prerequisites): Để tiếp thu hiệu quả nội dung giáo trình, người học cần hoàn thành các học phần:
  1. Cơ sở dữ liệu: Hiểu biết về mô hình quan hệ, đại số quan hệ và kỹ năng truy vấn dữ liệu SQL.
  2. Xác suất thống kê: Nắm vững các khái niệm xác suất biến cố, xác suất có điều kiện, công thức Bayes và các giá trị thống kê mô tả.
  3. Cấu trúc dữ liệu và giải thuật: Thành thạo các cấu trúc cây, đồ thị, danh sách liên kết và phân tích độ phức tạp tính toán.
  4. Lập trình hướng đối tượng: Có kỹ năng lập trình căn bản với ngôn ngữ C# hoặc Java/C++ để thực hiện các bài tập cài đặt thuật toán.
• Giảng viên chuyên ngành: Giảng viên sử dụng giáo trình để xây dựng đề cương môn học Khai phá dữ liệu (khối lượng 2 đến 3 tín chỉ), khai thác các ví dụ minh họa và ngân hàng bài tập cuối mỗi chương cho hoạt động giảng dạy trên lớp, kiểm tra định kỳ và đánh giá đồ án môn học.
• Người tự học và kỹ sư dữ liệu: Tài liệu cung cấp bản mô tả thuật toán chi tiết và các bước tính toán hình thức, phù hợp làm tài liệu tra cứu cho các kỹ sư phần mềm cần nắm bản chất cơ chế của các thuật toán trước khi triển khai các thư viện mã nguồn mở.

---

Câu hỏi thường gặp

1. Giáo trình này phù hợp với ai?

Giáo trình được biên soạn phục vụ sinh viên năm 3, năm 4 và học viên cao học các ngành Công nghệ Thông tin, Khoa học Máy tính, Hệ thống Thông tin; đồng thời là tài liệu tham khảo cho giảng viên và kỹ sư phần mềm muốn nghiên cứu bản chất thuật toán phân tích dữ liệu.

2. Cần kiến thức nền nào để học?

Người học cần trang bị kiến thức nền tảng về Cơ sở dữ liệu quan hệ, Xác suất thống kê (đặc biệt là xác suất có điều kiện), Cấu trúc dữ liệu và giải thuật (cấu trúc cây, đệ quy), cùng kỹ năng lập trình hướng đối tượng cơ bản (ưu tiên C#).

3. Điểm khác biệt với giáo trình khác?

Giáo trình tập trung diễn giải chi tiết từng bước lặp tính toán của thuật toán trên các bảng dữ liệu mẫu nhỏ, phân tích cấu trúc mã giải thuật chuẩn, đồng thời kết hợp hướng dẫn thực hành song song trên cả công cụ học máy (Weka), hệ quản trị cơ sở dữ liệu doanh nghiệp (Microsoft SQL Server) và mã nguồn tự xây dựng bằng C#.

4. Làm sao để tự học hiệu quả?

Người học nên tuân thủ quy trình: đọc hiểu cơ sở toán học và tính chất rút gọn của thuật toán; tự giải lại các ví dụ số học trong sách mà không nhìn lời giải; giải quyết toàn bộ bài tập cuối chương; sau đó cài đặt lại thuật toán bằng ngôn ngữ C# và đối chiếu kết quả thực nghiệm với phần mềm Weka.

5. Có tài liệu bổ trợ nào kèm theo?

Giáo trình tích hợp hệ thống câu hỏi trắc nghiệm, bài tập tự luận, bài tập lập trình ở cuối mỗi chương; cung cấp phần phụ lục chi tiết và danh mục tài liệu tham khảo học thuật từ các công trình nghiên cứu chuẩn quốc tế (như các nghiên cứu của J. Han, J. Ross Quinlan, R. Agrawal).

---

Kết luận

Giáo trình Khai phá dữ liệu (Trần Hùng Cường, Trần Thanh Hùng, NXB Thống kê, 2017) hệ thống hóa toàn diện các tri thức nền tảng của quy trình KDD, tập trung vào ba kỹ thuật trọng tâm: khai phá luật kết hợp (Apriori, FP-growth), phân lớp dữ liệu (ID3, Naive Bayes, Perceptron) và gom cụm dữ liệu (K-means, gom cụm phân cấp).

Lộ trình học tập đề xuất:

1. Nắm vững quy trình KDD và phân loại kỹ thuật (Chương 1).
2. Làm chủ các thuật toán khai phá tập phổ biến và sinh luật kết hợp (Chương 2).
3. Nghiên cứu cơ chế phân lớp có giám sát qua cây quyết định, xác suất và mạng nơ-ron (Chương 3).
4. Tiếp cận các phương pháp gom cụm không giám sát dựa trên phân hoạch và phân cấp (Chương 4).
5. Thực nghiệm mô hình hóa trên Weka, triển khai dịch vụ Data Mining trên Microsoft SQL Server và lập trình thuật toán bằng C# (Chương 5).

Nguồn tài nguyên bổ trợ bao gồm hệ thống bài tập lý thuyết, bài tập lập trình cài đặt, bộ dữ liệu mẫu trong giáo trình và danh mục tài liệu tham khảo chuyên khảo của các tác giả quốc tế được trích dẫn trong văn bản.

Trích đoạn nội dung tài liệu

Chương 1 TỎNG QUAN VÈ KHAI PHÁ DỬ LIỆU Chương này giới thiệu tổng quan về tiến trình phát hiện tri thức từ cơ sớ dữ liệu và đặc biệt nhấn mạnh đến giai đoạn khai phá dữ liệu; các kỹ thuật tiêu biếu trong khai phá dữ liệu và ứng dụng cùa nó trong thực tế. Khai phá dữ liệu và quá trình phát hiện tri thức Khoảng hơn một thập kỷ trờ lại đây, lượng thông tin được lưu trữ trên các thiết bị điện tử (đĩa cứng, CD - ROM, băng từ,.) không ngừng tăng lên. Dữ liệu được tích lũy đã dẫn đến sự bùng nổ thông tin. Nguời ta ước đoán rằng lượng thông tin trên toàn cầu tăng gấp đôi sau khoáng hai năm và theo đó số lượng cũng như kích cỡ của các cơ sở dữ liệu (CSDL) cũng tăng lên một cách nhanh chóng, chẳng hạn trang Amazon có khoáng 250 triệu sách, 55 triệu người dùng; Google: 90 triệu tìm kiếm/ngày; Library o f Congress: 125 triệu mục; Central Intelligence Agency (CIA): 100 “hồ sơ: thống kê dân số, bàn đ ồ .”; Youtube: sau hai năm có hàng trăm triệu video, dung lượng CSDL Youtube tăng gấp đôi sau mỗi chu kỳ 5 tháng [2],.

Từ một tập hợp lớn dữ liệu này, ta phải trích chọn các mẫu hoặc tri thức tiềm ẩn có giá trị mà trước đó chưa được phát hiện, tìm ra những xu hướng phát triển và những yếu tố tác động lên chúng. Thục hiện công việc dó chính là thực hiện quá trình phát hiện tri thức từ C SD L (Knowledge Discovcry from Databases - KDD) mà trong đó kỹ thuật cho phép ta lấy được các tri thức chính là kỹ thuật khai phá dữ liệu (D ata M ining). Khai phá dữ liệu (KPDL) là một khái niệm ra đời vào những năm cuối cùa thập kỳ 80, nó là quá trình tìm kiếm, khám phá dưới nhiều góc độ khác nhau nhằm phát hiện các mối liên hệ giữa dữ liệu trong CSDL, kết quà của việc khai phá là xác định các mẫu tiềm ần ừong các CSDL lớn. v ề bàn chất nó 7 là giai đoạn duy nhất rút trích và tìm ra được các mẫu, các mô hình hay thông tin mới, tri thức tiềm ẩn có trong CSDL.

Các tri thức này chủ yếu phục vụ cho nhiệm vụ mô tà, dự đoán và hỗ trợ ra quyết định.PDL là kỹ thuật chính ừong KDD cho phép phân tích dữ liệu lớn để trích rút thông tin có mối quan hệ hoặc có môi tương quan nhât định nhăm mục đích dự đoán các xu thế, các hành vi trong tương lai, hoặc tìm kiếm những tập thông tin hữu ích mà bình thuờng không thê nhận diện được. KPDL là tiến trình khám phá tri thức tiềm ẩn trong các CSDL. Cụ thể hơn đó là tiến trinh trích lọc, sàn sinh những tri thức hoặc các mẫu tiềm ẩn, chưa biết nhưng hữu ích từ các CSDL lớn. KPDL là tiến trình khái quát các sự kiện rời rạc trong dữ liệu thành các tri thức mang tính khái quát, tính quy luật hỗ trợ tích cực cho tiến trình ra quyết định.

Quá trình khám phá tri thức từ CO’ sờ dữ liệu Tri thúc được rút ra từ các CSDL thường đề phục vụ cho việc giải quyết một loạt nhiệm vụ ừong một lĩnh vực nhất định. Do đó, quá trình phát hiện tri thúc cùng mang tính chất định huớng nhiệm vụ, không phải là phát hiện mọi tri thức bẩt kỳ mà là phát hiện tri thức nhằm giải quyết tốt nhiệm vụ đề ra. Tiến trinh này gồm các bước (H ình 1.1): Gom dữ liệu (Gatheríng): Tập hợp dữ liệu là bưóc đầu tiên trong quá trình KPDL. Giai đoạn tập hợp các dữ liệu được khai thác từ một CSDL, một kho dữ liệu, thậm chí từ các nguồn úng dụng web vào một CSDL riêng.

Chúng ta chỉ chọn ra những dữ liệu cần thiết cho các giai đoạn sau. Tuy nhiên, công việc thu gom dữ liệu vào một CSDL lớn thường rất khó khăn vì dữ liệu nàm ở nhiều nơi và có dịnh dạng khác nhau. 8 I Đánh giá két quả mễũ Chọn lọc dữ liệu (Selection): Ở giai đoạn này lựa chọn những dữ liệu phù hợp với nhiệm vụ phân tích trích rút từ CSDL. Làm sạch, tiền x ử lý và chuẩn bị trước dữ liệu (Cleaning, Pre - Processing and Preparation): phần lớn các CSDL đều ít nhiều mang tính không nhất quán.

Vi vậy khi gom dữ liệu rất có thể mắc một số lỗi như dữ liệu không đầy đù, không chặt chẽ và không logic (bị trùng lặp, giá trị bị sai lệch,. Do đó cần phải được tiền xử lý trước khi khai phá dữ liệu nếu không sẽ gây nên những kết quả sai lệch. Chuyển đổi dữ liệu (Transíormation): trong giai đoạn này dữ liệu sẽ được chuyển đổi về dạng thuận tiện để tiến hành các thuật toán KPDL. Khai phá dữ liệu (Data Mining): ờ giai đoạn này áp dụng những kỹ thuật phân tích (phần nhiều là các kỹ thuật cùa học máy) nhằm để khai thác dữ liệu, trích rút tri thức từ dữ liệu lớn.

Đây được xem là bước quan trọng và tốn nhiều thời gian nhất cùa toàn quá trình KDD. Đánh giá kết quả (Evaluation o f result): đây là giai đoạn cuối cùng trong tiến trình KDD. Trong giai đoạn này, những mẫu thông tin và mối liên hệ 9 trong dữ liệu dã đuợc khai phá ở bước trên được chuyến đồi và biểu diễn ờ một dạng gần gũi với người sử dụng như đồ thị, cây, bảng biểu, luật,. Không phải bất cứ mẫu nào cũng đều có ích, thậm chí còn bị sai lệch.

Chính vì vậy cần phải xác định và lựa chọn những tiêu chuẩn đánh giá để chiết xuất ra các tri thức cần thiết. Khái quát các kỹ thuật khai phá dữ liệu Kỹ thuật KPDL thực chất không hoàn toàn mới. N ó là sự kế thừa, kết hợp vả mờ rộng cùa các kỹ thuật cơ bản đã được nghiên cứu từ trước như học máy, nhận dạng, thống kê (hồi quy, xếp loại, gom cụm), các mô hình đồ thị các mạng Bayes, trí tuệ nhân tạo, thu thập tri thức hệ chuyên gia,. nên kỹ thuật này có ưu thế hom hẳn các phương pháp trước đó, đem lại nhiều triển vọng trong việc ứng dụng phát triển nghiên cứu khoa học.

Một số kỹ thuật cơ bản trong KPDL: Khai thác tập phổ biến và luật kết hợp (Association Rule): Hình 1. Mối quan hệ giữa các sàn phẩm Dây là tiến trình khám phá các tập giá trị thuộc tính xuất hiện phổ biến trong các đối tượng dữ liệu. Từ tập phổ biến có thể tạo ra các luật kết hợp giữa các giá trị thuộc tính nhăm phản ánh khả năng xuất hiện đồng thời các gia tri 10 thuộc tính trong tập các đối tượng. Một luật kết hợp có dạng X -> Y phàn ánh sự xuất hiện cùa tập X dẫn đến sự xuất hiện đồng thời của tập Y.

Luật kết hợp giúp các nhà hoạch định hiểu rõ xu thế bán hàng, tâm lý khách hàng,. Từ đó đưa ra chiến lược bố tri mặt hàng, kinh doanh, tiếp thị,. được hiệu quả. Khai thác chuỗi (Sequential/temporal pattemsỴ.

là tiến trình khám phá các mẫu tuần tự phổ biến phản ánh mối quan hệ giữa các biến cố trong các CSDL hướng thời gian. Một luật mô tả mẫu tuần tự có dạng tiêu biểu X -> Y phản ánh sự xuất hiện cùa biến cố X sẽ dẫn đến việc xuất hiện kế tiếp biến cố Y. Nhờ mẫu tuần tự, có thể khám phá các xu thế phát triển hành vi của đối tượng. Phân lớp d ữ liệu (Classi/ìcalion): là tiến trình khám phá các luật phân loại hay đặc trưng cho các tập dữ liệu đã được xếp lớp.

Tập dữ liệu huấn luyện bao gồm tập dối tượng đã được xác định lớp sẽ được dùng để tạo mô hình phân lớp dựa trên đặc trưng của đối tượng trong tập dữ liệu huấn luyện. Các luật phân lớp được sừ dụng để xây dựng các bộ phân lớp dữ liệu. Phân lớp dữ liệu có vai trò quan trọng trong tiến trình dự báo các khuynh hướng quy luật phát triển. Chẳng hạn ta có thể áp dụng kỹ thuật này vào tiến trình phân lớp dữ liệu khách hàng trong CSDL để cỏ thể xây dựng các luật phân lớp khách hàng.

Hồi quy (Regression): là việc học một ánh xạ từ một mẫu dữ liệu thành một biến dự đoán có giá trị thực. Nhiệm vụ cùa hồi quy tương tự như phân lớp, điềm khác nhau cơ bản ở chỗ thuộc tính dự báo có giá trị liên tục chứ không phải rời rạc. Gom cụm (Clustering): là tiến trình nhận diện các cụm tiềm ẩn trong tập các đối tượng chưa dược xếp lớp. Tiến trình gom cụm dựa trên mức độ tương tự giữa các dối tượng.

Các đối tượng được gom cụm sao cho mức dộ tương tự giữa các dối tượng này trong cùng một cụm là cực dại và mức dộ tương tự giữa các đối tượng nằm trong các cụm khác nhau là cực tiều. Các cụm được dặc trưng bàng các tính chất chung của tất cả các đối tượng trong cụm. Do vậy, kháo sát các cụm sẽ giúp khái quát hỏa nhanh chóng nội dung của khối dữ liệu lớn. Tập dữ liệu được gom thành 3 cụm Mó tà khái niệm và tóm tắt (concept description and summarization): thicn về mô tả, tổng hợp và tóm tắt khái niệm.

Ví dụ tóm tắt văn bản. ứng dụng của khai phá dữ liệu Mặc dù còn rất nhiều vấn đề cần phải nghiên cứu tro n g KPDL, nhưng tiềm năng của kỹ thuật này đã được khẳng định bằng sự ra đời cùa rất nhiều ứng dụng. Ta có thể đưa ra một số ứng dụng cùa KPDL trong các lĩnh vực: ■ Ngân hàng: s Xây dụng mô hình dự báo rủi ro tín dụng s Tìm kiếm tri thức, quy luật cùa thị trường chứng khoán và đầu tư bất động sản. ■ Thương mại điện tử: s Công cụ tìm hiểu, định huớng, thúc đẩy, giao tiếp với khách hàng s Phân tích khách hàng duyệt web 'S Phân tích hành vi mua săm trên mạng và cho biết thông tin tiếp thị phù hợp với loại khách hàng.

12 ■ Điều trị y học và chăm sóc y tế: một số thông tin về chẩn đoán bệnh lưu trong các hệ thống quản lý bệnh viện. Phân tích mối liên hệ giữa các triệu chứng bệnh, chẩn đoán và đưa ra phương pháp điều trị (chế độ dinh duỡng, thuốc,. * Khai phá văn bản và khai phá Web: phân lớp văn bàn và các trang web, tóm tắt văn bàn,. ■ Lĩnh vực khoa học: quan sát thiên văn, dữ liệu gene, dữ liệu sinh vật học, so sánh các hệ gene và thông tin di truyền, mối liên hệ các gene và các bệnh di truyền,.

■ Lĩnh vực khác: viễn thông, môi trường, thể thao, âm nhạc, giáo dục,.