Bối cảnh và vấn đề nghiên cứu

Trong những thập niên gần đây, sự phát triển liên tục của công nghệ thông tin cùng các tiến bộ trong phần cứng, phần mềm, mạng truyền thông và hệ thống dữ liệu phục vụ các lĩnh vực kinh tế - xã hội đã thúc đẩy nhu cầu thu thập và lưu trữ thông tin tăng cao. Quá trình tin học hóa diễn ra nhanh chóng trong sản xuất, kinh doanh và quản trị đã hình thành các cơ sở dữ liệu có dung lượng từ Gigabyte đến Terabyte. Tuy nhiên, sự gia tăng khối lượng dữ liệu này dẫn đến tình trạng phần lớn dữ liệu (chỉ khoảng 5% đến 10%) được phân tích định kỳ. Các phương pháp thống kê cổ điển và ngôn ngữ truy vấn truyền thống (như SQL) bộc lộ sự hạn chế khi đối mặt với dữ liệu có dung lượng lớn, cấu trúc phức tạp hoặc phi cấu trúc, đồng thời không có khả năng tự động trích xuất các quy luật tiềm ẩn để hỗ trợ dự báo và ra quyết định.

Trước yêu cầu tự động chuyển đổi dữ liệu thành tri thức hữu ích, các kỹ thuật khai phá dữ liệu (Data Mining) và khám phá tri thức (Knowledge Discovery) đã trở thành hướng tiếp cận trọng tâm trong lĩnh vực học máy và công nghệ tri thức. Trong đó, phân cụm và phân lớp dữ liệu là hai kỹ thuật cơ bản nhằm tìm kiếm cấu trúc mẫu và phân nhóm các đối tượng từ tập dữ liệu lớn. Tác giả lựa chọn đề tài "Phân cụm, phân lớp trong khai phá dữ liệu và ứng dụng trong bài toán kinh doanh" nhằm hệ thống hóa cơ sở lý thuyết và thử nghiệm công cụ phân tích trên các bài toán thực tế.

Mục tiêu nghiên cứu được xác định cụ thể gồm năm nhiệm vụ:

  1. Tìm hiểu quy trình khám phá tri thức.
  2. Tìm hiểu quá trình khai phá dữ liệu.
  3. Tìm hiểu phân cụm trong khai phá dữ liệu.
  4. Tìm hiểu phân lớp trong khai phá dữ liệu.
  5. Áp dụng lý thuyết đã tìm hiểu vào việc giải quyết bài toán thực tế.

Đối tượng nghiên cứu của khóa luận là các mẫu dữ liệu, cấu trúc dữ liệu và các kỹ thuật thành lập nhóm dữ liệu từ tập dữ liệu có sẵn. Phạm vi nghiên cứu tập trung vào cơ chế hoạt động của các thuật toán phân cụm, phân lớp tiêu biểu và khả năng ứng dụng của chúng trong các lĩnh vực như kinh tế, ngân hàng, giáo dục, bảo hiểm, viễn thông, quy hoạch đô thị và địa chấn.

Về lịch sử nghiên cứu, tác giả ghi nhận nhiều công trình trước đây đã trình bày bức tranh tổng quan về khai phá dữ liệu và các kỹ thuật phân cụm, phân lớp. Tuy nhiên, vấn đề phân tích, đánh giá tính tối ưu của từng thuật toán để chọn lọc mô hình phù hợp cho bài toán ứng dụng cụ thể vẫn còn ít được khai thác sâu.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của khóa luận được xây dựng dựa trên tiến trình Phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Databases - KDD) và Khai phá dữ liệu (Data Mining). Khóa luận làm rõ mối quan hệ giữa khai phá tri thức với các chuyên ngành liên quan:

  • Khoa học máy học và nhận dạng mẫu: Cung cấp nền tảng lý thuyết và thuật toán trích xuất mô hình từ dữ liệu.
  • Thống kê học: Chia sẻ các thủ tục của phân tích dữ liệu khám phá (Exploratory Data Analysis - EDA), mô hình hóa và kiểm soát dữ liệu nhiễu.
  • Kho dữ liệu (Data Warehousing) và Xử lý phân tích trực tuyến (OLAP): Cung cấp công cụ phân tích dữ liệu đa chiều mạnh hơn các truy vấn SQL tiêu chuẩn.

Các nhiệm vụ khai phá dữ liệu được chia thành hai nhóm chính:

  • Nhóm kỹ thuật mô tả: Mô tả tính chất chung của dữ liệu, gồm phân cụm (Clustering), tổng hợp (Summarization), trực quan hóa (Visualization), phân tích sự phát triển và độ lệch (Evolution and deviation analysis), luật kết hợp (Association rules).
  • Nhóm kỹ thuật dự đoán: Thực hiện suy diễn dựa trên dữ liệu hiện thời để đưa ra dự báo, gồm phân lớp (Classification) và hồi quy (Regression).

Phương pháp nghiên cứu trong khóa luận bao gồm:

  • Phương pháp thu thập và phân tích tài liệu: Tổng hợp, khảo cứu lý thuyết về các thuật toán, mô hình phân cụm và phân lớp thông qua sách chuyên khảo và tài liệu khoa học.
  • Phương pháp diễn giải số học: Sử dụng các bài toán mẫu với số liệu giả định cụ thể để diễn giải từng bước tính toán chi tiết của các giải thuật (K-means, k-NN, Cây quyết định, Tập thô).
  • Phương pháp thực nghiệm mô phỏng: Ứng dụng phần mềm mã nguồn mở Weka phiên bản 3.8 để nhập dữ liệu thực nghiệm và thực thi thuật toán phân cụm SimpleKMeans.

Nguồn dữ liệu thực nghiệm trong khóa luận gồm ba tệp dữ liệu định dạng bảng tính (.csv):

  • Dữ liệu chơi golf (dulieutenniss.csv): Gồm 14 bản ghi mô tả điều kiện thời tiết và hành vi chơi golf.
  • Dữ liệu ngân hàng (nganhang.csv): Mô tả các thuộc tính thu nhập, độ tuổi và quyết định cho vay.
  • Dữ liệu sinh viên (sinhvien.csv): Gồm 20 bản ghi về quê quán và sở thích của sinh viên.

Nội dung chính theo từng chương

CHƯƠNG 1: Tổng quan về khai phá tri thức và khai phá dữ liệu

Chương này tập trung làm rõ các khái niệm nền tảng, sự cần thiết và quy trình triển khai của phát hiện tri thức và khai phá dữ liệu:

  • Khái niệm: Dữ liệu được xem là các dãy bit, số hoặc ký hiệu; thông tin là dữ liệu đã được loại bỏ dư thừa; tri thức là thông tin tích hợp có độ trừu tượng và tổ chức cao, bao gồm các sự kiện và mối quan hệ giữa chúng. Khai thác dữ liệu là một bước cốt lõi trong quy trình KDD nhằm tìm kiếm các mẫu hoặc mô hình tiềm ẩn.
  • Sự cần thiết của khám phá tri thức: Xuất phát từ thực tế khối lượng dữ liệu lưu trữ quá lớn, phần lớn dữ liệu chưa được khai thác (khoảng 90-95% bị bỏ quên), hạn chế của phương pháp phân tích cổ điển và các câu truy vấn SQL không tối ưu được trong việc nhận diện mẫu gian lận hoặc tìm các bản ghi tương đồng.
  • Quy trình khai phá tri thức (5 bước):
    1. Hình thành và định nghĩa bài toán: Tìm hiểu lĩnh vực ứng dụng, lựa chọn phương pháp khai phá phù hợp.
    2. Thu thập và tiền xử lý dữ liệu: Loại bỏ nhiễu, xử lý dữ liệu thiếu, biến đổi và rút gọn dữ liệu (bước chiếm nhiều thời gian nhất).
    3. Khai phá dữ liệu: Áp dụng thuật toán chuyên dụng để trích xuất các mẫu hoặc mô hình ẩn.
    4. Rút ra và hiểu tri thức: Đánh giá, làm sáng tỏ các mô tả và dự đoán tìm được.
    5. Phân tích, kiểm định và sử dụng tri thức: Tích hợp tri thức vào hệ thống thực tế để hỗ trợ ra quyết định.
  • Quy trình khai phá dữ liệu chi tiết (10 bước): Gồm (1) Nghiên cứu lĩnh vực; (2) Tạo tập tin dữ liệu đầu vào; (3) Tiền xử lý, làm sạch, mã hóa; (4) Rút gọn chiều; (5) Chọn tác vụ khai thác; (6) Chọn giải thuật; (7) Khai thác dữ liệu và tìm kiếm tri thức; (8) Đánh giá mẫu; (9) Biểu diễn tri thức; (10) Sử dụng tri thức.
  • Tiến trình KDD chuẩn: Tóm lược thành 4 giai đoạn chính gồm chuẩn bị dữ liệu (làm sạch, tích hợp, chọn lọc, biến đổi), khai thác dữ liệu, đánh giá và triển khai.

CHƯƠNG 2: Phân cụm, phân lớp và các kỹ thuật phân cụm, phân lớp trong khai phá dữ liệu

Chương 2 trình bày chi tiết về mặt lý thuyết, giải thuật và ví dụ minh họa cho hai tác vụ phân cụm và phân lớp.

1. Kỹ thuật phân cụm dữ liệu: Phân cụm là quá trình chia tập dữ liệu thành các cụm sao cho các phần tử trong cùng một cụm có độ tương đồng cao, còn các phần tử khác cụm có độ tương đồng thấp. Tác giả phân tích 9 yêu cầu đối với một thuật toán phân cụm: khả năng mở rộng (xử lý cơ sở dữ liệu lớn hơn 200 đối tượng đến hàng triệu đối tượng); khả năng thích nghi với các kiểu thuộc tính khác nhau (số, nhị phân, định danh, thứ tự); khám phá cụm có hình dạng bất kỳ; tối thiểu hóa tham số đầu vào; khả năng xử lý dữ liệu nhiễu và ngoại lai; tính ít nhạy cảm với thứ tự nạp dữ liệu; khả năng làm việc với số chiều lớn (từ 3 chiều trở lên); khả năng thỏa mãn các ràng buộc; và tính dễ hiểu, dễ diễn giải.

Văn bản phân loại và khảo sát các phương pháp phân cụm chính:

  • Phân cụm phân hoạch: Phân chia $n$ đối tượng thành $k$ nhóm thỏa mãn tiêu chuẩn tối ưu hóa cục bộ thông qua chiến lược tìm kiếm tham lam (K-means, PAM, CLARA, CLARANS).
  • Phân cụm phân cấp: Xây dựng cây phân cấp dữ liệu theo kỹ thuật hòa nhập nhóm (Bottom-Up) hoặc phân chia nhóm (Top-Down) (CURE, BIRCH).
  • Phân cụm dựa trên mật độ: Phát triển cụm dựa trên số lượng phần tử lân cận vượt qua ngưỡng xác định, nhận diện cụm hình dạng bất kỳ và lọc nhiễu tốt (DBSCAN, OPTICS).
  • Phân cụm dựa trên lưới: Lượng hóa không gian dữ liệu thành các ô (cell) độc lập với số lượng đối tượng, thích hợp cho dữ liệu không gian nhiều chiều.
  • Phân cụm dựa trên mô hình: Khớp dữ liệu với các phân phối xác suất thống kê hoặc mạng nơ-ron.
  • Các hướng tiếp cận khác: Phân cụm có dữ liệu ràng buộc, phân cụm thống kê, phân cụm khái niệm, phân cụm mờ và phân cụm mạng Kohonen.

Tác giả trình bày chi tiết thuật toán K-means kèm ví dụ tính toán số học trên tập 4 điểm hai chiều: $A(1,1)$, $B(2,1)$, $C(4,3)$, $D(5,4)$ với yêu cầu phân thành $k=2$ nhóm:

  • Khởi tạo: Chọn trọng tâm ban đầu $c_1 = A(1,1)$ và $c_2 = B(2,1)$.
  • Vòng lặp 1: Tính khoảng cách Euclidean từ các điểm đến $c_1$ và $c_2$. Điểm $A$ vào nhóm 1; các điểm $B, C, D$ vào nhóm 2.
  • Cập nhật trọng tâm: Trọng tâm nhóm 1 giữ nguyên $c_1(1,1)$; trọng tâm nhóm 2 được tính lại thành trung bình cộng của $B, C, D$: $$c_2 = \left(\frac{2+4+5}{3}, \frac{1+3+4}{3}\right) = \left(\frac{11}{3}, \frac{8}{3}\right)$$
  • Vòng lặp 2: Tính lại khoảng cách và phân nhóm lại, dẫn đến nhóm 1 gồm ${A, B}$, nhóm 2 gồm ${C, D}$. Trọng tâm mới được tính thành $c_1(1.5, 1)$ và $c_2(4.5, 3.5)$.
  • Điều kiện dừng: Phân hoạch ở vòng lặp tiếp theo không đổi ($G_1 = G_2$), thuật toán kết thúc với kết quả: Nhóm 1 chứa $A, B$; Nhóm 2 chứa $C, D$.

2. Kỹ thuật phân lớp dữ liệu: Phân lớp là quá trình dự đoán nhãn lớp cho các đối tượng dữ liệu dựa trên mô hình được huấn luyện từ tập dữ liệu có gán nhãn trước. Quy trình gồm 2 bước: Xây dựng mô hình (từ tập huấn luyện) và Sử dụng mô hình (đánh giá trên tập kiểm tra độc lập để tính độ chính xác).

Chương 2 mô tả 6 phương pháp phân lớp kèm ví dụ thực tế:

  • Cây quyết định (Decision Tree): Trình bày bài toán câu lạc bộ golf của nhân vật quản lý David với tập dữ liệu gồm 14 dòng và 5 cột thuộc tính: Trời (Outlook: Sunny, Overcast, Rain), Nhiệt độ (Temperature), Độ ẩm (Humidity), Gió (Windy), và biến quyết định Chơi golf (Play: Play, Don't play). Kết quả phân tách cây nhị phân cho thấy: khi trời nhiều mây (Overcast) khách hàng luôn chơi; khi trời nắng, khách hàng không chơi nếu độ ẩm $> 70%$; khi trời mưa, khách hàng không chơi nếu trời có gió (Windy = TRUE).
  • K-láng giềng gần nhất (k-Nearest Neighbor): Trình bày ví dụ tính toán dự đoán biến phụ thuộc $Y$ cho điểm truy vấn $X=6$ dựa trên 5 mẫu đào tạo với $k=2$. Tác giả minh họa việc xác định khoảng cách, chọn 2 điểm gần nhất ($Y=27$ và $Y=8$), tính giá trị dự đoán trung bình bằng $17.5$ và đưa ra các công thức thiết lập trong bảng tính Excel (ABS, SMALL, AVERAGE).
  • Mạng nơ-ron (Neural Networks): Giới thiệu mô hình mạng truyền thẳng 3 lớp giải bài toán nhận dạng hệ thống phi tuyến $f(u) = 0.1 \sin(5 \pi u)$ với tín hiệu vào $u(k) = \sin(2\pi k / 250)$. Văn bản cung cấp kịch bản cấu hình trong công cụ Matlab sử dụng các hàm newff (cấu hình 8 nơ-ron lớp nhập, 8 nơ-ron lớp ẩn, 1 nơ-ron lớp ra), hàm huấn luyện train với số vòng lặp epochs = 1000, sai số mục tiêu $0.00001$, và hàm tự thích nghi adapt.
  • Giải thuật di truyền (Genetic Algorithms): Trình bày lý thuyết sơ đồ (schema) với độ dài chuỗi bằng 10, phân tích sự tương thích của các chuỗi với sơ đồ chứa ký tự đại diện *, xác định bậc sơ đồ và chiều dài xác định.
  • Mạng Bayesian (Bayesian Networks): Sử dụng đồ thị có hướng không chu trình để biểu diễn quan hệ nhân quả. Minh họa bằng bài toán bãi cỏ ướt (GRASSWET) do hai nguyên nhân: máy phun nước (SPRINKLER) hoặc trời mưa (RAIN), thông qua hàm xác suất phụ thuộc có điều kiện.
  • Tập mờ và tập thô (Fuzzy and Rough Sets): Minh họa tập mờ qua hàm thuộc của tập hợp người "Trẻ" với các độ tuổi 10, 15, 50, 55, 70. Minh họa tập thô bằng bảng triệu chứng cảm cúm gồm 8 đối tượng ($u_1$ đến $u_8$) với các thuộc tính Đau đầu, Thân nhiệt, Cảm cúm, qua đó xác định tập xấp xỉ dưới $B_-V = {u_2, u_3}$, xấp xỉ trên $B^-V = {u_2, u_3, u_5, u_7, u_6, u_8}$ và miền biên $BNB(V) = {u_5, u_6, u_7, u_8}$.

3. So sánh các phương pháp: Khóa luận tổng kết các tiêu chí so sánh giữa phương pháp phân cụm (dựa trên chỉ số tương tự, tiêu chí tổng bình phương lỗi, hình dáng đồ thị) và phương pháp phân lớp (độ chính xác dự đoán, tính bền vững trước nhiễu, khả năng mở rộng kích cỡ dữ liệu, khả năng diễn giải mô hình).

CHƯƠNG 3: Ứng dụng triển khai bài toán phân cụm, phân lớp

Chương 3 trình bày việc đưa thuật toán vào công cụ phần mềm Weka (phiên bản 3.8) để xử lý dữ liệu thực nghiệm:

  • Mô tả bài toán ứng dụng: Nêu nhu cầu phân nhóm trong các nghiệp vụ quản lý như phân khúc khách hàng ngân hàng theo mức thu nhập để tư vấn gói vay; phân nhóm sinh viên theo kết quả học tập trong giáo dục; và tối ưu hóa nhân viên phục vụ sân golf theo điều kiện thời tiết.
  • Mô tả các tập dữ liệu thực nghiệm:
Tên tập dữ liệu Tên tệp tin Các thuộc tính và miền giá trị Số lượng bản ghi / Đối tượng
Dữ liệu chơi golf dulieutenniss.csv - Trời: Nắng, Trời nhiều mây, Mưa
- Nhiệt độ: 64 đến 85 độ
- Độ ẩm: 65 đến 96 độ
- Gió: True, False
- Chơi: Có, Không		 14 dòng
Dữ liệu ngân hàng nganhang.csv - Thu nhập: Từ 11 triệu đến 50 triệu đồng
- Tuổi: Từ 20 tuổi đến 50 tuổi
- Vay: Có, Không		 Tập mẫu phân khúc khách hàng
Dữ liệu sinh viên sinhvien.csv - Sinh viên: Định danh từ 1 đến 20
- Quê quán: Quảng Nam, Quảng Ngãi, Đà Nẵng, Huế
- Sở thích: Bóng đá, bóng chuyền, bóng rổ, bóng bàn, cầu lông		 20 sinh viên
  • Quy trình thực thi trên Weka 3.8:
    1. Khởi động phần mềm Weka, chọn mô-đun Explorer.
    2. Nạp dữ liệu nguồn từ các tệp .csv thông qua chức năng Open file....
    3. Chuyển sang thẻ Cluster, bấm Choose để chọn thuật toán SimpleKMeans.
    4. Thiết lập tham số số lượng cụm numClusters lần lượt là $k=2$ và $k=3$.
    5. Bấm nút Start để chạy giải thuật và quan sát kết quả phân cụm hiển thị trên giao diện của phần mềm đối với từng tệp dữ liệu (dulieutenniss.csv, nganhang.csv, sinhvien.csv).

Kết quả và đóng góp

Khóa luận đạt được các kết quả cụ thể dựa trên nội dung được trình bày:

  • Hệ thống hóa lý thuyết: Tổng hợp quy trình chuẩn của KDD (5 bước) và khai phá dữ liệu (10 bước), phân định rõ ranh giới giữa hai nhóm kỹ thuật mô tả và dự đoán.
  • Diễn giải thuật toán bằng số liệu: Trình bày chi tiết từng bước lặp toán học của thuật toán phân cụm K-means trên tập dữ liệu 4 điểm hai chiều, chứng minh sự hội tụ của thuật tâm cụm từ $c_1(1,1), c_2(2,1)$ sang $c_1(1.5,1), c_2(4.5,3.5)$.
  • Minh họa đa dạng mô hình phân lớp: Xây dựng thành công các kịch bản minh họa bằng số liệu cho 6 phương pháp phân lớp (Cây quyết định với bộ dữ liệu golf 14 mẫu; k-NN với phép nội suy khoảng cách điểm $X=6$; Mạng nơ-ron với mã nguồn huấn luyện trên Matlab; Giải thuật di truyền với chuỗi nhị phân 10 ký tự; Mạng Bayes với mô hình cỏ ướt; Tập thô với bảng dữ liệu bệnh học 8 đối tượng).
  • Thực nghiệm ứng dụng trên phần mềm Weka: Hướng dẫn quy trình nạp dữ liệu định dạng .csv và thực thi thuật toán phân cụm SimpleKMeans với các tham số cụm $k=2$ và $k=3$ trên 3 bài toán nghiệp vụ (kinh doanh sân golf, khách hàng vay vốn ngân hàng, quản lý thông tin sinh viên).
  • Đóng góp tự nêu: Khóa luận cung cấp tài liệu tổng quan có hệ thống về khai phá dữ liệu, đồng thời kết nối lý thuyết phân cụm, phân lớp với phần mềm Weka nhằm phục vụ việc giải quyết các bài toán phân nhóm trong thực tế kinh doanh.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận các hạn chế kỹ thuật và định hướng mở rộng sau:

  • Hạn chế của thuật toán K-means: Hiệu quả phân cụm phụ thuộc hoàn toàn vào việc người dùng phải xác định trước số lượng cụm $k$. Chi phí tính toán khoảng cách của các vòng lặp tăng cao khi số cụm $k$ và kích thước cơ sở dữ liệu lớn.
  • Hạn chế về loại dữ liệu: Hầu hết các kỹ thuật phân cụm truyền thống khảo sát trong đề tài chỉ tối ưu cho các tập dữ liệu có cùng một kiểu thuộc tính (chủ yếu là thuộc tính số), chưa giải quyết tốt bài toán phân cụm trên dữ liệu có kiểu thuộc tính hỗn hợp.
  • Hạn chế về ràng buộc không gian: Các thuật toán phân cụm dữ liệu không gian chưa hỗ trợ đầy đủ cơ chế cho phép người dùng đưa các điều kiện ràng buộc thực tế vào quá trình phân tích.
  • Hạn chế trong phần thực nghiệm: Các thực nghiệm trên Weka 3.8 chủ yếu dừng lại ở mức độ chạy thử nghiệm (demo) thao tác giao diện với các tập dữ liệu mẫu quy mô nhỏ, chưa đi sâu vào việc đo lường, so sánh độ chính xác hoặc phân tích tính tối ưu giữa các thuật toán phân cụm khác nhau.
  • Hướng nghiên cứu tiếp: Nghiên cứu các phương pháp tự động xác định số cụm $k$ tối ưu; mở rộng thuật toán để xử lý các tập dữ liệu chứa thuộc tính hỗn hợp; tích hợp các ràng buộc thực tế vào thuật toán phân cụm dữ liệu không gian; và xây dựng tiêu chí đánh giá định lượng để lựa chọn thuật toán phân cụm tối ưu cho từng bài toán kinh doanh cụ thể.

Giá trị tham khảo

Báo cáo khóa luận có giá trị tham khảo đối với các nhóm đối tượng và mục đích sau:

  • Sinh viên và học viên ngành Công nghệ thông tin, Hệ thống thông tin quản lý, Khoa học dữ liệu: Tài liệu hữu ích cho việc tiếp cận khái niệm cơ bản về quy trình KDD, phân biệt tác vụ mô tả và dự đoán, nắm bắt cách thức hoạt động của các thuật toán phân lớp và phân cụm phổ biến.
  • Người nghiên cứu bước đầu về công cụ khai phá dữ liệu: Cung cấp tài liệu tham khảo thực hành về việc chuẩn bị dữ liệu định dạng bảng tính (.csv) và các bước cấu hình, thao tác với thuật toán SimpleKMeans trên công cụ Weka Explorer 3.8.
  • Nội dung đáng tham khảo nhất:
    1. Mục diễn giải toán học từng bước của thuật toán K-means với ma trận khoảng cách và cập nhật trọng tâm tại Chương 2.
    2. Mô hình cây quyết định giải quyết bài toán thời tiết chơi golf và ví dụ bảng tính Excel cho thuật toán k-NN.
    3. Bảng phân loại 9 yêu cầu kỹ thuật đối với bài toán phân cụm dữ liệu trong môi trường cơ sở dữ liệu lớn.

Câu hỏi thường gặp

1. Khóa luận nêu ra những hạn chế nào của ngôn ngữ truy vấn SQL truyền thống đối với việc khai thác dữ liệu lớn?
Theo tác giả, khi cơ sở dữ liệu đạt kích thước Gigabyte hoặc Terabyte, truy vấn SQL truyền thống không thể hỗ trợ ra quyết định phân tích đối với các dữ liệu phi cấu trúc và các quy luật tiềm ẩn. Ngoài ra, SQL không thể tối ưu hóa cho các câu hỏi mang tính phức tạp như tìm các bản ghi nghi ngờ gian lận hoặc tìm các đối tượng tương đồng với một tập mẫu cho trước.

2. Trong ví dụ số học của thuật toán K-means ở Chương 2, kết quả phân nhóm cuối cùng của 4 điểm dữ liệu là gì?
Thuật toán K-means dừng lại ở vòng lặp thứ hai khi ma trận gán nhóm không thay đổi ($G_1 = G_2$). Bốn điểm được chia thành hai nhóm: Nhóm 1 gồm Điểm $A(1,1)$ và Điểm $B(2,1)$; Nhóm 2 gồm Điểm $C(4,3)$ và Điểm $D(5,4)$.

3. Bài toán quản lý sân golf của David trong kỹ thuật Cây quyết định đưa ra các quy tắc phân lớp nào cho việc chơi golf?
Mô hình cây quyết định rút ra 3 quy tắc chính: nếu trời nhiều mây (Overcast), khách luôn chơi golf; nếu trời nắng (Sunny), khách chơi khi độ ẩm $\le 70%$ và không chơi khi độ ẩm $> 70%$; nếu trời mưa (Rain), khách chỉ chơi khi không có gió (Windy = FALSE) và không chơi khi trời có gió (Windy = TRUE).

4. Ba tập dữ liệu được tác giả sử dụng để thực nghiệm trên phần mềm Weka 3.8 gồm những trường thông tin nào?
Ba tập dữ liệu gồm: tệp dulieutenniss.csv (các thuộc tính: Trời, Nhiệt độ, Độ ẩm, Gió, Chơi); tệp nganhang.csv (các thuộc tính: Thu nhập từ 11 đến 50 triệu, Tuổi từ 20 đến 50, Quyết định vay); và tệp sinhvien.csv (các thuộc tính: Mã số từ 1 đến 20 sinh viên, Quê quán, Sở thích).

5. Những nhược điểm chính của thuật toán K-means được tác giả chỉ ra trong khóa luận là gì?
Văn bản nêu rõ K-means có hai hạn chế chính: hiệu quả của thuật toán phụ thuộc nhiều vào việc người dùng phải chọn trước số nhóm $k$ (theo kinh nghiệm hoặc giả định), và chi phí tính toán khoảng cách trong các vòng lặp rất lớn khi tham số $k$ cũng như kích thước tập dữ liệu tăng lên.

Kết luận

Khóa luận "Phân cụm, phân lớp trong khai phá dữ liệu và ứng dụng trong bài toán kinh doanh" đã hệ thống hóa đầy đủ cơ sở lý luận về quy trình khám phá tri thức, các tác vụ khai phá dữ liệu cùng các thuật toán phân cụm, phân lớp nền tảng. Công trình làm rõ cơ chế tính toán của các giải thuật thông qua các ví dụ minh họa bằng số học cụ thể và quy tắc suy diễn logic. Đồng thời, đề tài đã bước đầu thực nghiệm thuật toán SimpleKMeans trên công cụ Weka 3.8 với ba tập dữ liệu kinh doanh và quản lý mẫu, làm tiền đề cho các nghiên cứu chuyên sâu hơn về tối ưu hóa giải thuật phân cụm trên dữ liệu hỗn hợp.