Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh chuyển đổi số và cuộc Cách mạng công nghiệp lần thứ tư, dữ liệu được xem là nguồn tài sản quan trọng giúp các tổ chức, doanh nghiệp phân tích thị trường, tối ưu hóa quá trình ra quyết định và nâng cao năng lực cạnh tranh. Khoa học dữ liệu (Data Science) trở thành một lĩnh vực liên ngành thiết yếu, kết hợp giữa toán học, thống kê, trí tuệ nhân tạo và kỹ thuật máy tính để khai phá tri thức từ các tập dữ liệu có quy mô lớn.

Đối với ngành sản xuất đồ uống có cồn, cụ thể là rượu vang trắng, chất lượng thành phẩm phụ thuộc chặt chẽ vào các đặc tính hóa lý hình thành qua quá trình ngâm ủ và điều kiện lên men từ các giống nho. Nhằm hỗ trợ các nhà sản xuất kiểm soát chất lượng và định hướng quy trình kỹ thuật, đề tài "Phân tích bộ dữ liệu Wine Quality - White qua các thuật toán trên Orange" được nhóm nghiên cứu sinh viên Khoa Công nghệ thông tin kinh doanh, Trường Công nghệ và Thiết kế - Đại học Kinh tế TP. Hồ Chí Minh (UEH) thực hiện.

Mục tiêu và nhiệm vụ nghiên cứu cụ thể:

  1. Tổng quan hóa lý thuyết nền tảng về khoa học dữ liệu, các phương pháp thống kê, phân tích dự báo và tối ưu hóa trên Microsoft Excel.
  2. Hệ thống hóa các thuật toán khai phá dữ liệu học có giám sát (phân lớp dữ liệu) và học không giám sát (phân cụm dữ liệu) trên phần mềm mã nguồn mở Orange.
  3. Tiến hành trích xuất, tiền xử lý và chuyển đổi tập dữ liệu thực nghiệm Wine Quality - White.
  4. Phân tích thống kê mô tả 11 biến hóa lý tác động đến cảm quan chất lượng rượu vang trắng.
  5. Ứng dụng các thuật toán máy học phân lớp (Cây quyết định, Hồi quy Logistic, SVM) và các công cụ đánh giá (Ma trận nhầm lẫn, Phân tích đường cong ROC, Test & Score) để phân loại rượu vang đạt chất lượng "Tốt" và "Không tốt".

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: 11 thuộc tính hóa lý và điểm chất lượng cảm quan của rượu vang trắng.
  • Phạm vi dữ liệu: Bộ dữ liệu thực nghiệm Wine Quality - White gồm 4.898 bản ghi (quan sát) được công bố bởi Paulo Cortez và cộng sự (Đại học Minho, Guimarães, Bồ Đào Nha, 2009).
  • Thời gian thực hiện: Tháng 10 năm 2022.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và công cụ sử dụng

  • Quy trình phân tích khoa học dữ liệu: Thực hiện theo quy trình chuẩn 5 bước: (1) Thu thập thông tin và xác định vấn đề, (2) Tiền xử lý dữ liệu, (3) Chuyển đổi dữ liệu, (4) Phân tích dữ liệu, (5) Diễn giải kết quả phân tích.
  • Công cụ phần mềm:
    • Microsoft Excel: Sử dụng bộ công cụ Data Analysis (Descriptive Statistics, Moving Average, Exponential Smoothing, Regression), công cụ hợp nhất dữ liệu (Consolidate, Subtotal, PivotTable) và công cụ tối ưu hóa Solver.
    • Orange Data Mining: Môi trường lập trình trực quan (visual programming) dựa trên ngôn ngữ Python/Typhon, khai thác các widget thuộc các nhóm: Data (File, Datasets, Preprocess, Data Table), Visualize (Tree Viewer, Scatter Plot), Model (Tree, Logistic Regression, SVM), Evaluate (Test and Score, Predictions, Confusion Matrix, ROC Analysis), và Unsupervised (Hierarchical Clustering, k-Means, Distances).

Phương pháp nghiên cứu

  • Phương pháp tiền xử lý và chuyển đổi dữ liệu (ETL): Xử lý dữ liệu khuyết thiếu bằng kỹ thuật thay thế ngẫu nhiên (Impute Missing Values -> Replace with random value); mã hóa thuộc tính mục tiêu quality (thang điểm 0–10) thành thuộc tính phân loại nhị phân Đánh giá (Categorical) gồm hai mức: "Tốt" (điểm $\ge 7$) và "Không tốt" (điểm $< 7$); ẩn biến gốc quality (skip) để tránh rò rỉ dữ liệu.
  • Phương pháp phân lớp dữ liệu (Supervised Learning):
    • Cây quyết định (Decision Tree): Phân nhánh và tổng quát hóa dựa trên các ngưỡng giá trị thuộc tính theo nguyên lý Ockham's Razor.
    • Hồi quy Logistic (Logistic Regression): Mô hình xác suất tuyến tính phân loại nhị phân.
    • Máy vector hỗ trợ (Support Vector Machine - SVM): Xây dựng siêu phẳng (hyperplane) tối đa hóa khoảng cách biên (margin) giữa các lớp dữ liệu trong không gian đa chiều.
  • Phương pháp kiểm thử và đánh giá mô hình:
    • Phân chia dữ liệu: Áp dụng phương pháp Hold-out với tỷ lệ 70% dữ liệu dùng cho tập huấn luyện (training set) và 30% dữ liệu dùng cho tập kiểm thử (testing set).
    • Chỉ số đánh giá: Ma trận nhầm lẫn (Confusion Matrix: TP, TN, FP, FN), Độ chính xác (Accuracy), F1-Score, Đường cong đặc trưng hoạt động của bộ thu (ROC) và Diện tích dưới đường cong (AUC).
  • Phương pháp phân cụm (Unsupervised Learning): Phân cụm phân cấp (Hierarchical Clustering) dựa trên các độ đo khoảng cách (Single-link, Complete-link, Average-link, Centroid, Medoid) và phân cụm phân hoạch (k-Means, k-Medoids).

Nội dung chính theo từng chương

Chương 1: Giới thiệu về Khoa học dữ liệu và giới thiệu đề tài

Chương mở đầu phân tích khái niệm dữ liệu và sự tiến hóa của khoa học dữ liệu qua các cuộc cách mạng công nghiệp: từ cách mạng cơ khí (I), điện lực - dây chuyền (II), kỹ thuật số (III) đến công nghệ 4.0 (IV) với sự bùng nổ của Dữ liệu lớn (Big Data) và Trí tuệ nhân tạo (AI).

Tác giả làm rõ ứng dụng thực tiễn của khoa học dữ liệu trong ba lĩnh vực chủ chốt:

  • Y tế: Hỗ trợ chẩn đoán qua hình ảnh X-quang, phát triển trợ lý sức khỏe tự động, mô phỏng phản ứng dược chất trong điều chế thuốc.
  • Giáo dục: Phân tích xu hướng đào tạo, dự báo nhu cầu kỹ năng và ứng dụng AI giám sát/ngăn chặn gian lận trong thi cử trực tuyến.
  • Ngân hàng: Xây dựng mô hình rủi ro tín dụng, phân loại hành vi khách hàng và tối ưu hóa chiến lược giữ chân khách hàng bằng Machine Learning.

Phần giới thiệu đề tài xác định bài toán phân tích chất lượng rượu vang trắng dựa trên bộ dữ liệu của Paulo Cortez (2009), giải thích cấu trúc 11 biến hóa lý đầu vào và biến mục tiêu đầu ra.

Chương 2: Tổng quan về chương trình sử dụng và các phương pháp sử dụng

Chương 2 trình bày chi tiết về mặt kỹ thuật và toán học của các công cụ, phương pháp được ứng dụng trong đồ án:

  • Kỹ thuật phân tích trên Excel:
    • Thống kê mô tả bằng Descriptive Statistics (Mean, Range, Sum, Count, Confidence Level 95%).
    • Tổng hợp nhóm và đa chiều với Subtotal, Consolidate (theo vị trí và hạng mục), PivotTable.
    • Dự báo chuỗi thời gian bằng phương pháp trung bình trượt (Moving Average) theo công thức: $$F_t = \frac{1}{w} \sum_{i=1}^{w} D_{t-i}$$
    • Phương pháp san bằng mũ (Exponential Smoothing) với công thức $F_t = \alpha D_{t-1} + (1-\alpha)F_{t-1}$ (tham số Damping Factor mặc định là $1-\alpha = 0.3$).
    • Mô hình hồi quy tuyến tính đơn/đa biến và các hàm thống kê FORECAST, INTERCEPT, SLOPE, CORREL.
    • Quy hoạch tuyến tính tối ưu hóa lợi nhuận sử dụng công cụ Solver (minh họa bài toán sản xuất lựu - đào với lợi nhuận cực đại đạt 1.284 USD).
  • Hệ thống hóa phần mềm Orange: Cấu trúc giao diện Canvas, luồng dữ liệu (workflow) giữa các widget thuộc nhóm Data, Visualize, Model, Evaluate, Unsupervised.
  • Cơ sở toán học của các thuật toán máy học: Chi tiết hóa thuật toán Decision Tree, SVM, Logistic Regression; các tiêu chí đánh giá mô hình phân loại (Confusion Matrix, K-fold Cross Validation, Hold-out, ROC/AUC) và các thước đo chất lượng phân cụm (External, Internal như Silhouette, Dunn's Index, DBI, và Relative Validation).

Chương 3: Ứng dụng phương pháp vào bài toán thực tế

Chương này triển khai thực nghiệm toàn diện trên bộ dữ liệu Wine Quality - White. Quy trình gồm các bước:

Bước thực hiện Thao tác trên Orange / Excel Mục đích kỹ thuật
1. Trích xuất dữ liệu Widget Datasets $\rightarrow$ Wine quality-white (kích thước 258.1 KB, 4.898 dòng, 11 thuộc tính). Nạp dữ liệu thực nghiệm ban đầu.
2. Tiền xử lý dữ liệu Widget Preprocess $\rightarrow$ Impute Missing Values $\rightarrow$ Replace with random value. Kiểm tra và làm sạch dữ liệu, đảm bảo không lỗi khuyết thiếu.
3. Mã hóa thuộc tính Xuất sang Excel, dùng hàm =IF(L4>=7, "Tốt", "Không tốt"), khai báo thuộc tính kiểu categorical. Nhị phân hóa nhãn phân lớp chất lượng rượu.
4. Cấu hình biến mục tiêu Widget File $\rightarrow$ Đặt biến Đánh giá làm Target, đặt biến quality thành Skip. Thiết lập bài toán học có giám sát.
5. Chia tách tập dữ liệu Lấy mẫu phân tách 70% dữ liệu (huấn luyện) và 30% dữ liệu (kiểm định). Đánh giá độc lập mô hình học máy.
6. Huấn luyện & Đánh giá Kết nối dữ liệu vào Tree, SVM, Logistic Regression $\rightarrow$ Test and Score, Confusion Matrix, ROC Analysis, Predictions. So sánh hiệu năng phân lớp và đưa ra dự báo.

Phần thống kê mô tả ghi nhận phân bố chi tiết của các thuộc tính hóa lý trên 4.898 mẫu quan sát:

  • Phân bố chất lượng (Quality): Điểm 3 đạt 20 mẫu (0,41%); Điểm 4 đạt 163 mẫu (3,33%); Điểm 5 đạt 1.457 mẫu (29,75%); Điểm 6 đạt 2.198 mẫu (44,87%); Điểm 7 đạt 880 mẫu (17,97%); Điểm 8 đạt 175 mẫu (3,57%); Điểm 9 đạt 5 mẫu (0,10%); Không có mẫu đạt điểm 1, 2 và 10. Điểm trung bình đạt mức 5,88.
  • Phân lớp nhị phân (Đánh giá): Nhóm "Tốt" có 1.060 mẫu (chiếm 21,64%); Nhóm "Không tốt" có 3.838 mẫu (chiếm 78,36%).
  • Độ axit cố định (Fixed acidity): Tập trung chủ yếu ở khoảng 3 – 6 g/l (chiếm 58,15%).
  • Độ axit dễ bay hơi (Volatile acidity): Nằm chủ yếu ở khoảng 0 – 0,6 g/l (với hai nhóm phân bố chính chiếm tỷ lệ xấp xỉ nhau ~45% – 51%).
  • Axit xitric (Citric acid): Nồng độ từ 0 – 0,5 g/l chiếm áp đảo với 93,5%.
  • Lượng đường dư (Residual sugar): Mức 0 – 10 g/l gồm 3.705 mẫu (75,64%); mức $> 10$ g/l gồm 1.193 mẫu (24,36%).
  • Muối clorua (Chlorides): Hàm lượng từ 0 – 0,05 g/l chiếm 64,75% (3.171 mẫu); hàm lượng 0 – 0,03 g/l chiếm 11,75%.
  • Lưu huỳnh đioxit tự do ($SO_2$ free): Mức 1 – 30 mg/l có 2.071 mẫu (42,28%); mức 30,5 – 80 mg/l có 2.777 mẫu (56,70%); mức $> 80$ mg/l có 50 mẫu (1,02%).
  • Tổng lưu huỳnh đioxit ($SO_2$ total): Nồng độ $\le 200$ mg/l chiếm 92,02% (4.507 mẫu); nồng độ $> 200$ mg/l chiếm 7,98% (391 mẫu).
  • Tỷ trọng (Density): Khoảng tỷ trọng 0,990 – 0,996 chiếm 65,39%; khoảng trên 0,996 chiếm 34,61%.
  • Độ pH: Dao động chủ yếu ở mức pH 3,0 – 3,3 (chiếm 70,06% - ngưỡng pH lý tưởng trong chế biến rượu vang); pH $< 3,0$ chiếm 8,94%.

Chương 4: Đánh giá kết quả của mô hình, kết luận và hướng phát triển

Chương tổng kết các hạng mục công việc đã thực hiện trong toàn bộ đồ án, đánh giá khả năng phân loại của các thuật toán phân lớp trên phần mềm Orange thông qua bảng ma trận nhầm lẫn và biểu đồ ROC cho hai nhóm giá trị "Tốt" và "Không tốt", đồng thời thảo luận về xu hướng ứng dụng khoa học dữ liệu trong tương lai.

Kết quả và đóng góp

Kết quả chính

  • Xác lập đặc tính phân bố hóa lý của rượu vang trắng: Kết quả thống kê mô tả trên 4.898 mẫu chỉ ra các chỉ số tiêu chuẩn của rượu vang trắng thương phẩm: độ pH tối ưu tập trung từ 3,0 đến 3,3 (chiếm 70,06%), tổng hàm lượng lưu huỳnh đioxit đa số kiểm soát dưới mức an toàn $\le 200$ mg/l (chiếm 92,02%), và lượng đường dư phần lớn dưới 10 g/l (75,64%).
  • Xây dựng quy trình phân lớp dữ liệu trực quan: Triển khai thành công luồng phân tích học máy hoàn chỉnh trên Orange kết hợp Hold-out (70/30), huấn luyện đồng thời 3 mô hình (Decision Tree, SVM, Logistic Regression), trích xuất ma trận nhầm lẫn và đường cong ROC nhằm xác định khả năng dự báo rượu vang chất lượng tốt ($\ge 7$ điểm).

Đóng góp thực tiễn và giải pháp đề xuất

  • Cung cấp cơ sở dữ liệu định lượng giúp các nhà sản xuất rượu vang kiểm soát các thông số hóa lý quan trọng trong khâu lên men và ủ rượu (đặc biệt là nồng độ axit, đường dư và $SO_2$), từ đó chủ động điều chỉnh quy trình sản xuất đáp ứng thị hiếu người tiêu dùng.
  • Xây dựng tài liệu mẫu về quy trình phân tích và trực quan hóa dữ liệu cho sinh viên khối ngành Kinh tế - Công nghệ thông tin kinh doanh mà không đòi hỏi viết mã lệnh phức tạp.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

  • Tập dữ liệu nghiên cứu có sự mất cân bằng lớp đáng kể giữa nhóm chất lượng "Tốt" (chiếm 21,64%) và nhóm "Không tốt" (chiếm 78,36%), gây ảnh hưởng nhất định đến độ nhạy của các thuật toán phân loại.
  • Đồ án mới tập trung vào các thuật toán phân lớp cơ bản (Decision Tree, Logistic Regression, SVM) và chưa khảo sát sâu các giải thuật học kết hợp (Ensemble Learning) nâng cao.

Hướng phát triển trong tương lai

  • Ứng dụng thêm các kỹ thuật xử lý mất cân bằng dữ liệu (như SMOTE hoặc lấy mẫu lại).
  • Tích hợp thêm các thuật toán học máy nâng cao (Random Forest, Gradient Boosting, Neural Networks) và mở rộng sang bài toán phân cụm dữ liệu khách hàng tiêu thụ rượu vang.

Giá trị tham khảo

Báo cáo đồ án là tài liệu học thuật hữu ích đối với:

  • Sinh viên ngành Khoa học dữ liệu, Hệ thống thông tin quản lý, Công nghệ thông tin kinh doanh: Tham khảo phương pháp xây dựng đồ án môn học, cách kết hợp công cụ thống kê truyền thống (Excel) với công cụ khai phá dữ liệu trực quan (Orange).
  • Học viên, nhà nghiên cứu phân tích dữ liệu ứng dụng: Tham khảo quy trình tiền xử lý, mã hóa nhãn nhị phân, thiết lập ma trận nhầm lẫn và phân tích đường cong ROC trong các bài toán phân loại nhị phân thực tế.

Câu hỏi thường gặp

1. Bộ dữ liệu Wine Quality - White được lấy từ nguồn nào và có quy mô bao nhiêu?

Bộ dữ liệu được công bố bởi tác giả Paulo Cortez thuộc Đại học Minho, Guimarães, Bồ Đào Nha (2009) trong nghiên cứu đăng tải trên tạp chí Decision Support Systems (Elsevier). Tập dữ liệu có dung lượng 258,1 KB, gồm 4.898 bản ghi (instances) với 11 biến thuộc tính hóa lý đầu vào và 1 biến chất lượng đầu ra.

2. Tiêu chí phân loại rượu "Tốt" và "Không tốt" trong đồ án được xác định như thế nào?

Dựa trên thang điểm cảm quan gốc từ 0 đến 10 của biến quality, nhóm tác giả sử dụng hàm điều kiện để chuyển đổi sang biến nhị phân Đánh giá: những mẫu rượu đạt điểm chất lượng từ 7 trở lên ($\ge 7$) được xếp vào nhóm "Tốt", còn lại các mẫu dưới 7 điểm ($< 7$) được xếp vào nhóm "Không tốt". Biến gốc quality sau đó được đặt ở chế độ Skip để loại khỏi mô hình huấn luyện.

3. Tỷ lệ phân bố giữa hai nhóm chất lượng rượu trong tập dữ liệu là bao nhiêu?

Trong tổng số 4.898 mẫu dữ liệu:

  • Nhóm rượu "Tốt" ($\ge 7$ điểm) có 1.060 mẫu, chiếm tỷ lệ 21,64%.
  • Nhóm rượu "Không tốt" ($< 7$ điểm) có 3.838 mẫu, chiếm tỷ lệ 78,36%.

4. Đồ án áp dụng những thuật toán phân lớp nào và phân chia dữ liệu ra sao?

Đồ án sử dụng ba thuật toán phân lớp học có giám sát gồm: Cây quyết định (Decision Tree), Hồi quy Logistic (Logistic Regression) và Máy vector hỗ trợ (SVM). Dữ liệu được phân chia theo phương pháp Hold-out với 70% dữ liệu dùng để huấn luyện mô hình và 30% dữ liệu dùng để kiểm định và đánh giá dự báo.

5. Những thông số hóa lý nào chiếm tỷ lệ vượt trội trong tập dữ liệu rượu vang trắng?

  • Axit xitric (Citric acid): Nồng độ từ 0 – 0,5 g/l chiếm 93,5%.
  • Tổng lưu huỳnh đioxit ($SO_2$ total): Nồng độ $\le 200$ mg/l chiếm 92,02%.
  • Độ pH: Mức pH 3,0 – 3,3 chiếm 70,06%.
  • Lượng đường dư (Residual sugar): Mức 0 – 10 g/l chiếm 75,64%.

Kết luận

Báo cáo đồ án học phần của nhóm sinh viên Đại học UEH đã giải quyết trọn vẹn bài toán phân tích và phân loại chất lượng rượu vang trắng từ 4.898 mẫu dữ liệu hóa lý thực nghiệm. Bằng việc kết hợp hiệu quả giữa công cụ phân tích thống kê trên Excel và nền tảng khai phá dữ liệu trực quan Orange, đồ án đã chuẩn hóa quy trình từ tiền xử lý, trích xuất đặc trưng, đến huấn luyện các mô hình phân lớp như Decision Tree, SVM và Logistic Regression. Kết quả nghiên cứu không chỉ mang lại giá trị thực hành cao trong học phần Khoa học dữ liệu mà còn cung cấp các góc nhìn định lượng tham khảo cho việc kiểm soát chất lượng trong công nghiệp sản xuất rượu vang.