Bối cảnh và vấn đề nghiên cứu

Trong phân tích kinh tế - xã hội, thu nhập cá nhân là chỉ số phản ánh năng lực kinh tế, khả năng tiếp cận các tiện ích đời sống chất lượng cao (giáo dục, y tế) và mức độ công bằng xã hội. Việc phân tích các yếu tố tác động đến thu nhập và xây dựng mô hình dự báo mức thu nhập cá nhân đóng vai trò quan trọng trong việc hỗ trợ hoạch định các chính sách về thuế thu nhập, an sinh xã hội và thị trường lao động.

Đề tài "Phân tích và dự báo bộ dữ liệu Adult trên ứng dụng Orange" được thực hiện bởi nhóm sinh viên Khoa Công nghệ Thông tin Kinh doanh, Đại học Kinh tế TP. Hồ Chí Minh (UEH) trong khuôn khổ học phần Khoa học dữ liệu (Mã lớp học phần: 23C1INF50905957, giảng viên hướng dẫn: Huỳnh Văn Đức).

Mục tiêu nghiên cứu của đề tài bao gồm ba nội dung chính:

  1. Nghiên cứu các yếu tố ảnh hưởng đến thu nhập cá nhân.
  2. Xác định những yếu tố có tác động đáng kể nhất đến việc một cá nhân đạt mức thu nhập trên 50.000 USD/năm.
  3. Đưa ra kết luận và định hướng giải pháp phù hợp nhằm hỗ trợ gia tăng thu nhập.

Đối tượng và phạm vi nghiên cứu của đề tài tập trung vào bộ dữ liệu điều tra dân số Adult (Adult Census Income Dataset) trích xuất từ cơ sở dữ liệu Điều tra dân số Hoa Kỳ năm 1994 bởi Barry Becker. Dữ liệu được lọc theo các điều kiện chuẩn: ((AGE > 16) && (AGI > 100) && (AFNLWGT > 1) && (HRSWK > 0)). Bộ dữ liệu bao gồm 32.561 quan sát với 14 thuộc tính độc lập và 01 biến mục tiêu nhị phân $Y$ phân loại mức thu nhập cá nhân (<=50K và >50K).

STT Tên biến Kiểu/Mô tả dữ liệu Chi tiết các giá trị
1 $Y$ (Biến mục tiêu) Phân loại nhị phân >50K (Thu nhập trên 50.000 USD/năm), <=50K (Thu nhập từ 50.000 USD/năm trở xuống)
2 Age Định lượng Tuổi của người lao động
3 Workclass Định danh Private, Self-emp-not-inc, Self-emp-inc, Federal-gov, Local-gov, State-gov, Without-pay, Never-worked
4 Fnlwgt Định lượng Final Weight (số cá nhân có cùng đặc điểm đại diện)
5 Education Định danh 16 bậc học: Bachelors, Some-college, 11th, HS-grad, Prof-school, Assoc-acdm, Assoc-voc, 9th, 7th-8th, 12th, Masters, 1st-4th, 10th, Doctorate, 5th-6th, Preschool
6 Education-num Định lượng Số năm đi học tích lũy
7 Marital-status Định danh Married-civ-spouse, Divorced, Never-married, Separated, Widowed, Married-spouse-absent, Married-AF-spouse
8 Occupation Định danh 14 nhóm nghề: Tech-support, Craft-repair, Other-service, Sales, Exec-managerial, Prof-specialty, Handlers-cleaners, Machine-op-inspct, Adm-clerical, Farming-fishing, Transport-moving, Priv-house-serv, Protective-serv, Armed-Forces
9 Relationship Định danh Wife, Own-child, Husband, Not-in-family, Other-relative, Unmarried
10 Race Định danh White, Asian-Pac-Islander, Amer-Indian-Eskimo, Black, Other
11 Sex Định danh Female, Male
12 Capital-gain Định lượng Thu nhập từ thặng dư vốn
13 Capital-loss Định lượng Thua lỗ vốn
14 Hour-per-week Định lượng Số giờ làm việc trung bình mỗi tuần
15 Native-country Định danh Quốc gia xuất xứ (hơn 16 quốc gia khác nhau)

Cơ sở lý thuyết và phương pháp

Khóa luận kết hợp hai nền tảng công cụ chính: Microsoft Excel (khai thác, tổng hợp và mô hình hóa cơ bản) và Orange Data Mining (tiền xử lý, học không giám sát và học có giám sát).

Các kỹ thuật khai thác trên Microsoft Excel

  • Thống kê mô tả (Descriptive Statistics): Tính toán các đại lượng đặc trưng mẫu (Mean, Standard Error, Median, Mode, Standard Deviation, Variance, Skewness, Kurtosis, Range, Min, Max, Sum, Count) với độ tin cậy $95%$.
  • Tổng hợp và liên kết dữ liệu: Sử dụng công cụ Subtotal để tính tổng/trung bình theo nhóm phân loại; Consolidate để hợp nhất các bảng dữ liệu cùng hoặc khác cấu trúc; Pivot Table để phân tích tần suất đa chiều.
  • Phân tích dự báo chuỗi và định lượng: Phương pháp trung bình trượt (Moving Average), san bằng mũ (Exponential Smoothing với hệ số điều chỉnh $\alpha = 0{,}3$), hồi quy tuyến tính (Linear Regression) với độ tin cậy $95%$.
  • Phân tích tối ưu hóa: Ứng dụng công cụ Solver giải bài toán quy hoạch tuyến tính tối đa hóa hàm mục tiêu lợi nhuận dưới các ràng buộc tài nguyên (diện tích đất, lượng nước, nhân công).

Các thuật toán khai phá dữ liệu trên phần mềm Orange

  • Học không giám sát (Phân cụm dữ liệu):
    • Phân cụm phân cấp (Hierarchical Clustering): Xây dựng cây phân cấp dựa trên ma trận khoảng cách Euclidean giữa các phần tử và khoảng cách liên cụm (Single-link, Average-link, Complete-link).
    • Phân cụm phân hoạch ($k$-Means): Phân chia $n$ quan sát vào $k$ cụm dựa trên việc tối ưu hóa khoảng cách tới các tâm cụm (Centroids) qua các bước lặp cập nhật trung bình tọa độ.
    • Đánh giá chất lượng phân cụm: Sử dụng biểu đồ và chỉ số Silhouette Index ($S_i \in [-1, 1]$). Ngưỡng đánh giá quy ước: $S_i > 0{,}5$ (cấu trúc cụm rõ ràng, sát thực tế); $0{,}25 \le S_i \le 0{,}5$ (cần chuyên gia đánh giá lại); $S_i < 0{,}25$ (cấu trúc cụm yếu, không đáng tin cậy).
  • Học có giám sát (Phân lớp dữ liệu):
    • Hồi quy Logistic (Logistic Regression): Mô hình hóa xác suất biến cố nhị phân qua hàm Sigmoid/Logit.
    • Cây quyết định (Decision Tree): Phân nhánh thuộc tính dựa trên tiêu chí phân chia tối ưu cấu trúc nhị phân (Binary split).
    • Máy vector hỗ trợ (Support Vector Machine - SVM): Xây dựng siêu phẳng (Hyperplane) phân cách tối đa hóa khoảng cách lề (Margin) giữa các lớp dữ liệu.
  • Phương pháp kiểm thử và chỉ số đánh giá:
    • Kỹ thuật lấy mẫu kiểm định chéo: $K$-fold Cross Validation ($K \in {5, 10, 20}$) và Random Sampling (tỷ lệ phân chia $50% - 90%$, $20% - 70%$, $50% - 66%$).
    • Các chỉ số đo lường hiệu năng: Ma trận nhầm lẫn (Confusion Matrix: xác định Sai lầm loại 1 - False Positive và Sai lầm loại 2 - False Negative), Diện tích dưới đường cong ROC (AUC - Area Under the Curve), Độ chính xác phân lớp (CA - Classification Accuracy), Điểm F1 (F1-score), Độ chuẩn xác (Precision) và Độ thu hồi (Recall).

Nội dung chính theo từng chương

Chương 1: Giới thiệu đề tài

Chương 1 trình bày tính cấp thiết của việc nghiên cứu thu nhập trong bối cảnh phân hóa kinh tế xã hội. Tác giả đưa ra định nghĩa thu nhập là tổng giá trị tài sản, tiền tệ hoặc giá trị kinh tế mà một cá nhân/hộ gia đình tích lũy được trong một khoảng thời gian nhất định. Chương này xác định rõ mục tiêu của đề tài là ứng dụng quy trình khoa học dữ liệu trên bộ dữ liệu Adult nhằm tìm ra các biến số có ảnh hưởng lớn nhất đến mức thu nhập và xây dựng mô hình dự báo thực nghiệm.

Chương 2: Tổng quan về chương trình sử dụng và các phương pháp sử dụng

Chương 2 hệ thống hóa cơ sở lý thuyết và các bước triển khai chi tiết:

  • Quy trình thao tác các chức năng Descriptive Statistics, Subtotal, Consolidate, Pivot Table, Moving Average, Exponential Smoothing, Regression và Solver trên Excel qua các bài toán mẫu minh họa (như bài toán phân bổ nguồn lực lúa mì - lúa gạo đạt lợi nhuận cực đại 378 USD).
  • Bản chất toán học và thuật toán của Hierarchical Clustering, $k$-Means, Logistic Regression, Decision Tree, SVM.
  • Cơ chế đánh giá mô hình phân lớp thông qua ma trận nhầm lẫn, tỷ lệ TPR (True Positive Rate), FPR (False Positive Rate) và phân tích đường cong thực nghiệm ROC/AUC.

Chương 3: Ứng dụng phương pháp vào bài toán thực tế

Chương 3 là phần thực nghiệm trọng tâm của đồ án, được tiến hành theo các giai đoạn:

1. Tiền xử lý và thống kê mô tả dữ liệu

  • Khảo sát dữ liệu gốc ghi nhận $0{,}9%$ giá trị bị thiếu (Missing values). Nhóm sử dụng widget Preprocess trong Orange với thiết lập Replace with random value để điền khuyết tật dữ liệu, xuất ra tập dữ liệu sạch hoàn chỉnh gồm 32.561 dòng.
  • Thống kê mô tả bằng Pivot Table ghi nhận các đặc trưng cơ cấu:
    • Tình trạng lao động: Khu vực tư nhân (Private) chiếm tỷ trọng áp đảo với $74%$; cơ quan chính quyền địa phương (Local-gov) chiếm $7%$; các nhóm làm việc không lương (Without-pay) hoặc chưa bao giờ làm việc (Never-worked) chiếm dưới $0{,}5%$.
    • Giới tính: Nam giới chiếm $66{,}7%$ ($2/3$ tổng số mẫu), Nữ giới chiếm $33{,}3%$ ($1/3$ tổng số mẫu).
    • Trình độ học vấn: Tốt nghiệp trung học phổ thông (HS-grad) chiếm tỷ lệ cao nhất với $32%$ (10.501 người); học đại học chưa tốt nghiệp (Some-college) chiếm $22%$ (7.291 người); người có học vị tiến sĩ (Doctorate) chỉ chiếm $1{,}0%$ (413 người).

2. Thực nghiệm phân cụm dữ liệu (Học không giám sát)

  • Do giới hạn xử lý của thuật toán Hierarchical Clustering trên phần mềm Orange đối với tập dữ liệu lớn hơn 5.000 quan sát, nhóm thực hiện lấy mẫu cố định 5.000 dòng bằng widget Data Sampler (Fixed sample size = 5000), lưu thành tập tin phancum.xlsx và tạm thời ẩn thuộc tính mục tiêu $Y$.
  • Phân cụm phân cấp (Hierarchical Clustering): Kiểm tra phân chia từ 2 đến 5 cụm. Kết quả đo lường bằng Silhouette Plot cho thấy cấu hình 2 cụm đạt giá trị tốt nhất với hệ số tương đồng nội cụm lần lượt là $C_1 = 0{,}485$ và $C_2 = 0{,}259$. Khi chia thành 3, 4, 5 cụm, chỉ số Silhouette xuất hiện các giá trị âm (ví dụ: chia 3 cụm có $C_3 = -0{,}314$; chia 5 cụm có $C_5 = -0{,}351$), phản ánh sự phân mảnh không phù hợp.
  • Phân cụm $k$-Means: Thử nghiệm số cụm $k$ từ 2 đến 8. Kết quả Silhouette Score cao nhất đạt được tại $k = 5$ với điểm trung bình $0{,}126$ ($C_1 = -0{,}041; C_2 = -0{,}107; C_3 = -0{,}020; C_4 = -0{,}013; C_5 = 0{,}465$).
  • Đánh giá ngoại (External Evaluation) với nhãn thực tế: So sánh kết quả phân cụm với nhãn gốc (tập 5.000 mẫu có 1.228 nhãn >50K và 3.772 nhãn <=50K) bằng các hàm logic trong Excel (=IF(...), =COUNTIF(...)):
    • Phương pháp Hierarchical Clustering phân cụm trùng khớp với nhãn gốc: 3.798/5.000 mẫu, đạt tỷ lệ chính xác $75{,}96%$.
    • Phương pháp $k$-Means phân cụm trùng khớp với nhãn gốc: 3.772/5.000 mẫu, đạt tỷ lệ chính xác $75{,}44%$.

3. Thực nghiệm phân lớp dữ liệu (Học có giám sát)

  • Dữ liệu huấn luyện gồm 32.561 quan sát. Dữ liệu kiểm thử độc lập gồm 3.257 quan sát ($10%$ trích từ tập gốc bằng Random Sampling và loại bỏ nhãn $Y$).
  • Xử lý kỹ thuật: Khi huấn luyện mô hình Cây quyết định (Decision Tree), phần mềm Orange phát sinh lỗi: "Fitting failed. Exhaustive binarization does not handle attributes with more than 16 values" do thuộc tính native-country có số lượng danh mục vượt quá 16. Nhóm quyết định loại bỏ thuộc tính native-country khỏi tập thuộc tính huấn luyện để mô hình vận hành ổn định.
  • So sánh hiệu năng các thuật toán phân lớp: So sánh Decision Tree, Logistic Regression và SVM thông qua widget Test and Score. Kết quả tổng hợp theo phương pháp kiểm định chéo $K$-fold:
Phương pháp kiểm thử Chỉ số đánh giá Cây quyết định (Decision Tree)
Cross Validation (5 folds) AUC $71{,}9%$ ($0{,}719$)
CA (Độ chính xác) $83{,}0%$ ($0{,}830$)
F1-Score $83{,}0%$ ($0{,}830$)
Precision $82{,}9%$ ($0{,}829$)
Recall $83{,}0%$ ($0{,}830$)
Cross Validation (10 folds) AUC $71{,}7%$ ($0{,}717$)
CA (Độ chính xác) $82{,}9%$ ($0{,}829$)
F1-Score $82{,}8%$ ($0{,}828$)
Precision $82{,}7%$ ($0{,}827$)
Recall $82{,}9%$ ($0{,}829$)
Cross Validation (20 folds) AUC $71{,}7%$ ($0{,}717$)
CA (Độ chính xác) $83{,}1%$ ($0{,}831$)
F1-Score $83{,}0%$ ($0{,}830$)
Precision $82{,}9%$ ($0{,}829$)
Recall $83{,}1%$ ($0{,}831$)
  • Đánh giá bằng ma trận nhầm lẫn (Confusion Matrix) trên phân chia 5 folds cho thấy mô hình Cây quyết định có tỷ lệ sai lầm loại 2 (False Negative) thấp nhất trong các mô hình khảo sát, với sai lầm loại 1 là $34{,}9%$ và sai lầm loại 2 là $11{,}9%$.
  • Đánh giá đường cong ROC: Mô hình Logistic Regression có đường cong ROC tiệm cận góc $(0;1)$ tốt hơn, nhưng xét tổng hòa các chỉ số CA, F1, Precision và sai lầm loại 2 thì Decision Tree được lựa chọn là mô hình tối ưu nhất để kết nối vào widget Prediction thực hiện dự báo cho 3.257 mẫu kiểm thử.

Chương 4: Kết luận và hướng phát triển

Chương 4 tổng hợp các kết quả thực nghiệm đạt được từ bài toán phân cụm và phân lớp trên bộ dữ liệu Adult. Tác giả chỉ ra các hạn chế kỹ thuật gặp phải và đề xuất 6 hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

Kết quả định lượng chính

  • Xử lý thành công $0{,}9%$ dữ liệu khuyết tật trên 32.561 bản ghi của bộ dữ liệu Adult.
  • Phân tích cơ cấu lao động: Nhóm lao động tư nhân chiếm $74%$, tỷ lệ nam/nữ là $2:1$, học vấn trung học phổ thông chiếm tỷ lệ cao nhất ($32%$), học vị tiến sĩ chiếm $1{,}0%$.
  • Phân cụm dữ liệu: Xác định phương pháp Hierarchical Clustering (2 cụm) có độ tin cậy cao hơn $k$-Means ($k=5$), với độ chính xác khi đối chiếu nhãn ngoại là $75{,}96%$ so với $75{,}44%$.
  • Phân lớp dữ liệu: Xác định thuật toán Cây quyết định (Decision Tree) với cấu hình kiểm định chéo 5 folds là tối ưu nhất, đạt độ chính xác phân loại $\text{CA} = 83{,}0%$, $\text{AUC} = 71{,}9%$, $\text{F1} = 83{,}0%$, $\text{Precision} = 82{,}9%$ và $\text{Recall} = 83{,}0%$.

Đóng góp thực tiễn của đề tài

Đồ án đã chứng minh tính khả thi của việc kết hợp công cụ trực quan hóa Orange Data Mining và Microsoft Excel để thực hiện toàn diện một quy trình khoa học dữ liệu: từ thu thập, tiền xử lý, phân tích thống kê mô tả, phân cụm không giám sát đến phân lớp dự báo có giám sát trên một bộ dữ liệu điều tra dân số thực tế.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  1. Giới hạn quy mô dữ liệu khi phân cụm: Thuật toán Hierarchical Clustering và $k$-Means trên giao diện Orange gặp lỗi quá tải bộ nhớ khi xử lý toàn bộ 32.561 quan sát, buộc nhóm phải giảm kích thước mẫu phân cụm xuống 5.000 dòng.
  2. Loại bỏ biến số phân loại phức tạp: Biến native-country chứa hơn 16 giá trị danh mục gây lỗi thuật toán phân nhánh nhị phân toàn diện (Exhaustive binarization) của Decision Tree trên Orange, dẫn đến việc phải loại bỏ hoàn toàn biến này, làm suy giảm một phần thông tin địa lý - xã hội.

Hướng nghiên cứu tiếp

  • Mở rộng phân tích sâu hơn về mức độ quan trọng của từng thuộc tính (Feature Importance) tác động đến ngưỡng thu nhập trên 50.000 USD/năm.
  • Nghiên cứu biến động thu nhập cá nhân theo chuỗi thời gian gắn với lộ trình thăng tiến sự nghiệp và tích lũy học vấn.
  • Nâng cấp và cải tiến các mô hình học máy phức tạp hơn (như các thuật toán Ensemble Learning) để tối ưu hóa chỉ số AUC.
  • Phân tích sâu thị trường lao động và mối tương quan giữa bằng cấp chuyên môn với cơ hội việc làm.
  • Mở rộng phạm vi khảo sát sang các đối tượng đặc thù (người nước ngoài, người khuyết tật, lao động dưới 18 tuổi).
  • Nghiên cứu mối quan hệ giữa mức thu nhập cá nhân và các chỉ số chất lượng cuộc sống (chỉ số hạnh phúc, sức khỏe thể chất, môi trường sống).

Giá trị tham khảo

Tài liệu là nguồn tham khảo trực quan cho:

  • Sinh viên các ngành Hệ thống thông tin kinh doanh, Khoa học dữ liệu, Phân tích kinh doanh (Business Analytics) đang thực hiện đồ án học phần hoặc nghiên cứu ứng dụng khai phá dữ liệu.
  • Người học cần tài liệu hướng dẫn từng bước (Step-by-step) về việc ứng dụng phần mềm mã nguồn mở Orange kết hợp Microsoft Excel để thực hiện bài toán phân loại nhị phân trên bộ dữ liệu chuẩn Adult Census Income.
  • Tham khảo quy trình xử lý lỗi kỹ thuật thực tế trong công cụ khai phá dữ liệu (lỗi giới hạn số lượng mẫu trong phân cụm, lỗi biến danh mục có nhiều hơn 16 giá trị trong thuật toán cây quyết định).

Câu hỏi thường gặp

1. Tại sao nhóm nghiên cứu phải giảm tập dữ liệu xuống 5.000 dòng khi thực hiện phân cụm?

Phần mềm Orange khi chạy thuật toán Hierarchical Clustering cần tính toán và lưu trữ ma trận khoảng cách giữa tất cả các cặp điểm dữ liệu. Với bộ dữ liệu gốc gồm 32.561 dòng, phần mềm bị quá tải bộ nhớ và báo lỗi. Do đó, nhóm sử dụng widget Data Sampler để trích xuất ngẫu nhiên cố định 5.000 dòng nhằm đảm bảo thuật toán phân cụm phân cấp và $k$-Means vận hành ổn định.

2. Nguyên nhân nào khiến thuộc tính native-country bị loại khỏi mô hình Cây quyết định?

Thuật toán Decision Tree trong Orange áp dụng kỹ thuật nhị phân hóa toàn diện (Exhaustive binarization) để phân nhánh các thuộc tính phân loại. Thuật toán này bị giới hạn xử lý đối với các thuộc tính danh mục có trên 16 giá trị riêng biệt. Do biến native-country có số lượng quốc gia vượt quá ngưỡng 16, Orange xuất hiện thông báo lỗi "Fitting failed", buộc nhóm phải loại bỏ biến này để mô hình có thể huấn luyện thành công.

3. Phương pháp phân cụm nào cho kết quả tốt hơn khi đối chiếu với nhãn thu nhập thực tế?

Khi so sánh với nhãn thực tế trên tập kiểm tra 5.000 mẫu, phương pháp Hierarchical Clustering (chia 2 cụm) đạt tỷ lệ phân cụm chính xác là $75{,}96%$ (3.798/5.000 mẫu), cao hơn phương pháp $k$-Means với $k=5$ đạt $75{,}44%$ (3.772/5.000 mẫu). Mức chênh lệch giữa hai phương pháp là $0{,}52%$.

4. Thuật toán phân lớp nào cho hiệu năng tổng thể tốt nhất trong nghiên cứu?

Mô hình Cây quyết định (Decision Tree) với phương pháp kiểm định chéo 5-fold Cross Validation đạt hiệu năng tổng thể cao nhất với Độ chính xác phân lớp $\text{CA} = 83{,}0%$, $\text{F1} = 83{,}0%$, $\text{Precision} = 82{,}9%$, $\text{Recall} = 83{,}0%$, $\text{AUC} = 71{,}9%$ và có tỷ lệ sai lầm loại 2 thấp nhất so với Hồi quy Logistic và SVM.

Kết luận

Báo cáo đồ án đã hoàn thành mục tiêu xây dựng quy trình phân tích và dự báo thu nhập cá nhân trên bộ dữ liệu Adult Census Income thông qua việc kết hợp công cụ Microsoft Excel và phần mềm Orange Data Mining. Nghiên cứu đã chứng minh thuật toán Cây quyết định là mô hình phân lớp có hiệu năng vượt trội nhất với độ chính xác đạt $83{,}0%$ và chỉ số F1 đạt $83{,}0%$. Kết quả này cung cấp cơ sở thực nghiệm rõ ràng cho việc khai phá dữ liệu kinh tế - xã hội và đặt nền tảng cho các nghiên cứu mở rộng về thị trường lao động trong tương lai.