Bối cảnh và vấn đề nghiên cứu

Trong kỷ nguyên số hóa, dữ liệu đã trở thành tài sản chiến lược giúp các tổ chức tài chính và ngân hàng tối ưu hóa quy trình ra quyết định. Thị trường ngân hàng hiện đại đang đối mặt với áp lực cạnh tranh gay gắt, đòi hỏi các đơn vị phải liên tục đổi mới phương thức tiếp cận để thấu hiểu hành vi người tiêu dùng và nâng cao trải nghiệm khách hàng. Tiếp thị ngân hàng (Bank Marketing) đóng vai trò là cầu nối thiết yếu giữa tổ chức tín dụng và người sử dụng dịch vụ tài chính.

Báo cáo đồ án học phần Khoa học dữ liệu với đề tài "Phân lớp bộ dữ liệu Bank Marketing dựa trên ứng dụng Orange" được thực hiện bởi Nhóm 3 (sinh viên Khoa Công nghệ thông tin Kinh doanh, Trường Công nghệ và Thiết kế - Đại học Kinh tế TP.HCM) dưới sự hướng dẫn của TS. Nguyễn Quốc Hùng vào tháng 12 năm 2024. Đề tài tập trung khai thác bộ dữ liệu tiếp thị của ngân hàng nhằm giải quyết bài toán phân loại hành vi gửi tiền tiết kiệm có kỳ hạn của khách hàng.

Văn bản xác định rõ 4 mục tiêu nghiên cứu cụ thể:

  1. Đánh giá các thuộc tính của khách hàng (độ tuổi, giới tính, thu nhập, tình trạng nghề nghiệp, v.v.) tác động đến khả năng thành công của các chiến lược tiếp thị.
  2. Dự báo tiềm năng phát triển của các công cụ số đối với hoạt động tiếp thị trong lĩnh vực ngân hàng.
  3. Áp dụng các phương pháp học máy phân lớp (như mô hình hồi quy logistic, mô hình cây quyết định, máy vector hỗ trợ) để dự đoán quyết định lựa chọn sản phẩm, dịch vụ tài chính của khách hàng.
  4. Đề xuất các giải pháp đổi mới trong tương lai giúp ngân hàng thu hút và duy trì mối quan hệ bền vững với khách hàng.

Đối tượng nghiên cứu của đồ án là bộ dữ liệu thực nghiệm Bank Marketing, tập trung vào các chiến dịch tiếp thị qua điện thoại và phản hồi của khách hàng đối với sản phẩm tiền gửi có kỳ hạn.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và khái niệm nền tảng

Đồ án hệ thống hóa các khái niệm nền tảng trong lĩnh vực khoa học dữ liệu:

  • Dữ liệu (Data): Là các giá trị định tính hoặc định lượng phản ánh các sự vật, hiện tượng. Dữ liệu được phân chia thành hai loại chính: dữ liệu có cấu trúc và dữ liệu không có cấu trúc.
Tiêu chí so sánh Dữ liệu có cấu trúc Dữ liệu không có cấu trúc
Bản chất phân tích Định lượng Định tính
Cơ chế tạo lược đồ Lược đồ ghi trước (schema-on-write) Lược đồ đọc sau (schema-on-read)
Phương thức tìm kiếm Sử dụng các truy vấn SQL chuẩn Cần công cụ chuyên biệt
Định dạng dữ liệu Ký tự chữ và số (alphanumeric) xác định trước Biểu diễn kỹ thuật số phi ký tự
Hệ thống lưu trữ RDBMS, kho dữ liệu (Data Warehouse) Cơ sở dữ liệu NoSQL, Data Lake
  • Thông tin (Information): Dữ liệu sau khi được xử lý, tổ chức và phân tích để mang lại hiểu biết sâu sắc về hiện tượng.
  • Khoa học dữ liệu (Data Science): Lĩnh vực liên ngành kết hợp giữa Kiến thức nghiệp vụ (Domain Knowledge), Khoa học máy tính (Computer Science) và Toán học - Thống kê (Mathematics & Statistics) nhằm phát hiện các mẫu ẩn và hỗ trợ ra quyết định.
  • Marketing ngân hàng: Tập hợp các hoạt động quảng bá dịch vụ tài chính, xây dựng độ nhận diện thương hiệu và thiết lập mối quan hệ lâu dài giữa ngân hàng với khách hàng.

Phương pháp nghiên cứu và công cụ sử dụng

Đồ án sử dụng phương pháp thực nghiệm phân tích định lượng kết hợp khai phá dữ liệu (Data Mining) và học máy (Machine Learning), thông qua hai nền tảng phần mềm:

  1. Microsoft Excel: Sử dụng cho các phân tích thống kê mô tả cơ bản, quản lý dữ liệu và dự báo chuỗi thời gian, bao gồm:
    • Công cụ Descriptive Statistics, lệnh Subtotal, chức năng hợp nhất dữ liệu Consolidate, bảng tổng hợp đa chiều PivotTable.
    • Các mô hình dự báo: Phương pháp Trung bình trượt (Moving Average), San bằng mũ (Exponential Smoothing), Phân tích Hồi quy tuyến tính (Linear Regression).
    • Phương pháp tối ưu hóa thông qua công cụ Solver với các ràng buộc điều kiện.
  2. Phần mềm Orange Data Mining: Nền tảng mã nguồn mở trực quan hóa quy trình xử lý dữ liệu không cần lập trình mã lệnh, triển khai các kỹ thuật:
    • Tiền xử lý dữ liệu (Preprocess), chia tập dữ liệu (Data Sampler) theo tỷ lệ hoặc kiểm định chéo (Cross Validation, Bootstrap).
    • Các thuật toán phân lớp: Hồi quy Logistic (Logistic Regression), Cây quyết định (Decision Tree), Máy vector hỗ trợ (Support Vector Machine - SVM).
    • Kỹ thuật phân cụm: Phân cụm K-means và Phân cụm phân cấp (Hierarchical Clustering - Diana và Agnes).
    • Phương pháp đánh giá mô hình: Ma trận nhầm lẫn (Confusion Matrix), Phân tích đường cong ROC (ROC Analysis), Đánh giá chỉ số diện tích dưới đường cong (AUC) và điểm số hiệu năng qua widget Test and Score.

Nội dung chính theo từng chương

Chương 1: Giới thiệu về khoa học dữ liệu và giới thiệu đề tài

Chương mở đầu tập trung trình bày tổng quan về ngành khoa học dữ liệu và bối cảnh thực tiễn của đề tài:

  • Phân tích các ứng dụng tiêu biểu của khoa học dữ liệu trong thương mại điện tử (hệ thống gợi ý sản phẩm tại Amazon, Shopee, TikTok Shop), y tế (chẩn đoán bệnh, theo dõi sức khỏe qua Google Fit, Apple Health), sản xuất (quản lý kho, logistics) và tài chính - ngân hàng (phân khúc khách hàng, quản trị danh mục đầu tư).
  • Trình bày lý do lựa chọn bộ dữ liệu Bank Marketing: Làm rõ sự dịch chuyển trong hành vi tiêu dùng dịch vụ ngân hàng hiện đại và vai trò của việc phân loại khách hàng tiềm năng nhằm tối ưu hóa chi phí vận hành chiến dịch quảng bá.
  • Xác định các khái niệm cốt lõi về Marketing ngân hàng và thiết lập hệ thống 4 mục tiêu nghiên cứu của đồ án.

Chương 2: Tổng quan về chương trình sử dụng và các phương pháp sử dụng

Chương này cung cấp hướng dẫn phương pháp luận và kỹ thuật thao tác chi tiết trên hai công cụ phân tích:

1. Các phương pháp khai thác dữ liệu trên Microsoft Excel

  • Thống kê mô tả: Sử dụng công cụ Descriptive Statistics để tính toán các chỉ số thống kê tổng hợp (minh họa qua bài toán sản lượng bán hàng).
  • Tổng hợp và hợp nhất dữ liệu: Kỹ thuật nhóm dữ liệu theo nhân viên kinh doanh bằng lệnh Subtotal; hợp nhất bảng dữ liệu của nhiều chi nhánh/cửa hàng bằng Consolidate theo vị trí và theo hạng mục; trích xuất dữ liệu đa chiều qua PivotTable.
  • Dự báo chuỗi thời gian và hồi quy:
    • Phương pháp Trung bình trượt (Moving Average): $$F_t = \frac{1}{w} \sum_{i=1}^{w} D_{t-i}$$ (Trong đó: $F_t$ là giá trị dự báo kỳ $t$, $D$ là dữ liệu thực tế, $w$ là kích thước cửa sổ trượt).
    • Phương pháp San bằng mũ (Exponential Smoothing): $$F_t = F_{t-1} + \alpha (D_{t-1} - F_{t-1})$$ (Với $\alpha$ là hệ số điều chỉnh, $0 < \alpha < 1$; văn bản minh họa trường hợp dự báo với $\alpha = 0$).
    • Phương pháp Phân tích Hồi quy (Regression): Xác định phương trình đường xu hướng (Trendline) và hệ số xác định $R^2$ trên biểu đồ phân tán Scatter Plot.
  • Phân tích tối ưu hóa: Xây dựng bài toán quy hoạch tuyến tính (tối ưu hóa sản lượng nông nghiệp lúa gạo và lúa mì) bằng công cụ Solver, thiết lập hàm mục tiêu và hệ thống ràng buộc (Constraints).

2. Khai thác dữ liệu trên nền tảng Orange

Giới thiệu chi tiết hệ thống widget theo các nhóm chức năng:

  • Nhóm Data: File (đọc dữ liệu, gán vai trò Feature cho biến độc lập và Target cho biến phụ thuộc; phân loại kiểu dữ liệu Numeric, Categorical, Text, Datetime), Data Table, Data Info, Data Sampler (các chế độ lấy mẫu: tỷ lệ cố định, lấy mẫu có hoàn lại, phân tầng Stratified, K-fold Cross Validation), Preprocess (làm sạch, xử lý giá trị thiếu Missing Values), Paint Data, Save Data.
  • Nhóm Visualize: Tree Viewer, Distributions, Scatter Plot (khảo sát tương quan hai chiều), Silhouette Plot (đo lường độ gắn kết cụm với ngưỡng tối ưu $> 0$).
  • Nhóm Model:
    • Tree: Thiết lập cây nhị phân, kiểm soát độ sâu tối đa (Limit maximal tree depth), ngưỡng dừng phân tách nút.
    • Support Vector Machine (SVM): Phân lớp dữ liệu bằng siêu phẳng phân cách tối ưu trong không gian nhiều chiều.
    • Logistic Regression: Mô hình hóa xác suất phân loại cho biến mục tiêu rời rạc.
  • Nhóm Evaluate: Ứng dụng Test and Score, Confusion Matrix, ROC Analysis kết hợp các phương pháp phân chia dữ liệu Hold-out và K-fold Cross-Validation.

Chương 3: Ứng dụng phương pháp vào bài toán thực tế

Chương 3 triển khai toàn bộ quy trình thực nghiệm trên bộ dữ liệu Bank Marketing:

  • Tiền phân tích và thống kê mô tả: Nhập dữ liệu qua công cụ File, kiểm tra cấu trúc trên Data Table, thực hiện tiền xử lý dữ liệu và quan sát phân phối của các biến đặc trưng:
    • Đặc điểm nhân khẩu học: Độ tuổi, nghề nghiệp/sự nghiệp, tình trạng hôn nhân, trình độ học vấn.
    • Tình trạng tài chính: Tín dụng vỡ nợ, dư nợ vay cá nhân, tình trạng vay mua nhà.
    • Thuộc tính chiến dịch: Hình thức liên lạc (điện thoại cố định/di động), số lượt liên lạc theo tháng và theo ngày trong tuần, các chỉ số kinh tế vĩ mô (tỷ lệ thay đổi việc làm, số lượng nhân công theo quý).
    • Biến mục tiêu ($y$): Quyết định của khách hàng về việc có đăng ký gửi tiền tiết kiệm định kỳ hay không (yes/no).
  • Phân lớp dữ liệu:
    • Phân chia tập dữ liệu qua widget Data Sampler: Nhóm thực hiện trích xuất tập huấn luyện (Training Set) và tập kiểm thử (Test Set) theo tỷ lệ 70% - 30%, đồng thời thử nghiệm các kịch bản phân chia mẫu khác nhau (chia 5 phần, 10 phần, các tỷ lệ 10-66%, 20-75%, 50-90%).
    • Huấn luyện đồng thời 3 mô hình học máy: Hồi quy Logistic, SVM và Cây quyết định.
    • Kiểm thử mô hình: Đánh giá phân loại trên tập thử nghiệm độc lập và trích xuất ngẫu nhiên 200 mẫu quan sát bất kỳ để kiểm tra năng lực dự báo thực tế.

Chương 4: Đánh giá kết quả mô hình và hướng phát triển

  • Trình bày kết quả đánh giá mô hình dựa trên các thước đo định lượng:
    • So sánh diện tích dưới đường cong ROC (AUC) của từng mô hình theo các phân lớp mục tiêu ($y = \text{no}$ và $y = \text{yes}$).
    • Phân tích Ma trận nhầm lẫn (Confusion Matrix) cho từng thuật toán (Logistic Regression, SVM, Decision Tree) nhằm nhận diện tỷ lệ dự báo chính xác và các trường hợp phân loại sai.
  • Đánh giá tổng quát toàn bộ quy trình tìm kiếm mô hình tối ưu cho bài toán tiếp thị ngân hàng.
  • Tổng kết các nội dung công việc đã hoàn thành và đề xuất hướng mở rộng cho các nghiên cứu tiếp theo.

Kết quả và đóng góp

Kết quả chính

  1. Xây dựng hoàn chỉnh quy trình phân tích dữ liệu: Đồ án đã hệ thống hóa và trực quan hóa toàn bộ luồng xử lý từ bước tiền xử lý, khám phá dữ liệu, phân đoạn thuộc tính khách hàng đến xây dựng mô hình phân lớp trên phần mềm Orange.
  2. Khảo sát đặc trưng hành vi khách hàng: Phân tích trực quan cho thấy các yếu tố nhân khẩu học (độ tuổi, nghề nghiệp, học vấn) và lịch sử tương tác (kênh liên lạc, số lần tiếp cận trong chiến dịch) có ảnh hưởng rõ rệt đến quyết định gửi tiết kiệm của khách hàng.
  3. So sánh hiệu năng các mô hình phân lớp: Triển khai thử nghiệm thành công 3 thuật toán học máy (Logistic Regression, Tree, SVM) trên tập dữ liệu huấn luyện và tập kiểm thử (bao gồm thử nghiệm trên tập con 200 mẫu ngẫu nhiên), đánh giá chi tiết qua công cụ Test and Score, biểu đồ ROC Curve và bảng chỉ số AUC.

Giải pháp và khuyến nghị của nhóm tác giả

  • Ngân hàng cần áp dụng mô hình phân lớp dữ liệu để lọc và xác định nhóm khách hàng có xác suất phản hồi tích cực cao trước khi tiến hành chiến dịch tiếp thị qua điện thoại, giúp tiết kiệm chi phí vận hành.
  • Đổi mới các kênh tiếp cận, kết hợp phân tích thuộc tính cá nhân hóa để xây dựng thông điệp quảng bá phù hợp cho từng phân khúc khách hàng.

Đóng góp thực tiễn

Đồ án chứng minh tính khả thi của việc ứng dụng các công cụ khai phá dữ liệu trực quan (No-code/Low-code) như Orange kết hợp các kỹ thuật phân tích bảng tính trên Excel để giải quyết bài toán nghiệp vụ kinh doanh - tài chính mà không đòi hỏi phức tạp về lập trình thuật toán.

Hạn chế và hướng nghiên cứu tiếp

  • Hạn chế: Báo cáo được thực hiện trong khuôn khổ đồ án môn học, nhóm tác giả tự nhận định còn những hạn chế nhất định về kinh nghiệm chuyên sâu trong việc tinh chỉnh tham số nâng cao của các mô hình học máy.
  • Hướng phát triển:
    • Nghiên cứu mở rộng việc áp dụng các mô hình học máy phức tạp hơn để nâng cao độ chính xác dự báo.
    • Tích hợp thêm các kỹ thuật phân cụm dữ liệu chuyên sâu (K-means, Hierarchical Clustering) nhằm phân nhóm chi tiết hành vi tiêu dùng của khách hàng trước khi đưa vào mô hình phân lớp.
    • Mở rộng kiểm thử mô hình trên các bộ dữ liệu giao dịch tài chính quy mô lớn hơn trong thực tế.

Giá trị tham khảo

Báo cáo đồ án là tài liệu tham khảo hữu ích cho:

  • Sinh viên ngành Khoa học dữ liệu, Công nghệ thông tin kinh doanh, Hệ thống thông tin quản lý và Tài chính - Ngân hàng: Cung cấp tài liệu thực hành chi tiết về các bước khai phá dữ liệu, cách cấu hình widget trên phần mềm Orange và các hàm phân tích dự báo/tối ưu hóa trên Microsoft Excel.
  • Người nghiên cứu các đề tài phân tích dữ liệu ứng dụng: Cung cấp khung phương pháp luận rõ ràng về quy trình xử lý bài toán phân lớp nhị phân trên bộ dữ liệu Bank Marketing.

Câu hỏi thường gặp

1. Đồ án sử dụng những công cụ phần mềm nào để xử lý và phân tích dữ liệu?
Đồ án kết hợp hai công cụ: Microsoft Excel (sử dụng các công cụ Descriptive Statistics, Subtotal, Consolidate, PivotTable, Moving Average, Exponential Smoothing, Regression, Solver) và phần mềm khai phá dữ liệu trực quan Orange Data Mining.

2. Bộ dữ liệu Bank Marketing được phân tích dựa trên những nhóm thuộc tính nào?
Bộ dữ liệu gồm các nhóm biến: nhân khẩu học (độ tuổi, nghề nghiệp, tình trạng hôn nhân, trình độ học vấn), thông tin tín dụng (lịch sử nợ xấu, dư nợ vay, vay mua nhà), thông tin liên lạc (kênh liên lạc, số lượt gọi theo tháng/tuần), chỉ số kinh tế vĩ mô (biến động việc làm, số lượng lao động) và biến mục tiêu ghi nhận quyết định gửi tiền tiết kiệm có kỳ hạn ($y$: yes/no).

3. Những thuật toán học máy nào được triển khai để phân lớp dữ liệu?
Nhóm nghiên cứu triển khai và so sánh 3 thuật toán phân lớp chính trên Orange: Mô hình Cây quyết định (Decision Tree), Hồi quy Logistic (Logistic Regression) và Máy vector hỗ trợ (Support Vector Machine - SVM).

4. Mô hình phân lớp được đánh giá và kiểm thử bằng những phương pháp nào?
Mô hình được đánh giá thông qua widget Test and Score, chỉ số diện tích dưới đường cong AUC, đường cong ROC Analysis, Ma trận nhầm lẫn (Confusion Matrix), kết hợp các kỹ thuật lấy mẫu Hold-out, K-fold Cross-Validation và kiểm thử dự báo trên tập dữ liệu mẫu trích xuất 200 quan sát ngẫu nhiên.

Kết luận

Báo cáo đồ án "Phân lớp bộ dữ liệu Bank Marketing dựa trên ứng dụng Orange" của nhóm sinh viên Trường Công nghệ và Thiết kế - UEH đã giải quyết trọn vẹn bài toán ứng dụng khoa học dữ liệu vào thực tiễn tiếp thị ngân hàng. Bằng việc kết hợp các phương pháp thống kê trên Excel và kỹ thuật học máy phân lớp trực quan trên phần mềm Orange, đề tài đã xây dựng thành công quy trình dự báo quyết định gửi tiết kiệm của khách hàng dựa trên các đặc trưng nhân khẩu học và lịch sử tiếp thị. Kết quả nghiên cứu cung cấp cơ sở khoa học giúp các tổ chức tài chính tối ưu hóa chiến lược tiếp thị hướng đối tượng và nâng cao hiệu quả kinh doanh.