Bối cảnh và vấn đề nghiên cứu

Ngành tài chính - ngân hàng hoạt động trong lĩnh vực tiền tệ nhạy cảm, giữ vai trò huyết mạch và tác động trực tiếp đến mọi chủ thể trong nền kinh tế. Sản phẩm của ngân hàng là các dịch vụ tài chính gắn liền với chu chuyển dòng tiền, phục vụ nhu cầu thanh toán và đầu tư. Do mô hình kinh doanh phụ thuộc chặt chẽ vào mức độ tín nhiệm từ công chúng để huy động vốn và cấp tín dụng, ngân hàng buộc phải liên tục củng cố niềm tin của khách hàng. Trong bối cảnh chuyển dịch số và cạnh tranh thị trường, hoạt động tiếp thị qua điện thoại (telemarketing) đối mặt với thách thức lớn về chi phí và tỷ lệ chuyển đổi. Sự bùng nổ của khối lượng dữ liệu giao dịch và thông tin khách hàng khiến việc xử lý bằng phương pháp thủ công trở nên kém khả thi, đặt ra yêu cầu ứng dụng các công cụ khai phá dữ liệu để phân loại khách hàng tiềm năng và tối ưu hóa chiến dịch tiếp thị.

Mục tiêu nghiên cứu của đề tài được tác giả xác định thông qua ba nhiệm vụ cụ thể:

  1. Áp dụng các lý thuyết đã học về khoa học dữ liệu vào thực tế để giải quyết các vấn đề và bài toán cụ thể của tổ chức ngân hàng.
  2. Sử dụng các phương pháp phân tích phân lớp dữ liệu để giải quyết bài toán và so sánh các phương pháp nhằm tìm ra thuật toán tối ưu cho việc dự báo.
  3. Đánh giá kết quả của phương pháp được lựa chọn để đảm bảo tính chính xác và hiệu quả của quá trình dự báo dữ liệu.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Khách hàng đã tiếp nhận sự tư vấn tiếp thị thông qua các cuộc gọi điện thoại trực tiếp từ một tổ chức ngân hàng tại Bồ Đào Nha.
  • Phạm vi nghiên cứu: Tập trung vào bộ dữ liệu chiến dịch tiếp thị trực tiếp tiền gửi có kỳ hạn của tổ chức ngân hàng tại Bồ Đào Nha, được nhóm tác giả S. Moro và cộng sự công bố vào tháng 6 năm 2014 trên tạp chí Decision Support Systems (Elsevier).

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của đề tài dựa trên bài toán phân lớp dữ liệu (Classification) trong khai phá dữ liệu (Data Mining) và học máy (Machine Learning). Phân lớp là quá trình gán nhãn một đối tượng dữ liệu vào một hoặc nhiều lớp định trước dựa trên mô hình được huấn luyện từ tập dữ liệu quá khứ. Đề tài khảo sát cơ sở toán học và cơ chế vận hành của các thuật toán:

  • Hồi quy Logistic (Logistic Regression): Mô hình xác suất dự đoán đầu ra rời rạc từ vector giá trị đầu vào, bao gồm hồi quy logistic nhị phân, hồi quy logistic đa thức và hồi quy logistic thứ tự.
  • Cây quyết định (Decision Tree): Cấu trúc đồ thị dạng cây phân chia dữ liệu thành các nhánh và nút lá nhằm mô tả, tổng quát hóa tập dữ liệu cho cả bài toán phân lớp lẫn hồi quy.
  • Máy vector hỗ trợ (Support Vector Machine - SVM): Thuật toán tìm kiếm siêu phẳng tối ưu nhằm tối đa hóa khoảng cách biên giữa các lớp dữ liệu trong không gian nhiều chiều (khảo sát các dạng Hard Margin, Soft Margin, Multi-Class và Kernel SVM).
  • Mạng nơ-ron nhân tạo (Neural Network) và Rừng ngẫu nhiên (Random Forest).

Phương pháp nghiên cứu thực nghiệm được thực hiện trên môi trường trực quan của phần mềm mã nguồn mở Orange (nền tảng Python). Quy trình phân lớp gồm hai giai đoạn:

  1. Huấn luyện mô hình: Sử dụng kỹ thuật kiểm định chéo K-lần (K-fold cross validation với k=5) trên tập dữ liệu huấn luyện (Data Train) để kiểm soát các hiện tượng chưa khớp (Underfitting) và quá khớp (Overfitting).
  2. Đánh giá và dự báo: So sánh hiệu năng mô hình qua các chỉ số định lượng bao gồm độ chính xác phân lớp (Classification Accuracy - CA), diện tích dưới đường cong ROC (AUC), độ chuẩn xác (Precision), độ thu hồi (Recall) và điểm F1-score; phân tích ma trận nhầm lẫn (Confusion Matrix) với sai lầm loại 1 (False Positive) và sai lầm loại 2 (False Negative); phân tích đường cong ROC (Receiver Operating Characteristic); áp dụng mô hình tối ưu lên tập dữ liệu dự báo (Data Forecast).

Nguồn dữ liệu sử dụng là bộ dữ liệu Bank Marketing tích hợp trong thư viện Datasets của phần mềm Orange, có dung lượng 466,1 KB, gồm 4.119 dòng quan sát và 20 thuộc tính mô tả.

Nội dung chính theo từng chương

Chương 1: Tổng quan về bài toán phân lớp dữ liệu

Chương này trình bày các khái niệm nền tảng về phân lớp dữ liệu, phân biệt giữa dự đoán nhãn danh mục (categorical label) và giá trị liên tục trong khai phá dữ liệu. Tác giả tổng hợp các ứng dụng thực tiễn của phân lớp trong các lĩnh vực: tài chính - ngân hàng (dự báo giá chứng khoán, xếp hạng tín dụng, đánh giá rủi ro), tiếp thị và bán hàng (dự báo doanh thu, phát hiện khách hàng trung thành) và kinh tế học (dự báo khủng hoảng, phân tích cung cầu).

Nội dung tiếp theo phân tích đặc tính kỹ thuật của ngôn ngữ lập trình Python và phần mềm Orange. Python được nhấn mạnh ở tính phổ biến, cú pháp nhất quán và hệ sinh thái thư viện xử lý dữ liệu mạnh mẽ (NumPy, Pandas, Scikit-learn). Phần mềm Orange được trình bày như một công cụ đa nhiệm với giao diện lập trình trực quan (visual programming) thông qua các widget kết nối luồng dữ liệu, hỗ trợ thuật toán học máy có giám sát lẫn không giám sát, xử lý đồ họa và tích hợp mở rộng với Python. Tác giả luận giải lý do chọn đề tài dựa trên yêu cầu cấp thiết về phân tích dữ liệu khách hàng trong kỷ nguyên Internet vạn vật (IoT), xác định ba mục tiêu cụ thể, đối tượng khảo sát và ý nghĩa thực tiễn đối với công tác điều chỉnh chiến lược tiếp thị ngân hàng.

Chương 2: Các mô hình phân lớp dữ liệu

Chương hai tập trung hệ thống hóa cơ sở lý thuyết của bốn mô hình phân lớp chính và quy trình đánh giá thực nghiệm:

  • Hồi quy Logistic: Định nghĩa hàm logistic, phân biệt ba biến thể (nhị phân, đa thức, thứ tự) và nguyên lý làm tròn xác suất quanh ngưỡng 0,5 để đưa ra nhãn phân lớp nhị phân.
  • Cây quyết định: Phân tích nguyên lý phân tách nút, ưu điểm (không đòi hỏi chuẩn hóa dữ liệu, xử lý được dữ liệu liên tục và rời rạc, tính diễn giải cao) và nhược điểm (nhạy cảm với dữ liệu phụ thuộc thời gian, chi phí xây dựng cao).
  • Máy vector hỗ trợ (SVM): Cơ chế tối đa hóa lề phân cách bằng siêu phẳng, các kỹ thuật phân lớp tuyến tính và phi tuyến qua nhân (kernel).
  • Mạng nơ-ron: Cấu trúc các lớp nơ-ron truyền nhận thông tin mô phỏng hệ thần kinh sinh học.

Quy trình phân lớp hai bước được thiết lập: bước một huấn luyện mô hình qua kỹ thuật K-fold cross validation; bước hai kiểm định mô hình trên tập dữ liệu kiểm thử độc lập và ứng dụng dự báo dữ liệu mới. Tác giả phân tích chi tiết các trạng thái mô hình (Underfitting, Overfitting, Good fitting) và xây dựng hệ thống chỉ số đo lường hiệu năng: ma trận nhầm lẫn kích thước $k \times k$, tỷ lệ lỗi sai lầm loại 1 ($FP$) và sai lầm loại 2 ($FN$), công thức tính độ chính xác toàn thể ($CA$), điểm F1-score dưới dạng trung bình điều hòa giữa Precision và Recall, cùng nguyên lý biểu diễn đồ thị ROC và diện tích AUC.

Chương 3: Kết quả thực nghiệm

Chương ba mô tả chi tiết quá trình xử lý dữ liệu và kết quả thực nghiệm giải quyết hai bài toán kinh doanh cụ thể. Dữ liệu gốc gồm 4.119 bản ghi với 20 biến độc lập và 1 biến mục tiêu y. Tác giả phân loại các biến thành bốn nhóm chính:

Nhóm biến Tên thuộc tính Định dạng Mô tả nội dung
Thông tin nhân khẩu học age, job, marital, education, default, housing, loan Số / Phân loại Tuổi, nghề nghiệp (12 nhóm), tình trạng hôn nhân, trình độ học vấn, tình trạng nợ xấu, vay mua nhà, vay tiêu dùng
Lịch sử tiếp xúc chiến dịch hiện tại contact, month, day_of_week, duration Số / Phân loại Hình thức liên lạc (cellular/telephone), tháng cuối liên lạc, ngày trong tuần, thời lượng cuộc gọi cuối (giây)
Lịch sử chiến dịch trước đó campaign, pdays, previous, poutcome Số / Phân loại Số lượt liên hệ chiến dịch này, số ngày trôi qua từ lần liên hệ trước (999 là chưa từng liên hệ), số lượt liên hệ trước, kết quả tiếp thị trước
Chỉ số kinh tế vĩ mô emp.rate, cons.price.idx, cons.conf.idx, euribor3m, nr.employed Số (Numeric) Tỷ lệ thay đổi việc làm, chỉ số giá tiêu dùng, chỉ số niềm tin người tiêu dùng, lãi suất Euribor 3 tháng, số lượng nhân viên
Biến mục tiêu y Nhị phân Khách hàng đăng ký gửi tiền có kỳ hạn ('yes' hoặc 'no')

Công tác tiền xử lý dữ liệu được thực hiện qua các bước:

  1. Quan sát dữ liệu gốc qua widget Data Table, phát hiện 4,8% giá trị bị thiếu (missing values).
  2. Xử lý dữ liệu thiếu bằng widget Preprocess với phương pháp điền giá trị trung bình/tần số cao nhất (Average/Most frequent).
  3. Sử dụng widget Select Rows để loại bỏ các bản ghi chứa giá trị "unknown" tại sáu trường dữ liệu nhân khẩu học (job, marital, education, default, housing, loan). Dữ liệu sau làm sạch được lưu thành tệp Bank Marketing.
  4. Tách tập dữ liệu bằng Data Sampler theo tỷ lệ 70% huấn luyện (Data Train) và 30% dự báo (Data Forecast).

Nghiên cứu triển khai thực nghiệm trên hai bài toán:

  • Bài toán 1: Dự đoán khả năng khách hàng đăng ký tiền gửi có kỳ hạn (biến mục tiêu y) sử dụng toàn bộ 20 biến độc lập. Ba thuật toán tham gia so thử nghiệm gồm Logistic Regression, Random Forest và Neural Network qua K-fold cross validation ($k=5$). Kết quả Test & Score cho thấy Logistic Regression đạt hiệu quả cao nhất với AUC đạt 0,921; CA đạt 0,907; Precision đạt 0,895. Ma trận nhầm lẫn ghi nhận sai lầm loại 1 là 36,0% và sai lầm loại 2 là 7,2%. Đường cong ROC của Logistic Regression tiệm cận điểm lý tưởng (0;1) sát nhất. Mô hình được ứng dụng trên Data Forecast qua widget Prediction; tại mẫu quan sát thứ nhất, xác suất dự báo khách hàng đồng ý gửi tiền đạt 98,433% ('yes') so với 1,567% từ chối ('no').
  • Bài toán 2: Dự đoán sự thành công của chiến dịch tiếp thị (biến mục tiêu poutcome) dựa trên nhóm khách hàng từng được tiếp cận. Tác giả dùng Select Rows loại bỏ giá trị "nonexistent" ở cột poutcome, đồng thời dùng Select Columns loại bỏ ba biến kinh tế vĩ mô (emp.rate, euribor3m, nr.employed) để giữ lại 15 biến đầu vào. Ba mô hình kiểm định gồm Logistic Regression, Decision Tree và Neural Network. Kết quả ghi nhận Decision Tree đạt hiệu năng vượt trội với CA đạt 0,965; Precision đạt 0,965; sai lầm loại 1 là 6,2% và sai lầm loại 2 là 2,4%. Đồ thị ROC của Decision Tree tiệm cận điểm (0;1) tốt nhất, do đó thuật toán Cây quyết định được chọn để dự báo dữ liệu bài toán 2.

Chương 4: Kết luận

Chương bốn tổng kết toàn bộ kết quả nghiên cứu thực nghiệm. Tác giả khẳng định đồ án đã hoàn thành mục tiêu xây dựng quy trình phân tích và dự báo trực quan trên phần mềm Orange, chứng minh tính khả thi của việc ứng dụng học máy trong hỗ trợ ra quyết định tiếp thị ngân hàng. Đồ án cũng thẳng thắn chỉ rõ các hạn chế về quy mô mẫu, sự tồn tại của dữ liệu khuyết và đề xuất các định hướng phát triển nghiên cứu tiếp theo.

Kết quả và đóng góp

Nghiên cứu mang lại kết quả định lượng cụ thể thông qua việc so sánh các thuật toán phân lớp trên hai bài toán thực nghiệm:

Bài toán Thuật toán tối ưu AUC Độ chính xác (CA) Độ chuẩn xác (Precision) Sai lầm loại 1 (FP) Sai lầm loại 2 (FN)
Bài toán 1 (Target: y) Logistic Regression 0,921 0,907 0,895 36,0% 7,2%
Bài toán 2 (Target: poutcome) Decision Tree - 0,965 0,965 6,2% 2,4%

Các kiến nghị và giải pháp do nhóm tác giả đề xuất đối với ngân hàng gồm:

  • Ứng dụng mô hình Logistic Regression để sàng lọc danh sách khách hàng tiềm năng trước khi thực hiện cuộc gọi, ưu tiên liên hệ các khách hàng có xác suất dự báo đăng ký gửi tiền cao nhằm nâng cao tỷ lệ chốt giao dịch.
  • Phân tích sâu các yếu tố đặc thù tạo nên quyết định đăng ký hoặc từ chối gửi tiền của khách hàng dựa trên trọng số biến đầu vào (như thời lượng cuộc gọi duration, lịch sử tiếp xúc pdays, previous), từ đó cá nhân hóa kịch bản tư vấn.
  • Sử dụng mô hình Decision Tree của Bài toán 2 để đánh giá hiệu quả chiến dịch cũ đối với tệp khách hàng từng tương tác, quyết định duy trì hoặc tái cấu trúc chiến lược tiếp cận cho từng phân khúc cụ thể.

Đóng góp tự nêu của đề tài:

  • Xây dựng thành công quy trình khai phá dữ liệu luồng hoàn chỉnh trên phần mềm Orange, minh chứng khả năng triển khai các bài toán học máy phức tạp mà không đòi hỏi viết mã lệnh chuyên sâu.
  • Cung cấp mô hình thực nghiệm so sánh đa thuật toán trên tập dữ liệu thực tế ngành ngân hàng, giải quyết đồng thời hai khía cạnh: phân loại khách hàng tiềm năng và dự báo kết quả chiến dịch tiếp thị.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế tồn tại được văn bản đề cập:

  • Bộ dữ liệu Bank Marketing có 4,8% dữ liệu bị thiếu và chứa nhiều quan sát mang giá trị "unknown" ở các thuộc tính quan trọng; việc loại bỏ hoàn toàn các dòng dữ liệu này làm giảm dung lượng mẫu khả dụng phục vụ huấn luyện.
  • Dữ liệu nghiên cứu bắt nguồn từ một tổ chức ngân hàng tại Bồ Đào Nha vào năm 2014, do đó các đặc tính nhân khẩu học và các chỉ số kinh tế vĩ mô (lãi suất Euribor, tỷ lệ việc làm) mang tính cục bộ theo thị trường châu Âu thời điểm đó, chưa phản ánh đầy đủ bối cảnh tài chính - ngân hàng tại Việt Nam.
  • Ở Bài toán 2, việc lọc bỏ nhãn "nonexistent" khiến mô hình chỉ áp dụng được cho nhóm khách hàng cũ đã từng tiếp xúc, chưa tổng quát hóa cho tập khách hàng hoàn toàn mới.

Hướng phát triển đề tài:

  • Tiếp tục thu thập và thử nghiệm trên các tập dữ liệu mở rộng hoặc dữ liệu thực tế tại các ngân hàng thương mại Việt Nam để kiểm chứng tính ổn định của mô hình.
  • Nghiên cứu kết hợp các kỹ thuật tiền xử lý nâng cao, tối ưu hóa siêu tham số (hyperparameter tuning) cho các thuật toán phân lớp trên Orange.
  • Khai thác thêm các thuật toán học máy khác và tích hợp mã nguồn Python mở rộng trong Orange để thực hiện các bài toán phân cụm khách hàng (Clustering) hoặc dự báo chuỗi thời gian.

Giá trị tham khảo

Đồ án là tài liệu tham khảo phù hợp cho:

  • Sinh viên và học viên chuyên ngành Khoa học dữ liệu, Hệ thống thông tin quản lý, Công nghệ thông tin kinh doanh, Phân tích kinh doanh (Business Analytics) đang tìm kiếm hướng dẫn thực hành khai phá dữ liệu trên công cụ Orange.
  • Người làm nghiên cứu ứng dụng trong lĩnh vực Tiếp thị số và Quản trị ngân hàng cần tham khảo phương pháp luận thiết lập bài toán dự báo chuyển đổi khách hàng từ dữ liệu cuộc gọi viễn thông.

Các phần nội dung có giá trị tham khảo cao:

  • Bảng mô tả chi tiết 21 thuộc tính dữ liệu kinh tế - ngân hàng tại Chương 3, đặc biệt là cách phân nhóm biến nhân khẩu học, biến tương tác và biến kinh tế vĩ mô.
  • Thiết kế luồng xử lý thực nghiệm trên Orange từ các bước Impute Missing Values, Select Rows, Select Columns, Data Sampler cho đến Test & Score, Confusion Matrix và ROC Analysis.

Câu hỏi thường gặp

1. Bộ dữ liệu Bank Marketing sử dụng trong đồ án có quy mô và cấu trúc ban đầu như thế nào?
Bộ dữ liệu được lấy từ thư mục Datasets tích hợp sẵn của phần mềm Orange, có dung lượng 466,1 KB, gồm 4.119 dòng quan sát và 20 biến độc lập cùng 1 biến mục tiêu y. Dữ liệu gốc ghi nhận tỷ lệ thiếu là 4,8% và chứa nhiều giá trị "unknown" ở các biến phân loại.

2. Nhóm tác giả đã xử lý các giá trị bị thiếu và giá trị không xác định ("unknown") trong dữ liệu bằng cách nào?
Nhóm sử dụng widget Preprocess với công cụ Impute Missing Values theo phương pháp gán giá trị trung bình hoặc giá trị có tần số xuất hiện cao nhất (Average/Most frequent). Sau đó, nhóm sử dụng widget Select Rows để thiết lập điều kiện lọc bỏ các dòng chứa giá trị "unknown" tại sáu trường thuộc tính: job, marital, education, default, housing và loan, trước khi xuất dữ liệu sạch ra tệp Bank Marketing.

3. Sự khác biệt cơ bản về biến mục tiêu và biến đầu vào giữa Bài toán 1 và Bài toán 2 là gì?
Ở Bài toán 1, biến mục tiêu là y (khách hàng có đăng ký tiền gửi có kỳ hạn hay không) với 20 biến độc lập được giữ lại toàn bộ. Ở Bài toán 2, biến mục tiêu là poutcome (kết quả chiến dịch tiếp thị trước đó gồm 'failure' và 'success'); nhóm đã lọc bỏ các giá trị "nonexistent" và loại bỏ ba biến kinh tế vĩ mô (emp.rate, euribor3m, nr.employed), chỉ sử dụng 15 biến độc lập liên quan đến thông tin khách hàng và lịch sử liên lạc.

4. Vì sao thuật toán Hồi quy Logistic được lựa chọn cho Bài toán 1?
Qua kiểm định K-fold cross validation ($k=5$) trên ba thuật toán (Logistic Regression, Random Forest, Neural Network), mô hình Logistic Regression đạt các chỉ số tốt nhất: AUC đạt 0,921; độ chính xác phân lớp (CA) đạt 0,907; độ chuẩn xác (Precision) đạt 0,895. Đồng thời, mô hình ghi nhận tỷ lệ sai lầm ma trận nhầm lẫn thấp nhất (sai lầm loại 1 là 36,0%, sai lầm loại 2 là 7,2%) và có đường cong ROC tiệm cận điểm (0;1) sát nhất.

5. Kết quả đánh giá mô hình Cây quyết định (Decision Tree) trong Bài toán 2 đạt các chỉ số định lượng nào?
Trong Bài toán 2, mô hình Decision Tree vượt trội hơn Logistic Regression và Neural Network khi đạt độ chính xác phân lớp (CA) là 0,965 và độ chuẩn xác (Precision) là 0,965. Tỷ lệ sai lầm loại 1 được kiểm soát ở mức 6,2% và sai lầm loại 2 ở mức 2,4%, cùng đường cong ROC tiệm cận điểm (0;1) tối ưu nhất.

Kết luận

Đồ án môn học đã giải quyết bài toán dự đoán khách hàng tiềm năng và đánh giá hiệu quả tiếp thị ngân hàng thông qua việc xây dựng quy trình phân tích dữ liệu trực quan trên phần mềm Orange. Bằng phương pháp kiểm định chéo K-fold ($k=5$) và hệ thống chỉ số đánh giá toàn diện, nghiên cứu đã chứng minh mô hình Hồi quy Logistic đạt hiệu quả cao nhất trong dự đoán đăng ký tiền gửi (CA 0,907; AUC 0,921) và mô hình Cây quyết định đạt hiệu quả vượt trội trong phân loại kết quả chiến dịch (CA 0,965). Kết quả thực nghiệm cung cấp cơ sở khoa học để các nhà quản trị ngân hàng phân khúc khách hàng, điều chỉnh chiến lược tiếp thị qua điện thoại và tối ưu hóa chi phí vận hành.