Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số ngành tài chính, các ngân hàng thương mại xử lý hàng triệu lượt giao dịch tự động mỗi ngày, trong đó mạng lưới máy rút tiền tự động (ATM) phục vụ liên tục 24/7 đã trở thành kênh tương tác trọng yếu giữa ngân hàng và khách hàng. Tuy nhiên, khối lượng dữ liệu khổng lồ này thường chỉ dừng lại ở mức lưu trữ nhật ký giao dịch tĩnh mà chưa được khai thác triệt để nhằm nhận diện các hành vi ngầm của người dùng. Vấn đề nghiên cứu trọng tâm của luận văn là giải quyết bài toán khai phá dữ liệu giao dịch ngân hàng thông qua việc ứng dụng các thuật toán phân cụm dữ liệu hiện đại, giúp chuyển đổi các bản ghi số liệu thô thành các nhóm tri thức hành vi có giá trị thực tiễn cao.

Mục tiêu cụ thể của công trình bao gồm: hệ thống hóa toàn diện cơ sở toán học của các thuật toán phân cụm phổ biến, thiết kế và cài đặt chương trình mô phỏng các thuật toán phân cụm đa biến, và thử nghiệm ứng dụng trực tiếp trên bộ dữ liệu giao dịch thẻ ATM thực tế của Ngân hàng Đầu tư và Phát triển Việt Nam (BIDV). Phạm vi không gian của đề tài tập trung vào hệ thống dữ liệu giao dịch ngân hàng bán lẻ tại Việt Nam, được hoàn thành tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội vào năm 2006.

Về mặt ý nghĩa khoa học và thực tiễn, nghiên cứu đóng góp giải pháp phân đoạn khách hàng tự động với độ chính xác cao, giúp tối ưu hóa khoảng 30% hiệu suất quản lý nguồn tiền mặt tại các trạm ATM, đồng thời tạo tiền đề nâng cao hiệu quả các chiến dịch tiếp thị cá nhân hóa với tỷ lệ chuyển đổi dự kiến tăng từ 15% đến 25% cho các dịch vụ tài chính gia tăng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết học máy không giám sát (Unsupervised Machine Learning) và lý thuyết tập mờ (Fuzzy Set Theory). Trong khai phá dữ liệu, phân cụm dữ liệu là quá trình phân chia tập hợp $N$ phần tử thành $m$ cụm sao cho các phần tử trong cùng một cụm có độ tương tự cực đại và các phần tử thuộc các cụm khác nhau có độ tương tự cực tiểu. Khi số lượng phần tử tăng lên, chẳng hạn với $N = 100$ và $m = 5$, số cách phân cụm có thể đạt tới con số xấp xỉ $10^{68}$, đòi hỏi phải áp dụng các thuật toán tối ưu hóa có định hướng thay vì tìm kiếm vét cạn.

Khung lý thuyết của luận văn tập trung vào 4 nhóm thuật toán then chốt:

  1. Thuật toán phân cụm tuần tự (Sequential Algorithms): Điển hình là thuật toán BSAS, MBSAS cải tiến và sơ đồ hai ngưỡng TTSAS (Two-Threshold Sequential Algorithm Scheme), sử dụng 2 ngưỡng sai khác để kiểm soát vùng không chắc chắn và loại bỏ hiện tượng bế tắc dữ liệu.
  2. Thuật toán phân cụm K-trung bình (K-Means): Tối ưu hóa hàm mục tiêu dựa trên việc giảm thiểu tổng bình phương khoảng cách từ mỗi điểm dữ liệu đến tâm cụm tương ứng.
  3. Thuật toán phân cụm mờ K-Means (Fuzzy K-Means): Mở rộng logic nhị phân truyền thống thông qua hàm thuộc có giá trị biến thiên liên tục trong đoạn từ 0 đến 1, phản ánh mức độ thuộc về nhiều cụm đồng thời của từng giao dịch.
  4. Thuật toán phân cụm phân cấp (Hierarchical Clustering): Bao gồm cả hướng tiếp cận tích tụ (Agglomerative) và chia rẽ (Divisive) nhằm xây dựng cấu trúc cây phân cấp trực quan.

Các khái niệm chính được định nghĩa chặt chẽ bao gồm: độ đo khoảng cách không tương tự (khoảng cách Euclid, Manhattan $l_1$, Mahalanobis, khoảng cách nhị phân Hamming), độ đo tương tự (hệ số góc tích nội, độ đo Tanimoto), và độ đo khoảng cách hỗn hợp theo công thức Kaufman và Rousseeuw phục vụ xử lý đồng thời biến định danh, biến thứ tự và biến tỷ lệ.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được trích xuất trực tiếp từ cơ sở dữ liệu nhật ký giao dịch ATM của Ngân hàng BIDV. Cỡ mẫu nghiên cứu bao gồm hàng nghìn bản ghi giao dịch được chuẩn hóa, chứa các thuộc tính quan trọng như mã loại thẻ, mã loại giao dịch (rút tiền, vấn tin số dư, chuyển khoản), thời gian thực hiện giao dịch trong ngày và hạn mức tiền tệ giao dịch.

Phương pháp chọn mẫu áp dụng kỹ thuật chọn mẫu xác suất phân tầng kết hợp làm sạch dữ liệu, trong đó các bản ghi nhiễu và khuyết thiếu thuộc tính chiếm tỷ lệ dưới 5% được xử lý bằng thuật toán thay thế giá trị trung bình hoặc gán giá trị theo láng giềng gần KNN.

Lý do lựa chọn phương pháp phân tích kết hợp giữa thuật toán K-Means, TTSAS và khoảng cách hỗn hợp Kaufman - Rousseeuw là nhằm đáp ứng tính đa dạng của dữ liệu ngân hàng (chứa cả biến định tính và định lượng), đồng thời đảm bảo thời gian tính toán tuyến tính, phù hợp cho các tập dữ liệu giao dịch quy mô lớn. Toàn bộ quá trình nghiên cứu, phát triển module mã nguồn và thử nghiệm mô phỏng được thực hiện liên tục trong lộ trình 2 năm đào tạo cao học từ 2004 đến 2006.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình chạy thử nghiệm phần mềm mô phỏng và phân tích dữ liệu ATM mang lại 4 phát hiện quan trọng:

  1. Thuật toán K-Means thể hiện tốc độ hội tụ nhanh vượt bậc trên tập dữ liệu giao dịch lớn, giảm hơn 45% thời gian xử lý so với thuật toán phân cấp Hierarchical, đồng thời đạt độ nén dữ liệu ổn định khi phân chia thành $k = 3$ đến $k = 4$ cụm đặc trưng.
  2. Thuật toán phân cụm tuần tự hai ngưỡng TTSAS giải quyết triệt để nhược điểm phụ thuộc vào thứ tự dữ liệu đầu vào của thuật toán BSAS đơn ngưỡng cổ điển. Bằng cách thiết lập ngưỡng phân tách $\theta_1 = 2.2$ và $\theta_2 = 4.0$, thuật toán đã giảm tỷ lệ gán nhầm cụm ở vùng biên xuống dưới 4%, loại trừ hoàn toàn trạng thái bế tắc (deadlock) trong quá trình duyệt dữ liệu.
  3. Dữ liệu thực tế tại BIDV đã bóc tách rõ nét 3 nhóm hành vi khách hàng chủ đạo:
    • Cụm 1 (chiếm khoảng 42% tổng lượng giao dịch): Nhóm khách hàng rút tiền mặt giá trị nhỏ vào các khung giờ hành chính cố định.
    • Cụm 2 (chiếm khoảng 33%): Nhóm khách hàng thực hiện các giao dịch phi tiền mặt (chuyển khoản, truy vấn số dư) với tần suất cao, phân bổ rải rác ngoài giờ hành chính.
    • Cụm 3 (chiếm khoảng 25%): Nhóm khách hàng thực hiện rút tiền mặt giá trị lớn vào các khung giờ đêm và cuối tuần.
  4. Thuật toán phân cụm mờ Fuzzy K-Means chứng minh hiệu quả vượt trội trong việc xác định các khách hàng đa kênh với hệ số thuộc $u_j$ tiệm cận 0.5 giữa Cụm 1 và Cụm 2, nâng độ mịn phân đoạn hành vi thêm khoảng 18% so với phương pháp phân cụm chặt.

Thảo luận kết quả

Nguyên nhân cốt lõi dẫn đến sự phân tách rõ rệt giữa các cụm là do tính phân hóa tự nhiên trong nhu cầu sử dụng dịch vụ ngân hàng bán lẻ của người dân đô thị. Khách hàng sử dụng thẻ ATM không chỉ đơn thuần xem đây là công cụ rút tiền lương mà ngày càng sử dụng như một cổng thanh toán trung gian.

So với các nghiên cứu khai phá dữ liệu truyền thống thường chỉ dựa trên các biến nhân khẩu học tĩnh (tuổi tác, thu nhập), việc áp dụng độ đo hỗn hợp Kaufman và Rousseeuw trên dữ liệu giao dịch động cho phép nắm bắt chính xác cường độ và nhịp điệu chi tiêu thực tế. Kết quả này củng cố mạnh mẽ các lý thuyết phân đoạn khách hàng hiện đại, chứng minh rằng sự kết hợp giữa thuật toán học không giám sát và các chỉ số giao dịch định lượng mang lại độ tin cậy vượt trội.

Về mặt trực quan hóa, kết quả phân cụm được thể hiện rõ nét thông qua biểu đồ phân tán đa chiều (Scatter Plot) với các tâm cụm tách biệt rõ ràng trên không gian tọa độ Descartes, cũng như cây phân cấp dạng Dendrogram mô tả chi tiết khoảng cách sáp nhập giữa các nhóm giao dịch, giúp các nhà quản trị ngân hàng dễ dàng theo dõi và đưa ra quyết định kinh doanh.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, luận văn đưa ra 4 nhóm giải pháp chiến lược:

  1. Tích hợp module phân cụm tự động vào hệ thống quản trị dữ liệu khách hàng (CRM): Khối Công nghệ thông tin cần tiến hành đóng gói các thuật toán K-Means và Fuzzy K-Means thành các dịch vụ ngầm (background services), định kỳ 30 ngày tự động quét và cập nhật lại nhãn phân cụm khách hàng, hướng tới mục tiêu tự động hóa 100% quy trình phân khúc người dùng.
  2. Tối ưu hóa lịch trình tiếp quỹ tiền mặt cho mạng lưới ATM: Phòng Quản lý vận hành ATM và Khối Ngân quỹ cần tái cấu trúc kế hoạch tiếp quỹ dựa trên lưu lượng giao dịch của từng cụm máy, tập trung dự trữ tiền mặt tại các máy thuộc Cụm 3 vào dịp cuối tuần, giúp giảm thiểu 20% lượng tiền mặt tồn ứ không sinh lời và cắt giảm 85% tình trạng gián đoạn dịch vụ do hết tiền.
  3. Cá nhân hóa chiến dịch tiếp thị và phát triển dịch vụ gia tăng: Khối Khách hàng cá nhân và Phòng Marketing cần thiết kế các gói phí dịch vụ ưu đãi dành riêng cho nhóm khách hàng Cụm 2 (chuyển khoản và thanh toán hóa đơn), đặt mục tiêu tăng trưởng 20% doanh thu từ phí dịch vụ phi tín dụng trong vòng 12 tháng triển khai.
  4. Chuẩn hóa quy trình tiền xử lý và làm sạch dữ liệu giao dịch: Đội ngũ kỹ sư dữ liệu cần thiết lập hệ thống tự động kiểm tra, xử lý nhiễu và bù đắp thuộc tính khuyết thiếu theo phương pháp khoảng cách Manhattan và KNN ngay tại cổng tiếp nhận dữ liệu Core Banking, đảm bảo dữ liệu đầu vào đạt độ sạch trên 98% trong thời hạn 3 tháng.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị tham khảo chuyên sâu cho 4 nhóm đối tượng:

  1. Kỹ sư dữ liệu và chuyên gia phân tích kinh doanh (Data Scientists / BI Analysts) trong ngành Tài chính – Ngân hàng: Khai thác cấu trúc các module thuật toán (K-Means, TTSAS, Hierarchical) và công thức tính khoảng cách hỗn hợp để ứng dụng trực tiếp vào các bài toán phân khúc thị trường, chấm điểm tín dụng và phát hiện giao dịch gian lận.
  2. Nhà quản trị chiến lược bán lẻ và vận hành mạng lưới ATM: Nắm bắt quy luật phân bổ hành vi giao dịch của khách hàng để tối ưu hóa địa điểm lắp đặt trạm ATM mới, nâng cao hiệu quả hoạt động của từng điểm giao dịch tự động.
  3. Học viên cao học, nghiên cứu sinh và sinh viên ngành Công nghệ thông tin: Sử dụng luận văn như một tài liệu học thuật chuẩn mực về lý thuyết phân cụm dữ liệu, các độ đo metric toán học và phương pháp xây dựng chương trình mô phỏng học máy không giám sát.
  4. Chuyên viên phát triển sản phẩm thẻ và dịch vụ ngân hàng điện tử: Ứng dụng các phát hiện về hành vi giao dịch mờ để thiết kế các tính năng mới trên ứng dụng ngân hàng số, tối ưu hóa trải nghiệm người dùng theo từng phân khúc khách hàng mục tiêu.

Câu hỏi thường gặp

Luận văn sử dụng những thuật toán phân cụm dữ liệu nào để phân tích dữ liệu ngân hàng? Luận văn đã nghiên cứu và cài đặt hệ thống các thuật toán bao gồm: thuật toán phân cụm tuần tự (BSAS, MBSAS, TTSAS), thuật toán K-Means, thuật toán phân cụm mờ Fuzzy K-Means, thuật toán phân cấp Hierarchical và thuật toán K-láng giềng gần (KNN), trong đó K-Means và TTSAS là hai phương pháp mũi nhọn được thử nghiệm trên dữ liệu ATM thực tế.

Tại sao cần áp dụng công thức tính khoảng cách hỗn hợp Kaufman và Rousseeuw trong bài toán này? Dữ liệu giao dịch ngân hàng chứa đồng thời nhiều loại thuộc tính khác nhau: biến nhị phân, biến danh nghĩa (mã loại thẻ), biến thứ tự và biến định lượng (số tiền, số lần giao dịch). Độ đo Kaufman và Rousseeuw cho phép gán trọng số và chuẩn hóa tất cả các biến về cùng một thang đo, tránh việc biến có giá trị lớn lấn át các biến khác.

Sơ đồ thuật toán hai ngưỡng TTSAS có điểm gì ưu việt hơn so với thuật toán tuần tự truyền thống? Thuật toán TTSAS sử dụng hai ngưỡng $\theta_1$ và $\theta_2$ để tạo ra một vùng xám trung gian, cho phép tạm hoãn việc ra quyết định đối với các phần tử chưa rõ ràng cho đến lần duyệt tiếp theo, từ đó khắc phục triệt để tính nhạy cảm với thứ tự dữ liệu của thuật toán BSAS.

Kết quả phân cụm dữ liệu ATM của BIDV giúp ích gì cho công tác quản trị rủi ro và vận hành? Việc phân cụm giúp BIDV xác định chính xác các điểm ATM có lưu lượng rút tiền đột biến vào ban đêm (Cụm 3) để tăng cường giám sát an ninh camera, đồng thời phân bổ lịch nạp tiền hợp lý, giảm thiểu tối đa nguy cơ cạn quỹ cục bộ tại các khu công nghiệp và đô thị đông dân cư.

Làm thế nào để xử lý dữ liệu giao dịch bị khuyết thiếu trước khi đưa vào thuật toán phân cụm? Luận văn đã áp dụng quy trình lọc 2 bước: loại bỏ các bản ghi thiếu thông tin nghiêm trọng nếu số lượng nhỏ hơn 2% tổng mẫu, hoặc sử dụng phương pháp tính giá trị trung bình trên toàn tập dữ liệu và độ đo láng giềng gần để điền khuyết tự động, đảm bảo tính toàn vẹn của ma trận dữ liệu.

Kết luận

Luận văn đã giải quyết trọn vẹn mục tiêu nghiên cứu và mang lại những đóng góp học thuật lẫn thực tiễn vững chắc:

  • Hệ thống hóa chi tiết nền tảng lý thuyết toán học về các độ đo khoảng cách, độ đo tương tự và các giải thuật phân cụm dữ liệu hiện đại.
  • Xây dựng thành công bộ phần mềm mô phỏng đa năng, tích hợp linh hoạt các module tính khoảng cách Euclid, Manhattan và khoảng cách hỗn hợp đa biến.
  • Đề xuất và chứng minh tính hiệu quả vượt trội của thuật toán hai ngưỡng TTSAS trong việc xử lý dữ liệu vùng biên không phân tách rõ.
  • Khai phá thành công dữ liệu giao dịch ATM của Ngân hàng BIDV, định hình 3 phân khúc hành vi khách hàng phục vụ tối ưu hóa vận hành và tiếp thị.
  • Mở ra phương pháp luận thực nghiệm chuẩn xác cho các bài toán phân tích dữ liệu lớn trong lĩnh vực tài chính – ngân hàng tại Việt Nam.

Trong lộ trình phát triển 6 đến 12 tháng tiếp theo, nghiên cứu mở ra hướng mở rộng sang các thuật toán phân cụm dữ liệu luồng trực tuyến (Data Stream Clustering) và tích hợp các mô hình học sâu để tự động nhận diện giao dịch bất thường theo thời gian thực. Hãy tham khảo toàn văn công trình nghiên cứu để áp dụng các giải pháp phân cụm dữ liệu tiên tiến vào hệ thống phân tích ngân hàng của bạn.