Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh bùng nổ của cuộc Cách mạng Công nghiệp 4.0, sự hội tụ của các công nghệ cốt lõi như Internet vạn vật (IoT), Trí tuệ nhân tạo (AI), Điện toán đám mây (Cloud Computing) và Dữ liệu lớn (Big Data) đã làm thay đổi căn bản phương thức vận hành của các tổ chức kinh tế. Hệ thống thông tin không còn thuần túy phục vụ các tác vụ văn phòng hỗ trợ mà đã chuyển dịch thành công cụ mang tính chiến lược, giúp lãnh đạo doanh nghiệp hoạch định ngân sách vốn, đánh giá rủi ro và ra quyết định đầu tư dựa trên dữ liệu thực chứng (data-driven decisions). Khoa học dữ liệu (Data Science) với tư cách là lĩnh vực liên ngành kết hợp giữa toán học thống kê, công nghệ thông tin và tri thức chuyên ngành đang trở thành phương thức chủ đạo để tự động hóa và nâng cao hiệu quả các nghiệp vụ tài chính - kế toán.

Đề tài "Dự báo khả năng vay vốn của doanh nghiệp thông qua phân tích Bảng cân đối kế toán của tổ chức IDA (International Development Association)" (thuộc học phần Khoa học Dữ liệu, mã lớp học phần 22C1INF50905973, thực hiện tại Thành phố Hồ Chí Minh vào tháng 12 năm 2022) được nhóm tác giả triển khai nhằm giải quyết các nhiệm vụ nghiên cứu cụ thể:

  1. Phân tích các thành phần cấu thành bảng cân đối kế toán lịch sử của Hiệp hội Phát triển Quốc tế (IDA), bao gồm tài sản (Assets), nợ phải trả (Liabilities) và vốn chủ sở hữu (Equity).
  2. Xây dựng và thực nghiệm các mô hình học không giám sát (phân cụm dữ liệu) và học có giám sát (phân lớp dữ liệu) trên phần mềm khai phá dữ liệu trực quan Orange.
  3. So sánh hiệu năng của các thuật toán phân lớp nhằm xác định mô hình tối ưu cho bài toán dự báo khả năng huy động vốn (Fundraising), từ đó đưa ra các đánh giá thực nghiệm về tình hình tài chính của tổ chức.
  • Đối tượng nghiên cứu: Các chỉ tiêu và thông tin tài chính kế toán trên các trang tính (worksheets) của Bảng cân đối kế toán IDA, bao gồm cấu trúc tài sản, nợ phải trả, vốn chủ sở hữu và khả năng huy động vốn.
  • Phạm vi nghiên cứu: Bộ dữ liệu thứ cấp "Historical IDA Balance Sheets" với quy mô 1.762 mẫu quan sát (instances), dung lượng 278 KB.

Cơ sở lý thuyết và phương pháp

Nghiên cứu được thiết lập dựa trên quy trình Phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Databases - KDD) chuẩn hóa gồm 5 giai đoạn liên hoàn: Lựa chọn dữ liệu (Selection), Tiền xử lý dữ liệu (Preprocessing), Chuyển đổi dữ liệu (Transformation), Khai phá dữ liệu (Data Mining) và Đánh giá kết quả mẫu (Interpretation & Evaluation).

Quá trình KDD:

Các phương pháp và công cụ nghiên cứu được sử dụng bao gồm:

  • Khung tiền xử lý dữ liệu:

    • Làm sạch dữ liệu (Data Cleaning): Xử lý dữ liệu khuyết thiếu (bỏ qua, điền thủ công, gán hằng số toàn cục, gán giá trị trung bình tổng thể/theo lớp hoặc ước lượng bằng hồi quy/Bayesian); loại bỏ nhiễu bằng phương pháp chia giỏ (Binning), hồi quy tuyến tính và lọc ngoại lai qua phân cụm.
    • Tích hợp và chuyển đổi (Integration & Transformation): Hợp nhất các lược đồ dữ liệu, xử lý dư thừa dữ liệu; làm mịn, tổng hợp dữ liệu đa mức (aggregation), khái quát hóa và chuẩn hóa dữ liệu về khoảng giá trị quy ước như $[0, 1]$ hoặc $[-1, 1]$.
    • Rút gọn dữ liệu (Data Reduction): Lựa chọn tập thuộc tính con (Feature Selection), giảm số chiều, nén dữ liệu thông qua các mô hình tham số hoặc phi tham số, rời rạc hóa và tạo phân cấp khái niệm.

  • Phương pháp học không giám sát (Phân cụm dữ liệu - Unsupervised Clustering):

    • Phân cụm phân cấp (Hierarchical Clustering): Xây dựng cấu trúc cây phân cấp dựa trên ma trận khoảng cách giữa các phần tử với các phép đo liên kết đơn (Single-link), liên kết đầy đủ (Complete-link), liên kết trung bình (Average-link) và phương pháp liên kết Ward.
    • Phân cụm phân hoạch (Partitioning Clustering - K-Means): Tối ưu hóa khoảng cách từ các điểm dữ liệu trong không gian $d$ chiều đến $k$ tâm cụm qua các vòng lặp cập nhật trọng tâm.
    • Đánh giá chất lượng cụm: Sử dụng biểu đồ Silhouette (Silhouette Plot) và các tiêu chí đánh giá ngoài (External), đánh giá nội bộ (Internal - độ nén, độ phân tách) và đánh giá tương đối (Relative Validation).

  • Phương pháp học có giám sát (Phân lớp dữ liệu - Supervised Classification):

    • Các thuật toán phân lớp: Hồi quy Logistic (Logistic Regression), Cây quyết định (Decision Tree), Máy vector hỗ trợ (Support Vector Machine - SVM) và Mạng nơ-ron nhân tạo (Neural Network).
    • Phương pháp kiểm định và đánh giá: Phân chia dữ liệu theo tỷ lệ giữ lại (Hold-out), kiểm định chéo K lần (K-fold Cross Validation) và lấy mẫu ngẫu nhiên (Random Sampling). Đánh giá độ chính xác qua Ma trận nhầm lẫn (Confusion Matrix), diện tích dưới đường cong ROC (AUC), độ chính xác tổng thể (Classification Accuracy - CA), điểm F1 (F1-score), độ chuẩn xác (Precision) và độ phủ (Recall/TPR).

  • Công cụ phần mềm và nguồn dữ liệu:

    • Nền tảng thực nghiệm: Phần mềm khai phá dữ liệu mã nguồn mở Orange (viết trên ngôn ngữ Python, tương tác bằng luồng canvas và các widget trực quan).
    • Nguồn dữ liệu: Tệp dữ liệu "Historical IDA Balance Sheets" công bố công khai từ Báo cáo tài chính của Hiệp hội Phát triển Quốc tế (IDA).

Nội dung chính theo từng chương

CHƯƠNG 1: GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU VÀ GIỚI THIỆU ĐỀ TÀI

Chương 1 hệ thống hóa khái niệm và tầm quan trọng của Khoa học dữ liệu như một ngành khoa học liên ngành cấu thành từ ba trụ cột tri thức: thống kê toán học, công nghệ thông tin (máy học) và tri thức lĩnh vực ứng dụng cụ thể. Nội dung phân tích làm rõ vai trò của Dữ liệu lớn (Big Data) trong việc thay thế các công cụ quản lý truyền thống (sổ sách, phần mềm bảng tính thông thường) để tối ưu hóa chi phí, nhận diện rủi ro và gia tăng năng lực cạnh tranh cho tổ chức.

Chương này cũng tổng thuật các ứng dụng thực tiễn của Khoa học dữ liệu trên nhiều ngành nghề trọng điểm:

  • Ngành ngân hàng: Quản trị dữ liệu khách hàng, dự đoán doanh thu, phát hiện giao dịch trái phép và xây dựng mô hình rủi ro tín dụng (dẫn chứng trường hợp Bank of America áp dụng máy học để phân cụm, phân lớp, phát hiện gian lận thanh toán và kiểm soát tài khoản rủi ro cao).
  • Ngành tài chính: Tự động hóa quy trình nghiệp vụ, xếp hạng tín dụng, đánh giá rủi ro thế chấp, dự báo tài chính, dự đoán khả năng vỡ nợ, phá sản và thẩm định khả năng huy động vốn của doanh nghiệp.
  • Ngành y tế và sức khỏe: Quản lý bệnh án điện tử, dự đoán diễn tiến bệnh lý, hỗ trợ điều chế dược phẩm và xây dựng ứng dụng chăm sóc sức khỏe cá nhân hóa (như ứng dụng We Do Pulse của Prudential, ứng dụng n-CoVi).
  • Ngành thương mại điện tử: Phân đoạn thị trường, xử lý ngôn ngữ tự nhiên (NLP) phân tích phản hồi khách hàng và xây dựng hệ thống khuyến nghị cá nhân hóa (dẫn chứng trường hợp Amazon tối ưu hóa đề xuất sản phẩm và ngăn chặn gian lận giao dịch).

Từ các cơ sở thực tiễn trên, chương kết luận về tính cần thiết của việc nghiên cứu đề tài dự báo khả năng vay vốn dựa trên Bảng cân đối kế toán của tổ chức IDA với quy mô 1.762 mẫu.

CHƯƠNG 2: TỔNG QUAN VỀ CHƯƠNG TRÌNH SỬ DỤNG VÀ CÁC PHƯƠNG PHÁP SỬ DỤNG

Chương 2 mô tả chi tiết môi trường thực nghiệm phần mềm Orange và nền tảng lý thuyết của các thuật toán được sử dụng. Phần mềm Orange cung cấp giao diện Canvas trực quan cho phép kết nối các widget theo luồng xử lý dữ liệu:

  • Nhóm Data: Gồm các widget File (đọc tệp, cấu hình vai trò Feature/Target và kiểu dữ liệu Numeric, Categorical, Text, Datetime), Datasets (kết nối dữ liệu trực tuyến), DataTable (hiển thị dữ liệu bảng biểu, lọc và khôi phục thứ tự gốc), Data Sampler (chia tập dữ liệu theo tỷ lệ cố định, kích thước cố định hoặc Cross Validation), Preprocess (loại bỏ hoặc thay thế dữ liệu lỗi) và Save Data (xuất dữ liệu).
  • Nhóm Visualize: Gồm Tree Viewer biểu diễn trực quan cấu trúc phân nhánh của cây quyết định.
  • Nhóm Model: Gồm các widget thuật toán Tree, SVM, Logistic Regression và Neural Network.
  • Nhóm Evaluate: Gồm Test and Score (tính toán các chỉ số kiểm định AUC, CA, F1, Precision, Recall với số fold tùy chỉnh), Prediction (dự báo trên tập dữ liệu mới), Confusion Matrix (ma trận nhầm lẫn giúp kiểm soát sai lầm loại 2) và ROC Analysis (đánh giá đường cong hiệu năng phân loại nhị phân).
  • Nhóm Unsupervised: Gồm Hierarchical Clustering, K-Means và Distances (tính toán khoảng cách giữa các hàng/cột).
Nhóm công cụ Widget tiêu biểu Chức năng kỹ thuật chính
Data File, DataTable, Data Sampler, Preprocess Nạp dữ liệu, kiểm tra thuộc tính, trích xuất mẫu huấn luyện/kiểm thử, làm sạch dữ liệu.
Model Logistic Regression, Tree, SVM, Neural Network Khởi tạo cấu trúc các thuật toán phân lớp có giám sát.
Evaluate Test and Score, Confusion Matrix, ROC Analysis Đánh giá chéo K-fold, tính toán AUC, CA, F1, trực quan hóa sai số phân loại.
Unsupervised Hierarchical Clustering, K-Means, Distances Tính ma trận khoảng cách, gom cụm phân cấp và phân hoạch K-Means.

Song song đó, chương 2 phân tích sâu các cơ sở toán học và thuật toán: nguyên lý hàm sigmoid trong Hồi quy Logistic; nguyên lý phân nhánh nhị phân/thứ bậc trong Cây quyết định; nguyên lý xác định siêu phẳng tối ưu cực đại hóa lề khoảng cách trong SVM; cơ chế truyền lan và học trọng số trong Mạng nơ-ron nhân tạo; các độ đo khoảng cách (Single-link, Complete-link, Average-link, Ward) trong phân cụm phân cấp và thuật toán lặp 4 bước cập nhật trọng tâm trong K-Means.

CHƯƠNG 3: MÔ HÌNH NGHIÊN CỨU ĐỀ XUẤT

Chương 3 xây dựng khung mô hình nghiên cứu đề xuất áp dụng trên bộ dữ liệu "Historical IDA Balance Sheets". Bộ dữ liệu phản ánh toàn diện các số liệu kế toán lịch sử từ tài sản, nợ phải trả đến vốn chủ sở hữu nhằm phục vụ mục tiêu xác định khả năng huy động vốn của IDA từ các tổ chức kinh tế khác.

Cấu trúc thuộc tính của bộ dữ liệu nghiên cứu được định nghĩa chi tiết theo bảng biến sau:

STT Tên biến Vai trò (Role) Kiểu/Ý nghĩa biến
1 Classification Feature Phân loại hạng mục kế toán
2 Grouping Feature Nhóm các thành phần kế toán liên quan
3 Final Category Feature Danh mục phân loại cuối
4 Category Feature Danh mục phân loại đầu
5 Year Feature Năm tài chính ghi nhận dữ liệu
6 Amount (US$, Million) Feature Số tiền thu/chi kế toán (đơn vị: triệu USD)
7 Line Item Description Feature Miêu tả chi tiết khoản mục kế toán
8 Fundraising (0: No – 1: Yes) Target Biến mục tiêu: Khả năng vay vốn (0: Không, 1: Có)

CHƯƠNG 4: ỨNG DỤNG CÁC PHƯƠNG PHÁP VÀO BÀI TOÁN CỤ THỂ

Chương 4 trình bày toàn bộ tiến trình thực nghiệm tính toán trên phần mềm Orange qua ba phân đoạn:

  1. Quy trình ETL và kiểm tra dữ liệu: Nạp tệp Historical IDA BS dung lượng 278 KB với 1.762 bản ghi qua widget File và liên kết với DataTable. Kết quả kiểm tra xác nhận dữ liệu hoàn chỉnh, không có giá trị khuyết thiếu (Missing Value = 0), do đó quy trình được chuyển thẳng sang bước phân tích mô hình mà không cần kích hoạt widget Preprocess.

  2. Thực nghiệm phân cụm dữ liệu (Học không giám sát):

    • Hierarchical Clustering: Thiết lập số cụm $k = 2$ kết hợp phương pháp tính liên kết Ward. Biểu đồ Silhouette Plot cho thấy các cụm được phân tách rõ ràng và tương thích cao với đặc trưng dữ liệu.
    • K-Means: Thực nghiệm chạy ngẫu nhiên với số cụm $k$ biến thiên từ 2 đến 5. Kết quả phân tích giá trị Silhouette chỉ ra rằng $k = 4$ đạt điểm Silhouette cao nhất; tuy nhiên, do biến mục tiêu bản chất là nhị phân ($0$ và $1$), khi bắt buộc phân thành 2 cụm ($k = 2$), phương pháp K-Means lại cho điểm Silhouette rất thấp.
    • Kết luận phân cụm: Phân cụm phân cấp (Hierarchical Clustering với liên kết Ward tại $k = 2$) đạt chất lượng tối ưu và phản ánh sát thực tế cấu trúc dữ liệu hơn K-Means.

  3. Thực nghiệm phân lớp dữ liệu (Học có giám sát):

    • Lấy mẫu phân chia dữ liệu qua Data Sampler:
      • Tập huấn luyện (Training Set): Sử dụng tùy chọn Fixed proportion of data, trích xuất 70% dữ liệu từ tập gốc, tạo ra tập Training.xlsx gồm 1.234 bản ghi với đầy đủ 8 biến, không có lỗi dữ liệu.
      • Tập kiểm thử/dự báo (Testing Set): Sử dụng tùy chọn Fixed sample size, trích xuất 100 bản ghi độc lập từ tập gốc, lưu thành tập Forecast.xlsx phục vụ kiểm định mô hình.
    • So sánh và đánh giá mô hình:
      • Cấu hình biến Fundraising là biến phụ thuộc (Target) trên tập Training.xlsx.
      • Đưa đồng thời 4 thuật toán: Hồi quy Logistic (Logistic Regression), Cây quyết định (Decision Tree), SVM và Neural Network vào widget Test and Score.
      • Thiết lập các phương thức kiểm định Cross Validation và Random Sampling để đo lường, đối chiếu các chỉ số AUC, CA, F1-score và ma trận nhầm lẫn Confusion Matrix.

CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

Chương 5 tổng kết lại toàn bộ khối lượng công việc nhóm nghiên cứu đã hoàn thành và đề ra các định hướng mở rộng:

  • Công việc đã hoàn thành: Hệ thống hóa cơ sở lý thuyết về Khoa học dữ liệu và quy trình KDD; phân tích thuộc tính bảng cân đối kế toán IDA; thiết lập thành công luồng xử lý trên Orange; đánh giá so sánh thực nghiệm giữa các giải thuật phân cụm (Hierarchical Clustering vs K-Means) và triển khai mô hình phân lớp đánh giá khả năng vay vốn của tổ chức.
  • Hướng phát triển: Mở rộng nghiên cứu trên các bộ dữ liệu báo cáo tài chính đa kỳ của nhiều tổ chức tài chính quốc tế khác; thử nghiệm kết hợp thêm các biến kinh tế vĩ mô và tối ưu hóa các tham số chuyên sâu trong các mô hình máy học nâng cao.

Kết quả và đóng góp

Nghiên cứu đạt được các kết quả thực nghiệm và giá trị đóng góp cụ thể:

  • Kết quả thực nghiệm trên dữ liệu tài chính:

    • Chứng minh tính khả thi của việc khai thác 1.762 quan sát thuộc Bảng cân đối kế toán IDA để dự báo khả năng huy động vốn.
    • Phân định rõ hiệu quả phân cụm: Trong bài toán phân chia 2 nhóm dữ liệu ($k = 2$), phương pháp Phân cụm phân cấp (Hierarchical Clustering) sử dụng liên kết Ward vượt trội hơn thuật toán K-Means về độ tương đồng nội cụm và tính hợp lý của biểu đồ Silhouette.
    • Xây dựng thành công quy trình phân lớp chuẩn hóa với tập huấn luyện 1.234 mẫu (70%) và tập kiểm định 100 mẫu, tích hợp đồng thời 4 thuật toán phân loại máy học (Logistic Regression, Decision Tree, SVM, Neural Network) trên môi trường Orange.

  • Đóng góp về phương pháp và ứng dụng:

    • Thiết lập quy trình trực quan hóa phân tích dữ liệu tài chính kế toán không cần viết mã lệnh phức tạp, giúp các nhà quản trị tài chính dễ dàng tiếp cận và ứng dụng các thuật toán máy học.
    • Đóng góp tài liệu thực nghiệm có tính hệ thống về việc áp dụng quy trình KDD vào phân tích báo cáo tài chính của định chế tài chính quốc tế.

Hạn chế và hướng nghiên cứu tiếp

  • Hạn chế:
    • Nghiên cứu chỉ tập trung khai thác trên bộ dữ liệu Bảng cân đối kế toán lịch sử của duy nhất tổ chức IDA với 1.762 mẫu tĩnh, chưa tích hợp dữ liệu từ Báo cáo kết quả hoạt động kinh doanh hay Báo cáo lưu chuyển tiền tệ.
    • Thuật toán K-Means bộc lộ hạn chế khi ép số cụm về $k = 2$ cho bài toán phân loại nhị phân, dẫn đến chỉ số Silhouette bị suy giảm đáng kể so với khi phân tích ở mức $k = 4$.
  • Hướng nghiên cứu tiếp:
    • Mở rộng quy mô dữ liệu sang các ngân hàng thương mại và doanh nghiệp đa ngành để kiểm định tính tổng quát của mô hình.
    • Bổ sung các kỹ thuật tinh chỉnh siêu tham số (hyperparameter tuning) cho các mô hình SVM và Mạng nơ-ron nhân tạo nhằm tối ưu hóa độ chính xác dự báo.

Giá trị tham khảo

Tài liệu là nguồn tham khảo hữu ích cho:

  • Sinh viên, học viên các ngành Khoa học dữ liệu, Hệ thống thông tin quản lý, Công nghệ thông tin và Tài chính - Ngân hàng đang thực hiện đồ án môn học hoặc khóa luận tốt nghiệp về khai phá dữ liệu tài chính.
  • Giảng viên và người tự học cần tài liệu hướng dẫn thực hành xây dựng quy trình phân tích dữ liệu (ETL, phân cụm, phân lớp, đánh giá Cross Validation và Confusion Matrix) trên phần mềm Orange.
  • Các phần đáng tham khảo nhất bao gồm: Sơ đồ thiết lập pipeline widget trong Chương 2 & Chương 4, bảng định nghĩa 8 biến tài chính trong Chương 3 và phương pháp luận so sánh chất lượng phân cụm qua Silhouette Plot.

Câu hỏi thường gặp

1. Đồ án sử dụng bộ dữ liệu nào và kích thước bộ dữ liệu là bao nhiêu?
Nghiên cứu sử dụng bộ dữ liệu "Historical IDA Balance Sheets" (Bảng cân đối kế toán lịch sử của Hiệp hội Phát triển Quốc tế IDA) với dung lượng 278 KB, gồm 1.762 mẫu quan sát (instances) và 8 trường thuộc tính.

2. Biến mục tiêu (Target) trong mô hình nghiên cứu được xác định như thế nào?
Biến mục tiêu là biến phân loại nhị phân Fundraising nhận hai giá trị: 0 (Không có khả năng vay vốn / không huy động vốn) và 1 (Có khả năng vay vốn / có huy động vốn).

3. Trong bài toán phân cụm dữ liệu, phương pháp nào được kết luận là tối ưu hơn?
Phương pháp Phân cụm phân cấp (Hierarchical Clustering) sử dụng phép tính liên kết Ward với số cụm $k = 2$ được kết luận là tối ưu và sát thực tế hơn K-Means, do K-Means chỉ đạt điểm Silhouette cao ở $k = 4$ nhưng lại đạt điểm rất thấp khi đưa về 2 cụm theo yêu cầu của bài toán nhị phân.

4. Nhóm tác giả đã phân chia tập dữ liệu huấn luyện và kiểm thử như thế nào?
Thông qua widget Data Sampler, nhóm tác giả đã trích xuất 70% dữ liệu từ tập gốc (tương ứng 1.234 mẫu) làm tập huấn luyện (Training.xlsx) và trích xuất 100 mẫu dữ liệu cố định làm tập kiểm thử/dự báo (Forecast.xlsx).

5. Những thuật toán phân lớp nào được đưa vào thử nghiệm trên phần mềm Orange?
Bốn thuật toán phân lớp được tích hợp và so sánh trên widget Test and Score gồm: Hồi quy Logistic (Logistic Regression), Cây quyết định (Decision Tree), Máy vector hỗ trợ (SVM - Support Vector Machine) và Mạng nơ-ron nhân tạo (Neural Network).

Kết luận

Đồ án học phần môn Khoa học Dữ liệu đã hoàn thành việc xây dựng và thực nghiệm quy trình khai phá dữ liệu tài chính trên phần mềm Orange dựa trên 1.762 quan sát Bảng cân đối kế toán của tổ chức IDA. Thông qua việc kiểm định các mô hình học không giám sát và học có giám sát, nghiên cứu đã chứng minh hiệu quả phân cụm vượt trội của phương pháp Hierarchical Clustering (liên kết Ward) và thiết lập khung so sánh hiệu năng của 4 thuật toán phân lớp phổ biến. Đây là tài liệu tham khảo có giá trị thực tiễn cao cho việc ứng dụng công cụ khai phá dữ liệu trực quan vào giải quyết các bài toán phân tích rủi ro và ra quyết định tín dụng trong doanh nghiệp.