Ứng dụng phân lớp dữ liệu mất cân bằng trong phát hiện gian lận thẻ tín dụng tại ngân hàng

Khóa luận phân tích dữ liệu lớn ứng dụng trong dự đoán hành vi gian lận thẻ tín dụng tại ngân hàng, sử dụng phương pháp phân lớp dữ liệu mất cân bằng.

• Tác giả: Phan Thị Ngà
• Người hướng dẫn: TS. Nguyễn Hữu Xuân Trường
• Trường học: Học viện Chính sách và Phát triển
• Chuyên ngành: Kinh tế số
• Đề tài: Ứng Dụng Phân Lớp Dữ Liệu Mất Cân Bằng Trong Phát Hiện Hành Vi Gian Lận Thẻ Tín Dụng Của Khách Hàng Tại Ngân Hàng
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM KẾT
• LỜI CẢM ƠN
• DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG BIỂU
• LỜI MỞ ĐẦU
• 0.1. Tính cấp thiết của đề tài
• 0.2. Mục đích nghiên cứu
• 0.3. Đối tượng nghiên cứu
• 0.4. Phạm vi nghiên cứu
• 0.5. Phương pháp nghiên cứu
• 0.6. Kết cấu khóa luận
• 1. CHƯƠNG 1: CƠ SỞ LÝ LUẬN VỀ PHÂN LỚP DỮ LIỆU MẤT CÂN BẰNG
• 1.1. Phân lớp dữ liệu
• 1.2. Khái niệm về phân lớp dữ liệu và bài toán phân lớp dữ liệu
• 1.3. Quy trình thực hiện phân lớp dữ liệu
• 1.4. Các độ đo đánh giá mô hình phân lớp dữ liệu
• 1.5. Kết luận chương 1
• 2. CHƯƠNG 2: PHƯƠNG PHÁP PHÂN LỚP DỮ LIỆU MẤT CÂN BẰNG TRONG PHÁT HIỆN GIAN LẬN TÍN DỤNG TẠI NGÂN HÀNG
• 2.1. Vấn đề mất cân bằng dữ liệu trong phát hiện gian lận tại ngân hàng
• 2.2. Tổng quan kỹ thuật xử lý dữ liệu mất cân bằng
• 2.3. Hướng tiếp cận ở mức độ dữ liệu. Phương pháp sinh thêm phần tử (Over – sampling)
• 2.4. Phương pháp loại bỏ phần tử (Under – sampling)
• 2.5. Hướng tiếp cận ở mức độ thuật toán
• 2.6. Sử dụng các chỉ số đánh giá phù hợp
• 2.7. Sử dụng K - fold Cross - Validation đúng cách
• 2.8. Tập hợp các tập dữ liệu được lấy mẫu khác nhau
• 2.9. Lấy mẫu với các tỷ lệ khác nhau
• 2.10. Kết luận chương 2
• 3. CHƯƠNG 3: ỨNG DỤNG VÀ THỰC NGHIỆM
• 3.1. Tiêu chí đánh giá
• 3.2. Ma trận nhầm lẫn (Confusion Matrix)
• 3.3. Phương pháp thực hiện
• 3.4. Thực nghiệm và đánh giá
• 3.5. Dữ liệu Credit Card Fraud Detection
• 3.6. Dữ liệu Default of credit card clients
• 3.7. Dữ liệu German Credit Data
• 3.8. Kết luận chương 3
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phát hiện gian lận thẻ tín dụng và phân lớp dữ liệu mất cân bằng

Phát hiện gian lận thẻ tín dụng là một trong những thách thức lớn trong lĩnh vực tài chính hiện đại. Với sự gia tăng của các giao dịch trực tuyến, việc bảo vệ thông tin thẻ tín dụng trở nên cấp thiết hơn bao giờ hết. Phân lớp dữ liệu mất cân bằng là một phương pháp hữu hiệu trong việc phát hiện các hành vi gian lận này. Dữ liệu mất cân bằng thường xảy ra khi số lượng giao dịch gian lận rất ít so với giao dịch hợp lệ, dẫn đến khó khăn trong việc xây dựng mô hình chính xác.

1.1. Khái niệm về gian lận thẻ tín dụng và dữ liệu mất cân bằng

Gian lận thẻ tín dụng là hành vi sử dụng thông tin thẻ tín dụng mà không có sự đồng ý của chủ thẻ. Dữ liệu mất cân bằng xảy ra khi số lượng giao dịch gian lận rất ít so với giao dịch hợp lệ, gây khó khăn cho việc phát hiện.

1.2. Tầm quan trọng của phát hiện gian lận trong ngân hàng

Phát hiện gian lận không chỉ giúp ngân hàng bảo vệ tài sản của khách hàng mà còn duy trì uy tín và sự tin tưởng của khách hàng đối với dịch vụ ngân hàng.

II. Vấn đề và thách thức trong phát hiện gian lận thẻ tín dụng

Một trong những thách thức lớn nhất trong việc phát hiện gian lận thẻ tín dụng là sự mất cân bằng trong dữ liệu. Khi số lượng giao dịch gian lận rất ít, các mô hình học máy thường gặp khó khăn trong việc nhận diện các mẫu gian lận. Điều này dẫn đến việc các mô hình có thể đưa ra nhiều dự đoán sai lệch, ảnh hưởng đến hiệu quả của hệ thống phát hiện gian lận.

2.1. Tác động của dữ liệu mất cân bằng đến mô hình học máy

Dữ liệu mất cân bằng có thể dẫn đến việc mô hình học máy thiên lệch, khi mà các giao dịch hợp lệ chiếm ưu thế, làm giảm độ chính xác trong việc phát hiện gian lận.

2.2. Các phương pháp truyền thống và hạn chế của chúng

Các phương pháp truyền thống như hồi quy logistic hay cây quyết định thường không hiệu quả trong việc xử lý dữ liệu mất cân bằng, dẫn đến tỷ lệ phát hiện gian lận thấp.

III. Phương pháp cải thiện phát hiện gian lận thẻ tín dụng bằng phân lớp dữ liệu mất cân bằng

Để cải thiện hiệu quả phát hiện gian lận, nhiều phương pháp đã được đề xuất. Các phương pháp này bao gồm việc sử dụng các kỹ thuật như SMOTE (Synthetic Minority Over-sampling Technique) và Under-sampling để điều chỉnh dữ liệu mất cân bằng. Những phương pháp này giúp tăng cường khả năng phát hiện các giao dịch gian lận mà không làm giảm độ chính xác của mô hình.

3.1. Kỹ thuật SMOTE trong phát hiện gian lận

SMOTE là một kỹ thuật tạo ra các mẫu mới từ các mẫu hiện có của lớp thiểu số, giúp tăng cường số lượng giao dịch gian lận trong tập dữ liệu.

3.2. Phương pháp Under sampling để giảm thiểu dữ liệu dư thừa

Under-sampling là phương pháp loại bỏ một số mẫu từ lớp đa số để cân bằng lại dữ liệu, giúp mô hình học máy tập trung hơn vào các giao dịch gian lận.

IV. Ứng dụng thực tiễn của phân lớp dữ liệu mất cân bằng trong ngân hàng

Việc áp dụng các phương pháp phân lớp dữ liệu mất cân bằng đã mang lại nhiều kết quả khả quan trong việc phát hiện gian lận thẻ tín dụng. Các ngân hàng đã sử dụng các mô hình học máy để phân tích dữ liệu giao dịch và phát hiện các hành vi gian lận một cách hiệu quả hơn. Kết quả cho thấy tỷ lệ phát hiện gian lận đã được cải thiện đáng kể.

4.1. Kết quả nghiên cứu từ các ngân hàng

Nhiều ngân hàng đã áp dụng các mô hình học máy và đạt được tỷ lệ phát hiện gian lận lên đến 95%, giúp giảm thiểu thiệt hại tài chính.

4.2. Các ứng dụng công nghệ trong phát hiện gian lận

Công nghệ như trí tuệ nhân tạo và học sâu đã được áp dụng để phát hiện các mẫu gian lận phức tạp, giúp ngân hàng nâng cao khả năng bảo mật.

V. Kết luận và tương lai của phát hiện gian lận thẻ tín dụng

Phát hiện gian lận thẻ tín dụng bằng phân lớp dữ liệu mất cân bằng là một lĩnh vực đang phát triển mạnh mẽ. Với sự tiến bộ của công nghệ và các phương pháp học máy, khả năng phát hiện gian lận sẽ ngày càng chính xác hơn. Tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều giải pháp hiệu quả hơn cho các ngân hàng và tổ chức tài chính.

5.1. Xu hướng phát triển trong công nghệ phát hiện gian lận

Các công nghệ mới như blockchain và học sâu sẽ tiếp tục được nghiên cứu và áp dụng để cải thiện khả năng phát hiện gian lận.

5.2. Tầm quan trọng của việc nâng cao nhận thức về gian lận

Nâng cao nhận thức của khách hàng về gian lận thẻ tín dụng cũng là một yếu tố quan trọng trong việc giảm thiểu rủi ro và bảo vệ thông tin cá nhân.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh chuyển đổi số của hệ thống tài chính, thẻ tín dụng đã trở thành phương thức thanh toán phổ biến ở cả các giao dịch trực tuyến lẫn trực tiếp tại điểm bán. Tuy nhiên, sự phát triển nhanh chóng của các dịch vụ ngân hàng số cũng kéo theo sự gia tăng của các hình thức tội phạm công nghệ cao và hành vi lừa đảo tài chính tinh vi. Nhằm giảm thiểu các tổn thất tài chính và bảo vệ tài sản của khách hàng, việc xây dựng các hệ thống nhận diện giao dịch gian lận tự động đóng vai trò sống còn đối với các tổ chức tín dụng. Các phương pháp giám sát thủ công hoặc dựa trên chuyên gia phân tích nghiệp vụ bộc lộ rõ hạn chế về tốc độ xử lý khi phải đối mặt với hàng triệu giao dịch phát sinh đồng thời, làm suy giảm chất lượng dịch vụ và trải nghiệm của người dùng.

Mặc dù các kỹ thuật học máy và khai phá dữ liệu đã được triển khai rộng rãi, thách thức cốt lõi đặt ra trong bài toán nhận diện gian lận tín dụng là hiện tượng mất cân bằng dữ liệu nghiêm trọng. Trong các tập dữ liệu giao dịch ngân hàng thực tế, số lượng giao dịch gian lận (thuộc lớp thiểu số) thường chỉ chiếm tỷ lệ rất nhỏ, dưới 1% tổng số sự kiện phát sinh, với tỷ lệ mất cân bằng giữa lớp thiểu số và lớp đa số có thể lên tới 1:100, 1:1000 hoặc cao hơn. Khi áp dụng các thuật toán phân lớp truyền thống vốn được thiết kế cho dữ liệu phân bố cân bằng, mô hình có xu hướng thiên vị lớp đa số và bỏ qua lớp thiểu số. Điều này dẫn đến "nghịch lý độ chính xác": độ chính xác tổng thể (accuracy) của mô hình có thể đạt mức rất cao (ví dụ 99,8% khi gán toàn bộ mẫu vào lớp bình thường), nhưng độ nhạy (sensitivity/recall) đối với các hành vi gian lận lại xấp xỉ bằng không, gây ra thiệt hại tài chính nghiêm trọng cho ngân hàng.

Xuất phát từ thực trạng trên, khóa luận tốt nghiệp tập trung giải quyết bài toán nâng cao hiệu năng phân lớp dữ liệu mất cân bằng phục vụ phát hiện hành vi gian lận thẻ tín dụng.

Mục tiêu nghiên cứu: Nghiên cứu một số kỹ thuật để nâng cao hiệu năng phân lớp dữ liệu trên tập dữ liệu mất cân bằng và ứng dụng phát hiện khách hàng gian lận thẻ tín dụng ngân hàng.

Đối tượng nghiên cứu:

1. Các phương pháp điều chỉnh dữ liệu mất cân bằng: Kỹ thuật sinh thêm phần tử nhân tạo (SMOTE, Borderline-SMOTE, Safe-level-SMOTE, Add-Border-SMOTE), kỹ thuật sinh ngẫu nhiên (Random over-sampling), kỹ thuật loại bỏ phần tử (Random under-sampling, Tomek links, One-sided selection, Neighborhood Cleaning Rule) và phương pháp kết hợp (SMOTE + Tomek links).
2. Các thuật toán phân lớp dữ liệu chuẩn: Naive Bayes, Máy véc tơ hỗ trợ (Support Vector Machines - SVM), K-láng giềng gần (K-Nearest Neighbor - KNN) và Cây quyết định (Decision Trees).
3. Các tập dữ liệu mất cân bằng thực nghiệm trong lĩnh vực tín dụng ngân hàng, được trích xuất từ kho dữ liệu chuẩn UCI và nền tảng Kaggle.

Phạm vi nghiên cứu: Nghiên cứu tập trung vào các giải thuật và kỹ thuật can thiệp ở mức độ dữ liệu và mức độ thuật toán đối với bài toán phân lớp nhị phân trên dữ liệu mất cân bằng, ứng dụng trong việc phát hiện gian lận và đánh giá rủi ro tín dụng tại ngân hàng.

Phương pháp nghiên cứu: Khóa luận kết hợp đồng bộ các phương pháp:

• Phương pháp phân tích và tổng hợp lý thuyết học máy và xử lý dữ liệu.
• Phương pháp quan sát và thực nghiệm mô hình trên các tập dữ liệu chuẩn.
• Phương pháp kiểm định thống kê, sử dụng kỹ thuật kiểm định chéo 10 phần (10-fold cross-validation) kết hợp so sánh chỉ số G-mean và giá trị xác suất P-value.

---

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết dựa trên bài toán phân lớp dữ liệu tổng quát trong khai phá dữ liệu. Về mặt toán học, bài toán được phát biểu: Cho tập $U = {A_1, A_2, \dots, A_m}$ gồm $m$ thuộc tính và $Y = {y_1, y_2, \dots, y_n}$ là tập các nhãn lớp định trước. Không gian dữ liệu được xác định bởi tích Đề-các $D = A_1 \times A_2 \times \dots \times A_m$. Với $N$ mẫu dữ liệu, mỗi phần tử $d_i \in D$ thuộc về một lớp $y_i \in Y$, tạo thành cặp quan sát $(d_i, y_i) \in (D, Y)$. Nhiệm vụ của mô hình phân lớp là xây dựng một hàm ánh xạ từ không gian thuộc tính vào không gian nhãn lớp để xác định nhãn cho các mẫu dữ liệu mới chưa biết trước thuộc tính phân lớp.

Quy trình phân lớp chuẩn được tiến hành qua hai giai đoạn kế tiếp nhau:

1. Giai đoạn học (Learning): Mô hình phân lớp được huấn luyện trên tập dữ liệu đã gán nhãn nhằm rút trích các tri thức dưới dạng luật if-then, cấu trúc cây quyết định, công thức toán học hoặc trọng số siêu phẳng.
2. Giai đoạn phân lớp (Classification): Sử dụng mô hình đã huấn luyện để gán nhãn cho các mẫu dữ liệu mới sau khi đã đánh giá độ tin cậy thông qua tập kiểm thử độc lập nhằm phòng tránh hiện tượng quá khít (overfitting).

Để đánh giá chất lượng mô hình phân lớp, tác giả hệ thống hóa các tiêu chí cơ bản:

• Độ chính xác (Accuracy): Tỷ lệ các mẫu được mô hình dự đoán chính xác.
• Tốc độ xử lý (Speed): Thời gian tính toán khi huấn luyện và thời gian suy luận nhãn cho dữ liệu mới.
• Độ bền vững (Robustness): Khả năng xử lý dữ liệu có nhiễu hoặc chứa các giá trị bị khuyết.
• Khả năng mở rộng (Scalability): Năng lực xử lý hiệu quả khi dung lượng dữ liệu tăng lên quy mô lớn.
• Khả năng diễn giải (Interpretability): Mức độ trong sáng, dễ hiểu của cấu trúc mô hình đối với người sử dụng.

Về phương pháp thực nghiệm, nghiên cứu phân tích hai kỹ thuật phân chia dữ liệu chính là Holdout (chia tách dữ liệu thành tập Training chiếm 70% và tập Test chiếm 30%, kết hợp Validation set khi cần tinh chỉnh tham số) và kiểm định chéo K-fold (K-fold Cross-validation). Trong bài toán dữ liệu mất cân bằng, tác giả nhấn mạnh nguyên tắc thực nghiệm nghiêm ngặt: việc phân chia K-fold Cross-validation bắt buộc phải được tiến hành TRƯỚC KHI áp dụng các kỹ thuật sinh mẫu (over-sampling). Nếu áp dụng tái lấy mẫu trước khi phân chia fold, các bản sao hoặc dữ liệu nhân tạo từ bước bootstrapping sẽ xuất hiện đồng thời ở cả tập huấn luyện lẫn tập kiểm thử, gây ra hiện tượng rò rỉ dữ liệu (data leakage) và dẫn đến việc đánh giá sai lệch do mô hình bị quá khít nghiêm trọng.

Hệ thống đánh giá hiệu năng phân lớp mất cân bằng được xây dựng dựa trên ma trận nhầm lẫn (Confusion Matrix), bao gồm 4 kết quả cơ bản: True Positive (TP), False Positive (FP), True Negative (TN) và False Negative (FN). Từ ma trận này, các chỉ số chuyên biệt được áp dụng thay thế cho độ chính xác truyền thống:

• Độ nhạy (Sensitivity hay Recall / True Positive Rate - TPR): $\text{TPR} = \frac{\text{TP}}{\text{TP} + \text{FN}}$
• Độ đặc hiệu (Specificity hay True Negative Rate - TNR): $\text{TNR} = \frac{\text{TN}}{\text{TN} + \text{FP}}$
• Độ chính xác dương tính (Precision hay Positive Predictive Value - PPV): $\text{PPV} = \frac{\text{TP}}{\text{TP} + \text{FP}}$
• Điểm F1 (F1-Score): Trung bình điều hòa giữa Precision và Recall.
• Hệ số tương quan Matthews (MCC): Đánh giá tương quan nhị phân giữa nhãn thực tế và nhãn dự đoán.
• Trung bình nhân (Geometric Mean - G-mean): Chỉ số đánh giá sự cân bằng giữa khả năng nhận diện lớp thiểu số và lớp đa số, được tính bằng công thức $\text{G-mean} = \sqrt{\text{TPR} \times \text{TNR}}$.
• Diện tích dưới đường cong ROC (AUC) và diện tích dưới đường cong Precision-Recall (AUPRC).

---

Nội dung chính theo từng chương

Chương 1: Cơ sở lý luận về phân lớp dữ liệu mất cân bằng

Chương 1 thiết lập khung lý thuyết hoàn chỉnh về khai phá dữ liệu và bản chất của bài toán phân lớp. Tác giả làm rõ ranh giới giữa phân lớp (dự đoán các giá trị nhãn rời rạc, đã biết trước danh mục) và hồi quy/dự đoán (xây dựng các hàm liên tục). Quá trình phân lớp được phân rã thành mô hình hai bước với các kỹ thuật phân chia tập dữ liệu huấn luyện, kiểm định và kiểm tra độc lập nhằm kiểm soát hiện tượng quá vừa dữ liệu.

Tiếp đó, chương tập trung luận giải hiện tượng mất cân bằng dữ liệu, định nghĩa rõ lớp đa số (chiếm ưu thế tuyệt đối về số lượng) và lớp thiểu số (chiếm tỷ lệ rất nhỏ nhưng lại là đối tượng mục tiêu cần nhận dạng). Tác giả chỉ ra rằng khi tỷ lệ mất cân bằng tăng cao (từ 1:100 đến trên 1:1000), các thuật toán chuẩn bị suy giảm nghiêm trọng khả năng khái quát hóa đối với lớp thiểu số do hàm mục tiêu của chúng được tối ưu hóa cho độ chính xác chung. Chương 1 cũng khảo sát bức tranh ứng dụng rộng lớn của bài toán phân lớp dữ liệu mất cân bằng trong 7 lĩnh vực thực tiễn:

1. Y tế: Phân tích các thuộc tính đa biến để chẩn đoán bệnh hiếm, lựa chọn phác đồ điều trị và dự báo kết quả phẫu thuật hoặc cảnh báo dịch bệnh.
2. Thị trường bán lẻ: Phân loại hành vi tiêu dùng theo nhóm nhân khẩu học và tối ưu hóa mặt bằng kinh doanh.
3. Giáo dục: Nhận diện sớm nguy cơ học tập và dự đoán kết quả học tập của học sinh.
4. Quy trình sản xuất: Trích xuất quan hệ kiến trúc sản phẩm và dự báo thời gian, chi phí chu kỳ sản xuất.
5. Phát hiện gian lận: Nhận dạng các hồ sơ gian lận tài chính thông qua học có giám sát.
6. Hỗ trợ điều tra tội phạm: Phân tích thông tin liên lạc và giám sát đối tượng nghi vấn.
7. Ngành tài chính - ngân hàng: Tự động hóa phát hiện các mẫu rủi ro ẩn sâu trong các dòng giao dịch khối lượng lớn diễn ra với tốc độ cao.

Chương 2: Phương pháp phân lớp dữ liệu mất cân bằng trong phát hiện gian lận tín dụng tại ngân hàng

Chương 2 là trọng tâm lý thuyết và phương pháp luận của khóa luận, đi sâu phân tích cơ chế giải quyết mất cân bằng dữ liệu trong hoạt động ngân hàng thông qua hai hướng tiếp cận chính: tiếp cận mức độ dữ liệu và tiếp cận mức độ thuật toán.

Đối với hướng tiếp cận ở mức độ dữ liệu, chương khảo sát chi tiết các nhóm kỹ thuật:

• Phương pháp sinh thêm phần tử (Over-sampling):
  • Random Over-sampling (ROS): Nhân bản ngẫu nhiên các phần tử lớp thiểu số có sẵn. Phương pháp này đơn giản nhưng dễ gây quá khít mô hình và làm tăng chi phí tính toán khi tập dữ liệu lớn.
  • Thuật toán SMOTE: Sinh mẫu nhân tạo dựa trên phép nội suy véc tơ giữa phần tử thiểu số đang xét và $k$ láng giềng gần nhất thuộc cùng lớp. Véc tơ phần tử mới được tạo theo công thức: $\text{Synthetic} = \text{Sample}[i] + \text{gap} \times (\text{Sample}[\text{nn}] - \text{Sample}[i])$, với $\text{gap} \in [0, 1]$.
  • Thuật toán Borderline-SMOTE: Khắc phục nhược điểm tác động bình đẳng của SMOTE bằng cách phân loại các điểm thiểu số dựa trên số lượng láng giềng lớp đa số $m'$ trong $m$ láng giềng gần nhất: nếu $m' = m$ thì coi là nhiễu; nếu $0 \le m' < m/2$ thì là vùng an toàn; nếu $m/2 \le m' < m$ thì đưa vào tập nguy hiểm (DANGER). Thuật toán chỉ sinh mẫu cho các điểm thuộc tập DANGER. Biến thể Borderline-SMOTE1 sinh mẫu với các láng giềng thiểu số, trong khi Borderline-SMOTE2 sinh mẫu với cả láng giềng đa số với trọng số ngẫu nhiên thu hẹp $r_j \in [0, 0.5]$.
  • Thuật toán Safe-level-SMOTE: Định nghĩa mức độ an toàn ($sl$) bằng số lượng láng giềng thiểu số trong $k$ láng giềng gần nhất. Vị trí sinh mẫu nhân tạo được điều tiết dựa trên tỷ lệ $sl_ratio = sl_p / sl_n$ để đưa mẫu mới dịch chuyển gần hơn về phía vùng an toàn, tránh tạo mẫu trong vùng nhiễu.
  • Thuật toán Add-Border-SMOTE (Đề xuất của tác giả): Tác giả đề xuất thuật toán mới cải tiến dựa trên quan sát về cấu trúc đường biên. Thuật toán xác định các phần tử biên của lớp thiểu số theo điều kiện $k/2 \le k' < k$ tương tự Borderline-SMOTE. Tuy nhiên, điểm khác biệt căn bản là Add-Border-SMOTE chỉ tìm $k$ láng giềng gần nhất ngay trong chính tập các phần tử biên của lớp thiểu số và chỉ nội suy mẫu nhân tạo giữa các phần tử biên này. Cơ chế này giúp gia tăng mật độ các phần tử thiểu số tập trung tại chính ranh giới quyết định, giúp các thuật toán phân lớp học đường biên chính xác hơn mà không làm phát tán mẫu nhân tạo sâu vào không gian lớp đa số.
• Phương pháp loại bỏ phần tử (Under-sampling):
  • Random Under-sampling (RUS): Loại bỏ ngẫu nhiên các mẫu lớp đa số, dễ làm thất thoát các thông tin quan trọng.
  • Tomek links: Xác định các cặp điểm $(E_i, E_j)$ thuộc hai lớp khác nhau có khoảng cách ngắn nhất để loại bỏ mẫu đa số nhằm làm sạch đường biên hoặc loại bỏ cả hai nếu xem là nhiễu.
  • One-sided Selection (OSS): Kết hợp Tomek links để làm sạch biên và mạng nơron rút gọn (CNN) để loại bỏ các phần tử lớp đa số nằm quá xa ranh giới quyết định.
  • Neighborhood Cleaning Rule (NCL): Cải tiến từ luật ENN (Edited Nearest Neighbor Rule), sử dụng 3 láng giềng gần nhất để loại bỏ các phần tử lớp đa số có nhãn mâu thuẫn hoặc loại bỏ các láng giềng phân loại sai điểm thiểu số.
• Phương pháp kết hợp: Kỹ thuật SMOTE + Tomek links vừa sinh mẫu nhân tạo để cân bằng tỷ lệ lớp, vừa áp dụng Tomek links để dọn dẹp các điểm chồng lấn và làm sạch ranh giới giữa hai lớp.

Đối với hướng tiếp cận ở mức độ thuật toán, tác giả phân tích cơ chế hoạt động của 4 bộ phân lớp:

1. Cây quyết định (Decision Trees): Phân chia đệ quy không gian thuộc tính thông qua các thuật toán như ID3, C4.5 và tiến hành cắt tỉa cây để giảm thiểu hiện tượng quá khít.
2. Naive Bayes: Ứng dụng định lý xác suất Bayes với giả định các thuộc tính độc lập có điều kiện, tối đa hóa xác suất hậu nghiệm $P(C_i|X) = \frac{P(X|C_i)P(C_i)}{P(X)}$.
3. Máy véc tơ hỗ trợ (SVM): Xây dựng siêu phẳng phân tách tối ưu với khoảng cách lề cực đại dựa trên các véc tơ hỗ trợ; sử dụng biến bù (slack variable) $\xi_i$ cho trường hợp không thể phân tách tuyến tính và mở rộng sang phân lớp phi tuyến thông qua các hàm nhân (kernel).
4. K-láng giềng gần (KNN): Phân lớp không tham số dựa trên việc tính khoảng cách hình học (khoảng cách Euclid) tới $k$ mẫu huấn luyện gần nhất.

Đồng thời, chương 2 làm rõ các kỹ thuật điều chỉnh thuật toán cho dữ liệu mất cân bằng như: gán trọng số hàm phạt khác nhau cho các lớp, áp dụng hàm khoảng cách có trọng số trong KNN, phân chia tập dữ liệu thành các tập con để huấn luyện ensemble đa mô hình kết hợp lấy mẫu theo các tỷ lệ linh hoạt (1:1, 1:3, 2:1).

Chương 3: Ứng dụng và thực nghiệm

Chương 3 trình bày toàn bộ quy trình thực nghiệm đánh giá hiệu quả của các giải thuật phân lớp kết hợp với các kỹ thuật điều hòa mất cân bằng dữ liệu.

Tác giả tiến hành thực nghiệm đối sánh trên 3 bộ dữ liệu tín dụng chuẩn:

1. Credit Card Fraud Detection: Bộ dữ liệu giao dịch thẻ tín dụng ngân hàng từ Kaggle với tỷ lệ mất cân bằng cực cao giữa các giao dịch hợp pháp và gian lận.
2. Default of credit card clients: Bộ dữ liệu từ kho lưu trữ UCI ghi nhận thông tin thanh toán, nhân khẩu học và tình trạng vỡ nợ thẻ tín dụng của khách hàng.
3. German Credit Data: Bộ dữ liệu đánh giá rủi ro tín dụng của các khách hàng tại Đức từ kho lưu trữ UCI, phân loại khách hàng thành hai nhóm tín dụng tốt và xấu.

Quy trình thực nghiệm được chuẩn hóa bằng phương pháp kiểm định chéo 10 phần (10-fold Cross-validation) lặp lại trên từng bộ dữ liệu. Các thuật toán phân lớp nền tảng gồm SVM, KNN và Naive Bayes được huấn luyện kết hợp với các phương pháp xử lý mất cân bằng: dữ liệu gốc, ROS, RUS, SMOTE, Borderline-SMOTE, Safe-level-SMOTE và thuật toán đề xuất Add-Border-SMOTE. Chỉ số G-mean được sử dụng làm thước đo chính để so sánh hiệu năng tổng thể giữa việc nhận dạng chính xác lớp đa số và lớp thiểu số. Bên cạnh đó, tác giả tính toán các giá trị kiểm định thống kê P-value để chứng minh sự khác biệt về hiệu năng giữa các giải thuật có ý nghĩa thống kê thực sự chứ không phải do biến thiên ngẫu nhiên.

---

Bảng so sánh các kỹ thuật xử lý dữ liệu mất cân bằng

Dưới đây là bảng tổng hợp các phương pháp xử lý dữ liệu mất cân bằng được phân tích và kiểm chứng trong khóa luận:

Phương pháp	Thuộc nhóm kỹ thuật	Cơ chế hoạt động chính	Ưu điểm ghi nhận	Nhược điểm / Hạn chế
Random Over-sampling (ROS)	Mức độ dữ liệu (Over-sampling)	Lựa chọn ngẫu nhiên các phần tử lớp thiểu số và nhân bản giống hệt.	Đơn giản, dễ thực hiện, tăng nhanh kích thước lớp thiểu số.	Dễ gây hiện tượng quá khít (overfitting); tăng đáng kể thời gian học của mô hình.
Random Under-sampling (RUS)	Mức độ dữ liệu (Under-sampling)	Loại bỏ ngẫu nhiên các phần tử thuộc lớp đa số khỏi tập dữ liệu.	Giảm nhanh kích thước tập dữ liệu, rút ngắn thời gian huấn luyện.	Làm thất thoát các thông tin quan trọng của lớp đa số có lợi cho việc học.
SMOTE	Mức độ dữ liệu (Over-sampling)	Nội suy tuyến tính tạo mẫu nhân tạo giữa điểm thiểu số và $k$ láng giềng gần nhất.	Tránh nhân bản thuần túy, mở rộng không gian đặc trưng của lớp thiểu số.	Tác động bình đẳng lên mọi điểm; dễ sinh mẫu nhiễu ở vùng biên chồng lấn.
Borderline-SMOTE (1 & 2)	Mức độ dữ liệu (Over-sampling)	Phân tách tập DANGER ($m/2 \le m' < m$ láng giềng đa số) và chỉ sinh mẫu cho các điểm biên.	Tập trung gia cố ranh giới quyết định, nâng cao hiệu năng phân lớp biên.	Vẫn có thể tạo mẫu nhân tạo lấn sâu vào không gian lớp đa số (đặc biệt ở bản 2).
Safe-level-SMOTE	Mức độ dữ liệu (Over-sampling)	Tính mức độ an toàn $sl$ và tỷ lệ $sl_ratio$ để định vị mẫu nhân tạo về vùng an toàn.	Hạn chế tối đa việc sinh mẫu nhân tạo trong vùng nhiễu hoặc khu vực đa số.	Có xu hướng thu hẹp ranh giới phân tách nếu vùng an toàn nằm sâu bên trong.
Add-Border-SMOTE (Tác giả đề xuất)	Mức độ dữ liệu (Over-sampling)	Lọc các phần tử biên của lớp thiểu số; chỉ tìm láng giềng và sinh mẫu giữa các phần tử biên này.	Mật độ mẫu thiểu số tại đường biên tăng mạnh, tối ưu hóa việc học ranh giới tách biệt.	Phụ thuộc vào tính chính xác của bước phát hiện phần tử biên ban đầu.
Tomek links	Mức độ dữ liệu (Under-sampling)	Phát hiện cặp phần tử gần nhau nhất khác lớp để loại bỏ phần tử đa số hoặc cả hai.	Làm sạch đường biên quyết định, loại bỏ các điểm nhiễu tiếp giáp.	Không giải quyết triệt để sự chênh lệch lớn về số lượng mẫu nếu đứng độc lập.
SMOTE + Tomek links	Mức độ dữ liệu (Kết hợp)	Sinh mẫu nhân tạo bằng SMOTE trước, sau đó dùng Tomek links làm sạch vùng biên.	Vừa cân bằng phân bố số lượng, vừa loại bỏ hiện tượng chồng lấn ranh giới lớp.	Chi phí tính toán cao do phải chạy liên tiếp hai giải thuật láng giềng.

---

Kết quả và đóng góp

Khóa luận đã hoàn thành các mục tiêu nghiên cứu đề ra với những kết quả và đóng góp cụ thể:

1. Hệ thống hóa toàn diện cơ sở lý luận: Khóa luận đã cung cấp một bức tranh có hệ thống về bài toán phân lớp dữ liệu mất cân bằng trong bài toán tài chính - ngân hàng. Tác giả đã làm rõ các điểm nghẽn của thuật toán phân lớp truyền thống khi đối mặt với dữ liệu có tỷ lệ mất cân bằng nghiêm trọng (dưới 1% gian lận), chứng minh tính không phù hợp của thước đo độ chính xác (accuracy) và sự cần thiết của các chỉ số đánh giá chuyên biệt như G-mean, Sensitivity, Specificity, AUC và AUPRC.

2. Đề xuất thuật toán cải tiến Add-Border-SMOTE: Đóng góp học thuật trọng tâm của tác giả là việc xây dựng thuật toán Add-Border-SMOTE. Bằng cách kế thừa cơ chế nhận diện phần tử biên từ Borderline-SMOTE nhưng thay đổi quy tắc chọn láng giềng (chỉ chọn láng giềng trong chính tập phần tử biên của lớp thiểu số), thuật toán đã giải quyết được hiện tượng phát tán mẫu nhân tạo ra ngoài vùng biên hoặc lấn sâu vào phân bố của lớp đa số. Kết quả là mật độ các phần tử thiểu số tại khu vực ranh giới được tăng cường rõ rệt, giúp các thuật toán phân lớp xác định đường biên phân chia chính xác hơn.

3. Thực nghiệm kiểm chứng đa diện trên 3 bộ dữ liệu chuẩn: Nghiên cứu đã xây dựng một quy trình thực nghiệm chặt chẽ, kiểm thử hiệu năng của các bộ phân loại SVM, KNN và Naive Bayes trên 3 bộ dữ liệu: Credit Card Fraud Detection (Kaggle), Default of credit card clients (UCI) và German Credit Data (UCI). Việc áp dụng nghiêm ngặt quy tắc thực hiện 10-fold Cross-validation trước bước over-sampling đã đảm bảo tính khách quan của dữ liệu thực nghiệm. Hiệu quả của các giải thuật tái lấy mẫu, đặc biệt là giá trị chỉ số G-mean cao nhất đạt được bởi các thuật toán kết hợp, đã được khẳng định thông qua bảng phân tích giá trị P-value có ý nghĩa thống kê.

---

Hạn chế và hướng nghiên cứu tiếp

Căn cứ vào nội dung và phạm vi nghiên cứu được trình bày trong khóa luận, một số hạn chế và định hướng phát triển được xác định:

• Hạn chế:

  • Nghiên cứu chủ yếu tập trung đánh giá trên các tập dữ liệu bảng tĩnh (tabular data) đã được làm sạch và chuẩn hóa từ kho dữ liệu UCI và Kaggle, chưa đánh giá trực tiếp trên các dòng dữ liệu luồng giao dịch ngân hàng theo thời gian thực (real-time stream).
  • Về mặt thuật toán phân lớp, khóa luận mới chỉ giới hạn thực nghiệm trên 3 bộ phân loại cơ bản là SVM, KNN và Naive Bayes; chưa mở rộng so sánh với các mô hình học tăng cường độ dốc (Gradient Boosting) hoặc các mạng nơ-ron học sâu hiện đại.
  • Thuật toán Add-Border-SMOTE cần thêm các nghiên cứu sâu hơn về độ phức tạp tính toán khi số chiều thuộc tính của dữ liệu tăng cao.

• Hướng nghiên cứu tiếp:

  • Thử nghiệm kết hợp thuật toán đề xuất Add-Border-SMOTE với các mô hình học sâu (Deep Learning) và các giải thuật học kết hợp (Ensemble Learning) nâng cao.
  • Tối ưu hóa việc tự động điều chỉnh các siêu tham số (như số lượng láng giềng $k$ và tỷ lệ sinh mẫu $N%$) trong Add-Border-SMOTE phù hợp với từng phân bố dữ liệu giao dịch cụ thể.
  • Triển khai thử nghiệm mô hình trong môi trường xử lý luồng dữ liệu giao dịch ngân hàng có tính chất trôi dạt khái niệm (concept drift) theo thời gian.

---

Giá trị tham khảo

Báo cáo khóa luận có giá trị tham khảo thiết thực cho các nhóm đối tượng và mục đích nghiên cứu sau:

1. Sinh viên và nhà nghiên cứu chuyên ngành Khoa học dữ liệu, Kinh tế số và Công nghệ thông tin: Khóa luận là tài liệu tham khảo chi tiết về phương pháp luận xử lý dữ liệu mất cân bằng. Đặc biệt, phần phân tích chi tiết mã giả và cơ chế tính toán của các thuật toán SMOTE, Borderline-SMOTE, Safe-level-SMOTE và Add-Border-SMOTE (tại Chương 2) cung cấp nền tảng toán học rõ ràng để hiện thực hóa các giải thuật tái lấy mẫu trong thực tế.

2. Chuyên viên phân tích rủi ro và an toàn thông tin tại các ngân hàng, tổ chức tài chính: Nội dung khóa luận cung cấp các phân tích nghiệp vụ sắc bén về cơ chế phát hiện giao dịch bất thường và gian lận thanh toán thẻ. Tài liệu chỉ rõ các sai lầm cần tránh khi ứng dụng học máy trong ngân hàng, đặc biệt là việc cảnh báo không sử dụng thước đo Accuracy đơn thuần và hướng dẫn thiết lập quy trình kiểm định chéo (K-fold Cross-validation) đúng chuẩn trước bước can thiệp dữ liệu để ngăn ngừa rủi ro rò rỉ dữ liệu và quá khít mô hình.

---

Câu hỏi thường gặp

1. Tại sao chỉ số Accuracy (độ chính xác) không được sử dụng để đánh giá mô hình phát hiện gian lận trong nghiên cứu này?

Trong bài toán phát hiện gian lận thẻ tín dụng, dữ liệu bị mất cân bằng nghiêm trọng với tỷ lệ gian lận thường chiếm dưới 1%. Nếu một mô hình dự đoán tất cả các giao dịch đều là "hợp pháp" (nhãn 0), mô hình đó vẫn đạt độ chính xác Accuracy lên tới 99,8%. Tuy nhiên, mô hình này hoàn toàn vô giá trị trong thực tiễn vì không phát hiện được bất kỳ giao dịch gian lận nào (độ nhạy Sensitivity bằng 0). Do đó, nghiên cứu bắt buộc phải sử dụng các chỉ số chuyên biệt như G-mean, Recall, Precision, AUC và AUPRC.

2. Sự khác biệt căn bản giữa hai thuật toán Borderline-SMOTE và Safe-level-SMOTE là gì?

Borderline-SMOTE cho rằng các phần tử nằm trên hoặc gần ranh giới quyết định (tập DANGER, có số láng giềng đa số chiếm từ một nửa đến dưới 100%) là quan trọng nhất cho việc nhận dạng lớp nên tập trung sinh mẫu nhân tạo xung quanh các điểm này. Ngược lại, Safe-level-SMOTE cho rằng mẫu nhân tạo chỉ nên được tạo ra trong các khu vực an toàn; thuật toán tính mức độ an toàn ($sl$) và tỷ lệ an toàn ($sl_ratio$) để điều chỉnh vị trí điểm nhân tạo sinh ra dịch chuyển về phía điểm có độ an toàn cao hơn, tuyệt đối tránh sinh mẫu ở các điểm bị coi là nhiễu.

3. Thuật toán Add-Border-SMOTE do tác giả đề xuất có điểm cải tiến cốt lõi nào so với Borderline-SMOTE?

Thuật toán Borderline-SMOTE tăng cường mẫu nhân tạo giữa một phần tử biên với láng giềng của nó (láng giềng này có thể nằm bên trong lớp thiểu số hoặc lẫn sang lớp đa số). Add-Border-SMOTE cải tiến bằng cách: sau khi xác định được tập các phần tử biên của lớp thiểu số, thuật toán chỉ tìm $k$ láng giềng gần nhất ngay trong chính tập các phần tử biên này và chỉ sinh mẫu nhân tạo trên đoạn thẳng nối hai phần tử biên với nhau. Nhờ vậy, mật độ phần tử thiểu số tại khu vực ranh giới tăng lên đáng kể, hỗ trợ mô hình học đường biên chính xác mà không làm phân tán mẫu nhân tạo vào không gian lớp đa số.

4. Tại sao quy trình K-fold Cross-Validation bắt buộc phải thực hiện trước bước Over-sampling?

Over-sampling sử dụng kỹ thuật tạo mẫu dựa trên việc quan sát các mẫu hiếm để nhân bản hoặc nội suy dữ liệu mới. Nếu áp dụng Cross-validation sau khi đã over-sampling, các phần tử nhân tạo hoặc phần tử bản sao được tạo ra từ cùng một gốc dữ liệu sẽ bị phân tán đồng thời vào cả tập huấn luyện (training set) và tập kiểm định (test set) của các fold. Khi đó, mô hình kiểm định sẽ đánh giá trên chính dữ liệu mà nó đã học gián tiếp, dẫn đến hiện tượng quá khít (overfitting) nghiêm trọng và đưa ra kết quả đánh giá thiếu trung thực. Do đó, việc chia K-fold bắt buộc phải thực hiện trước, và over-sampling chỉ được phép áp dụng riêng biệt trên tập huấn luyện của từng fold.

5. Nghiên cứu sử dụng những bộ dữ liệu thực nghiệm nào và kiểm định kết quả dựa trên các tiêu chí thống kê nào?

Nghiên cứu sử dụng 3 bộ dữ liệu tín dụng thực tế chuẩn gồm: Credit Card Fraud Detection (lấy từ Kaggle), Default of credit card clients (lấy từ kho dữ liệu UCI) và German Credit Data (lấy từ kho dữ liệu UCI). Để so sánh hiệu năng của các thuật toán phân lớp (SVM, KNN, Naive Bayes) kết hợp các kỹ thuật cân bằng dữ liệu, tác giả sử dụng chỉ số trung bình nhân G-mean (đánh giá cân bằng giữa TPR và TNR) và tính toán các giá trị xác suất P-value để kiểm định ý nghĩa thống kê của các giá trị G-mean cao nhất đạt được.

---

Kết luận

Khóa luận tốt nghiệp của tác giả Phan Thị Ngà đã giải quyết toàn diện bài toán phân lớp dữ liệu mất cân bằng ứng dụng trong phát hiện gian lận thẻ tín dụng tại ngân hàng. Nghiên cứu đã phân tích sâu sắc các hạn chế của các phương pháp xử lý dữ liệu và thuật toán học máy truyền thống, từ đó đề xuất thành công thuật toán cải tiến Add-Border-SMOTE nhằm tập trung tối ưu hóa việc phân tách ranh giới lớp. Quy trình thực nghiệm nghiêm ngặt với 10-fold Cross-validation trên 3 bộ dữ liệu thực tế Credit Card Fraud Detection, Default of credit card clients và German Credit Data cùng các kiểm định G-mean và P-value đã khẳng định giá trị khoa học và tiềm năng ứng dụng thực tiễn của nghiên cứu trong việc kiểm soát rủi ro thanh toán số tại các tổ chức tín dụng.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: CƠ SỞ LÝ LUẬN VỀ PHÂN LỚP DỮ LIỆU MẤT CÂN BẰNG 1. Phân lớp dữ liệu 1. Khái niệm về phân lớp dữ liệu và bài toán phân lớp dữ liệu • Phân lớp dữ liệu: Phân lớp dữ liệu (classification) là một trong những hướng nghiên cứu chính của khai phá dữ liệu. Thực tế đặt ra nhu cầu là từ một cơ sở dữ liệu với nhiều thông tin ẩn con người có thể rút trích ra các quyết định nghiệp vụ thông minh.

Phân lớp là một dạng của phân tích dữ liệu nhằm rút trích ra một mô hình mô tả các lớp dữ liệu quan trọng hay dự đoán xu hướng dữ liệu trong tương lai. Phân lớp dự đoán giá trị của những nhãn xác định (categorical label) hay những giá trị rời rạc (discrete value), có nghĩa là phân lớp thao tác với những đối tượng dữ liệu mà có bộ giá trị là biết trước. Trong khi đó, dự đoán lại xây dựng mô hình với các hàm nhận giá trị liên tục. Ví dụ mô hình phân lớp dự báo thời tiết có thể cho biết thời tiết ngày mai là mưa, hay nắng dựa vào những thông số về độ ẩm, sức gió, nhiệt độ,.

của ngày hôm nay và các ngày trước đó. Hay nhờ các luật về xu hướng mua hàng của khách hàng trong siêu thị, các nhân viên kinh doanh có thể ra những quyết sách đúng đắn về lượng mặt hàng cũng như chủng loại bày bán. Một mô hình dự đoán có thể dự đoán được lượng tiền tiêu dùng của các khách hàng tiềm năng dựa trên những thông tin về thu nhập và nghề nghiệp của khách hàng. Trong những năm qua, phân lớp dữ liệu đã thu hút sự quan tâm các nhà nghiên cứu trong nhiều lĩnh vực khác nhau như học máy (machine learning), hệ chuyên gia (expert system), thống kê (statistics).

Công nghệ này cũng ứng dụng trong nhiều lĩnh vực khác nhau như: thương mại, marketing, nghiên cứu thị trường, bảo hiểm, y tế, giáo dục. Phần lớn các thuật toán ra đời trước đều sử dụng cơ chế dữ liệu cư trú trong 4 bộ nhớ (memory resident), thường thao tác với lượng dữ liệu nhỏ. Một số thuật toán ra đời sau này đã sử dụng kỹ thuật cư trú trên đĩa cải thiện đáng kể khả năng mở rộng của thuật toán với những tập dữ liệu lớn lên tới hàng tỷ bản ghi. • Bài toán phân lớp dữ liệu: Là quá trình phân lớp một đối tượng dữ liệu vào một hay nhiều lớp đã cho trước nhờ một mô hình phân lớp (model).

Mô hình này được xây dựng dựa trên một tập dữ liệu được xây dựng trước đó có gán nhãn (còn gọi là tập huấn luyện). Quá trình phân lớp là quá trình gán nhãn cho đối tượng dữ liệu. Nhiệm vụ của bài toán phân lớp là cần tìm một mô hình phân lớp để khi có dữ liệu mới thì có thể xác định được dữ liệu đó thuộc vào phân lớp nào. Bài toán phân lớp dữ liệu có thể được mô tả như hình 1.

Mô hình mô tả bài toán phân lớp dữ liệu Bài toán phân lớp dữ liệu có thể phát biểu tổng quát như sau: Cho U = {A1, A2,…., Am} là tập có m thuộc tính, Y = {y1, y2, …., yn} là tập các nhãn của lớp: với 𝐷 = 𝐴1 × … × 𝐴𝑚 là tích Đề - các của các miền của m thuộc tính tương ứng có n số lớp và N là số mẫu dữ liệu. Mỗi dữ liệu 𝑑𝑖 ∈ 𝐷 thuộc một lớp 𝑦𝑖 ∈ 𝑌 tương ứng tạo thành từng cặp (𝑑𝑖 , 𝑦𝑖 ) ∈ (𝐷, 𝑌). Quy trình thực hiện phân lớp dữ liệu Quy trình thực hiện phân lớp dữ liệu thường được thực hiện theo 2 bước: Bước thứ nhất (learning) quá trình học để xây dựng mô hình phân lớp và bước thứ hai áp dụng mô hình phân lớp ở bước thứ nhất để phân lớp dữ liệu mới. 5 • Bước thứ nhất (learning) Quá trình học nhằm xây dựng một mô hình mô tả một tập các lớp dữ liệu hay các khái niệm định trước.

Đầu vào của quá trình này là một tập dữ liệu có cấu trúc được mô tả bằng các thuộc tính và được tạo ra từ tập các bộ giá trị của các thuộc tính đó. Mỗi bộ giá trị được gọi chung là một phần tử dữ liệu (data tuple), có thể là các mẫu (sample), ví dụ (example), đối tượng (object), bản ghi (record) hay trường hợp (case). Khoá luận sử dụng các thuật ngữ này với nghĩa tương đương. Trong tập dữ liệu này, mỗi phần tử dữ liệu được giả sử thuộc về một lớp định trước, lớp ở đây là giá trị của một thuộc tính được chọn làm thuộc tính gán nhãn lớp hay thuộc tính phân lớp (class label attribute).

Đầu ra của bước này thường là các quy tắc phân lớp dưới dạng luật dạng if-then, cây quyết định, công thức logic, hay mạng nơron. Quá trình này được mô tả như trong hình 1. Quá trình phân lớp dữ liệu - Bước xây dựng mô hình phân lớp 6 • Bước thứ hai (classification) Bước thứ hai dùng mô hình đã xây dựng ở bước trước để phân lớp dữ liệu mới. Trước tiên độ chính xác mang tính chất dự đoán của mô hình phân lớp vừa tạo ra được ước lượng.

Holdout là một kỹ thuật đơn giản để ước lượng độ chính xác đó. Kỹ thuật này sử dụng một tập dữ liệu kiểm tra với các mẫu đã được gán nhãn lớp. Các mẫu này được chọn ngẫu nhiên và độc lập với các mẫu trong tập dữ liệu đào tạo. Độ chính xác của mô hình trên tập dữ liệu kiểm tra đã đưa là tỷ lệ phần trăm các các mẫu trong tập dữ liệu kiểm tra được mô hình phân lớp đúng (so với thực tế).

Nếu độ chính xác của mô hình được ước lượng dựa trên tập dữ liệu đào tạo thì kết quả thu được là rất khả quan vì mô hình luôn có xu hướng “quá vừa” dữ liệu. Quá vừa dữ liệu là hiện tượng kết quả phân lớp trùng khít với dữ liệu thực tế vì quá trình xây dựng mô hình phân lớp từ tập dữ liệu đào tạo có thể đã kết hợp những đặc điểm riêng biệt của tập dữ liệu đó. Do vậy cần sử dụng một tập dữ liệu kiểm tra độc lập với tập dữ liệu đào tạo. Nếu độ chính xác của mô hình là chấp nhận được, thì mô hình được sử dụng để phân lớp những dữ liệu tương lai, hoặc những dữ liệu mà giá trị của thuộc tính phân lớp là chưa biết.3 Quá trình phân lớp dữ liệu - Ước lượng độ chính xác của mô hình 7 Hình 1.4 Quá trình phân lớp dữ liệu - Phân lớp dữ liệu mới Trong mô hình phân lớp, thuật toán phân lớp giữ vai trò trung tâm, quyết định tới sự thành công của mô hình phân lớp.

Do vậy chìa khóa của vấn đề phân lớp dữ liệu là tìm ra được một thuật toán phân lớp nhanh, hiệu quả, có độ chính xác cao và có khả năng mở rộng được. Trong đó khả năng mở rộng của thuật toán được đặc biệt chú trọng và phát triển. Các độ đo đánh giá mô hình phân lớp dữ liệu Để đánh giá một mô hình phân lớp dữ liệu, việc đầu tiên, và thông thường nhất mà các chuyên gia thường thực hiện đó là chia tập dữ liệu thành các phần phục vụ cho việc huấn luyện mô hình (Training Data) và kiểm chứng mô hình (Testing Data). Xây dựng model thông qua việc lựa chọn thuật toán, xác định các biến dữ liệu, hay điều chỉnh các tham số… sao cho phù hợp sẽ dựa trên dữ liệu training.

Sau khi hoàn thành cơ bản mô hình, tiến hành sử dụng dữ liệu test để thử nghiệm mô hình bằng cách kết hợp nhiều công thức, chỉ số khác nhau để đánh giá mức độ chính xác với input là các kết quả có được khi chạy mô hình với dữ liệu test. Vậy quá trình đánh giá mô hình phân lớp thường chia làm 2 phần hay hướng tiếp cận: phân chia bộ dữ liệu để huấn luyện và kiểm chứng mô hình; sử dụng các chỉ số để đánh giá độ hiệu quả. Một số tiêu chí mô tả độ hiệu quả của mô hình phân lớp: 8 - Accuracy: Khả năng mô hình phân lớp dự báo, phân loại hay xác định đúng class cho dữ liệu cần phân loại. - Speed: Tốc độ hay khả năng mô hình đưa ra kết quả phân tích nhanh chóng, nó còn liên qua đến chi phí tính toán khi xây dựng, và sử dụng mô hình.

- Robustness: Khả năng của mô hình xử lý nhiễu hoặc dữ liệu với các giá trị bị thiếu và đưa ra dự đoán chính xác. - Scalability: Phương pháp hay khả năng xây dựng mô hình phân lớp hiệu quả trong xử lý, phân tích lượng lớn dữ liệu. - Interpreability: Liên quan đến khả năng giải thích, mứa độ phức tạp của mô hình hay nói cách khác cấu trúc mô hình, phương pháp xây dựng mô hình có dễ hiểu hay không. Đánh giá mô hình là một phần không thể thiếu trong quá trình phát triển mô hình, giúp tìm ra mô hình tốt nhất, phù hợp nhất với mục tiêu nghiên cứu, và loại dữ liệu.

Có 2 phương pháp đánh giá phổ biến là holdout và cross- validation. • Holdout: Phương pháp Holdout, là phương pháp phân chia ngẫu nhiên tập dữ liệu thành 2 tập dữ liệu độc lập là: tập dữ liệu huấn luyện và tập kiểm định mô hình. Mục đích của phương pháp Holdout là kiểm tra độ hiệu quả của mô hình khi sử dụng nhiều tập dữ liệu khác nhau. Cụ thể trong phương pháp Holdout ta sẽ có các tập dữ liệu: - Training set: Dữ liệu phục vụ xây dựng mô hình, xác định các thuật toán, biến dữ liệu phù hợp - Validation set: Là dữ liệu được sử dụng để đánh giá hiệu suất của mô hình được xây dựng trong giai đoạn huấn luyện, hỗ trợ thử nghiệm để tinh chỉnh các tham số mô hình và chọn mô hình hoạt động tốt nhất.

Tuy nhiên không phải mọi thuật toán phân lớp nào cũng cần Validation set, nên phương 9 pháp Holdout thông thường chỉ cần 2 tập dữ liệu training và test data mà thôi. - Test set: Là dữ liệu được sử dụng để đánh giá độ hiệu quả của mô hình, mức độ chính xác trong việc phân loại dữ liệu (không chứa nhãn phân loại). Thường tỉ lệ phân chia cho training data set là 70% và test data set là 30%. Ưu điểm của Holdout là nhanh chóng, đơn giản và linh hoạt.

Tuy nhiên, phương pháp này thường dẫn đến độ biến thiên cao do sự khác biệt lớn trong 2 tập dữ liệu, dẫn đến sự khác biệt trong việc phân lớp hay dự đoán. Do đó việc áp dụng Holdout cần kết hợp các phương pháp để kiểm tra mức độ khác biệt của 2 tập dữ liệu.