Ứng dụng phân lớp dữ liệu mất cân bằng trong phát hiện gian lận thẻ tín dụng tại ngân hàng

Khóa luận phân tích dữ liệu lớn ứng dụng trong dự đoán hành vi gian lận thẻ tín dụng tại ngân hàng, sử dụng phương pháp phân lớp dữ liệu mất cân bằng.

• Tác giả: Phan Thị Ngà
• Người hướng dẫn: TS. Nguyễn Hữu Xuân Trường
• Trường học: Học viện Chính sách và Phát triển
• Chuyên ngành: Kinh tế số
• Đề tài: Ứng Dụng Phân Lớp Dữ Liệu Mất Cân Bằng Trong Phát Hiện Hành Vi Gian Lận Thẻ Tín Dụng Của Khách Hàng Tại Ngân Hàng
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM KẾT
• LỜI CẢM ƠN
• DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG BIỂU
• LỜI MỞ ĐẦU
• 0.1. Tính cấp thiết của đề tài
• 0.2. Mục đích nghiên cứu
• 0.3. Đối tượng nghiên cứu
• 0.4. Phạm vi nghiên cứu
• 0.5. Phương pháp nghiên cứu
• 0.6. Kết cấu khóa luận
• 1. CHƯƠNG 1: CƠ SỞ LÝ LUẬN VỀ PHÂN LỚP DỮ LIỆU MẤT CÂN BẰNG
• 1.1. Phân lớp dữ liệu
• 1.2. Khái niệm về phân lớp dữ liệu và bài toán phân lớp dữ liệu
• 1.3. Quy trình thực hiện phân lớp dữ liệu
• 1.4. Các độ đo đánh giá mô hình phân lớp dữ liệu
• 1.5. Kết luận chương 1
• 2. CHƯƠNG 2: PHƯƠNG PHÁP PHÂN LỚP DỮ LIỆU MẤT CÂN BẰNG TRONG PHÁT HIỆN GIAN LẬN TÍN DỤNG TẠI NGÂN HÀNG
• 2.1. Vấn đề mất cân bằng dữ liệu trong phát hiện gian lận tại ngân hàng
• 2.2. Tổng quan kỹ thuật xử lý dữ liệu mất cân bằng
• 2.3. Hướng tiếp cận ở mức độ dữ liệu. Phương pháp sinh thêm phần tử (Over – sampling)
• 2.4. Phương pháp loại bỏ phần tử (Under – sampling)
• 2.5. Hướng tiếp cận ở mức độ thuật toán
• 2.6. Sử dụng các chỉ số đánh giá phù hợp
• 2.7. Sử dụng K - fold Cross - Validation đúng cách
• 2.8. Tập hợp các tập dữ liệu được lấy mẫu khác nhau
• 2.9. Lấy mẫu với các tỷ lệ khác nhau
• 2.10. Kết luận chương 2
• 3. CHƯƠNG 3: ỨNG DỤNG VÀ THỰC NGHIỆM
• 3.1. Tiêu chí đánh giá
• 3.2. Ma trận nhầm lẫn (Confusion Matrix)
• 3.3. Phương pháp thực hiện
• 3.4. Thực nghiệm và đánh giá
• 3.5. Dữ liệu Credit Card Fraud Detection
• 3.6. Dữ liệu Default of credit card clients
• 3.7. Dữ liệu German Credit Data
• 3.8. Kết luận chương 3
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phát hiện gian lận thẻ tín dụng và phân lớp dữ liệu mất cân bằng

Phát hiện gian lận thẻ tín dụng là một trong những thách thức lớn trong lĩnh vực tài chính hiện đại. Với sự gia tăng của các giao dịch trực tuyến, việc bảo vệ thông tin thẻ tín dụng trở nên cấp thiết hơn bao giờ hết. Phân lớp dữ liệu mất cân bằng là một phương pháp hữu hiệu trong việc phát hiện các hành vi gian lận này. Dữ liệu mất cân bằng thường xảy ra khi số lượng giao dịch gian lận rất ít so với giao dịch hợp lệ, dẫn đến khó khăn trong việc xây dựng mô hình chính xác.

1.1. Khái niệm về gian lận thẻ tín dụng và dữ liệu mất cân bằng

Gian lận thẻ tín dụng là hành vi sử dụng thông tin thẻ tín dụng mà không có sự đồng ý của chủ thẻ. Dữ liệu mất cân bằng xảy ra khi số lượng giao dịch gian lận rất ít so với giao dịch hợp lệ, gây khó khăn cho việc phát hiện.

1.2. Tầm quan trọng của phát hiện gian lận trong ngân hàng

Phát hiện gian lận không chỉ giúp ngân hàng bảo vệ tài sản của khách hàng mà còn duy trì uy tín và sự tin tưởng của khách hàng đối với dịch vụ ngân hàng.

II. Vấn đề và thách thức trong phát hiện gian lận thẻ tín dụng

Một trong những thách thức lớn nhất trong việc phát hiện gian lận thẻ tín dụng là sự mất cân bằng trong dữ liệu. Khi số lượng giao dịch gian lận rất ít, các mô hình học máy thường gặp khó khăn trong việc nhận diện các mẫu gian lận. Điều này dẫn đến việc các mô hình có thể đưa ra nhiều dự đoán sai lệch, ảnh hưởng đến hiệu quả của hệ thống phát hiện gian lận.

2.1. Tác động của dữ liệu mất cân bằng đến mô hình học máy

Dữ liệu mất cân bằng có thể dẫn đến việc mô hình học máy thiên lệch, khi mà các giao dịch hợp lệ chiếm ưu thế, làm giảm độ chính xác trong việc phát hiện gian lận.

2.2. Các phương pháp truyền thống và hạn chế của chúng

Các phương pháp truyền thống như hồi quy logistic hay cây quyết định thường không hiệu quả trong việc xử lý dữ liệu mất cân bằng, dẫn đến tỷ lệ phát hiện gian lận thấp.

III. Phương pháp cải thiện phát hiện gian lận thẻ tín dụng bằng phân lớp dữ liệu mất cân bằng

Để cải thiện hiệu quả phát hiện gian lận, nhiều phương pháp đã được đề xuất. Các phương pháp này bao gồm việc sử dụng các kỹ thuật như SMOTE (Synthetic Minority Over-sampling Technique) và Under-sampling để điều chỉnh dữ liệu mất cân bằng. Những phương pháp này giúp tăng cường khả năng phát hiện các giao dịch gian lận mà không làm giảm độ chính xác của mô hình.

3.1. Kỹ thuật SMOTE trong phát hiện gian lận

SMOTE là một kỹ thuật tạo ra các mẫu mới từ các mẫu hiện có của lớp thiểu số, giúp tăng cường số lượng giao dịch gian lận trong tập dữ liệu.

3.2. Phương pháp Under sampling để giảm thiểu dữ liệu dư thừa

Under-sampling là phương pháp loại bỏ một số mẫu từ lớp đa số để cân bằng lại dữ liệu, giúp mô hình học máy tập trung hơn vào các giao dịch gian lận.

IV. Ứng dụng thực tiễn của phân lớp dữ liệu mất cân bằng trong ngân hàng

Việc áp dụng các phương pháp phân lớp dữ liệu mất cân bằng đã mang lại nhiều kết quả khả quan trong việc phát hiện gian lận thẻ tín dụng. Các ngân hàng đã sử dụng các mô hình học máy để phân tích dữ liệu giao dịch và phát hiện các hành vi gian lận một cách hiệu quả hơn. Kết quả cho thấy tỷ lệ phát hiện gian lận đã được cải thiện đáng kể.

4.1. Kết quả nghiên cứu từ các ngân hàng

Nhiều ngân hàng đã áp dụng các mô hình học máy và đạt được tỷ lệ phát hiện gian lận lên đến 95%, giúp giảm thiểu thiệt hại tài chính.

4.2. Các ứng dụng công nghệ trong phát hiện gian lận

Công nghệ như trí tuệ nhân tạo và học sâu đã được áp dụng để phát hiện các mẫu gian lận phức tạp, giúp ngân hàng nâng cao khả năng bảo mật.

V. Kết luận và tương lai của phát hiện gian lận thẻ tín dụng

Phát hiện gian lận thẻ tín dụng bằng phân lớp dữ liệu mất cân bằng là một lĩnh vực đang phát triển mạnh mẽ. Với sự tiến bộ của công nghệ và các phương pháp học máy, khả năng phát hiện gian lận sẽ ngày càng chính xác hơn. Tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều giải pháp hiệu quả hơn cho các ngân hàng và tổ chức tài chính.

5.1. Xu hướng phát triển trong công nghệ phát hiện gian lận

Các công nghệ mới như blockchain và học sâu sẽ tiếp tục được nghiên cứu và áp dụng để cải thiện khả năng phát hiện gian lận.

5.2. Tầm quan trọng của việc nâng cao nhận thức về gian lận

Nâng cao nhận thức của khách hàng về gian lận thẻ tín dụng cũng là một yếu tố quan trọng trong việc giảm thiểu rủi ro và bảo vệ thông tin cá nhân.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: CƠ SỞ LÝ LUẬN VỀ PHÂN LỚP DỮ LIỆU MẤT CÂN BẰNG 1. Phân lớp dữ liệu 1. Khái niệm về phân lớp dữ liệu và bài toán phân lớp dữ liệu • Phân lớp dữ liệu: Phân lớp dữ liệu (classification) là một trong những hướng nghiên cứu chính của khai phá dữ liệu. Thực tế đặt ra nhu cầu là từ một cơ sở dữ liệu với nhiều thông tin ẩn con người có thể rút trích ra các quyết định nghiệp vụ thông minh.

Phân lớp là một dạng của phân tích dữ liệu nhằm rút trích ra một mô hình mô tả các lớp dữ liệu quan trọng hay dự đoán xu hướng dữ liệu trong tương lai. Phân lớp dự đoán giá trị của những nhãn xác định (categorical label) hay những giá trị rời rạc (discrete value), có nghĩa là phân lớp thao tác với những đối tượng dữ liệu mà có bộ giá trị là biết trước. Trong khi đó, dự đoán lại xây dựng mô hình với các hàm nhận giá trị liên tục. Ví dụ mô hình phân lớp dự báo thời tiết có thể cho biết thời tiết ngày mai là mưa, hay nắng dựa vào những thông số về độ ẩm, sức gió, nhiệt độ,.

của ngày hôm nay và các ngày trước đó. Hay nhờ các luật về xu hướng mua hàng của khách hàng trong siêu thị, các nhân viên kinh doanh có thể ra những quyết sách đúng đắn về lượng mặt hàng cũng như chủng loại bày bán. Một mô hình dự đoán có thể dự đoán được lượng tiền tiêu dùng của các khách hàng tiềm năng dựa trên những thông tin về thu nhập và nghề nghiệp của khách hàng. Trong những năm qua, phân lớp dữ liệu đã thu hút sự quan tâm các nhà nghiên cứu trong nhiều lĩnh vực khác nhau như học máy (machine learning), hệ chuyên gia (expert system), thống kê (statistics).

Công nghệ này cũng ứng dụng trong nhiều lĩnh vực khác nhau như: thương mại, marketing, nghiên cứu thị trường, bảo hiểm, y tế, giáo dục. Phần lớn các thuật toán ra đời trước đều sử dụng cơ chế dữ liệu cư trú trong 4 bộ nhớ (memory resident), thường thao tác với lượng dữ liệu nhỏ. Một số thuật toán ra đời sau này đã sử dụng kỹ thuật cư trú trên đĩa cải thiện đáng kể khả năng mở rộng của thuật toán với những tập dữ liệu lớn lên tới hàng tỷ bản ghi. • Bài toán phân lớp dữ liệu: Là quá trình phân lớp một đối tượng dữ liệu vào một hay nhiều lớp đã cho trước nhờ một mô hình phân lớp (model).

Mô hình này được xây dựng dựa trên một tập dữ liệu được xây dựng trước đó có gán nhãn (còn gọi là tập huấn luyện). Quá trình phân lớp là quá trình gán nhãn cho đối tượng dữ liệu. Nhiệm vụ của bài toán phân lớp là cần tìm một mô hình phân lớp để khi có dữ liệu mới thì có thể xác định được dữ liệu đó thuộc vào phân lớp nào. Bài toán phân lớp dữ liệu có thể được mô tả như hình 1.

Mô hình mô tả bài toán phân lớp dữ liệu Bài toán phân lớp dữ liệu có thể phát biểu tổng quát như sau: Cho U = {A1, A2,…., Am} là tập có m thuộc tính, Y = {y1, y2, …., yn} là tập các nhãn của lớp: với 𝐷 = 𝐴1 × … × 𝐴𝑚 là tích Đề - các của các miền của m thuộc tính tương ứng có n số lớp và N là số mẫu dữ liệu. Mỗi dữ liệu 𝑑𝑖 ∈ 𝐷 thuộc một lớp 𝑦𝑖 ∈ 𝑌 tương ứng tạo thành từng cặp (𝑑𝑖 , 𝑦𝑖 ) ∈ (𝐷, 𝑌). Quy trình thực hiện phân lớp dữ liệu Quy trình thực hiện phân lớp dữ liệu thường được thực hiện theo 2 bước: Bước thứ nhất (learning) quá trình học để xây dựng mô hình phân lớp và bước thứ hai áp dụng mô hình phân lớp ở bước thứ nhất để phân lớp dữ liệu mới. 5 • Bước thứ nhất (learning) Quá trình học nhằm xây dựng một mô hình mô tả một tập các lớp dữ liệu hay các khái niệm định trước.

Đầu vào của quá trình này là một tập dữ liệu có cấu trúc được mô tả bằng các thuộc tính và được tạo ra từ tập các bộ giá trị của các thuộc tính đó. Mỗi bộ giá trị được gọi chung là một phần tử dữ liệu (data tuple), có thể là các mẫu (sample), ví dụ (example), đối tượng (object), bản ghi (record) hay trường hợp (case). Khoá luận sử dụng các thuật ngữ này với nghĩa tương đương. Trong tập dữ liệu này, mỗi phần tử dữ liệu được giả sử thuộc về một lớp định trước, lớp ở đây là giá trị của một thuộc tính được chọn làm thuộc tính gán nhãn lớp hay thuộc tính phân lớp (class label attribute).

Đầu ra của bước này thường là các quy tắc phân lớp dưới dạng luật dạng if-then, cây quyết định, công thức logic, hay mạng nơron. Quá trình này được mô tả như trong hình 1. Quá trình phân lớp dữ liệu - Bước xây dựng mô hình phân lớp 6 • Bước thứ hai (classification) Bước thứ hai dùng mô hình đã xây dựng ở bước trước để phân lớp dữ liệu mới. Trước tiên độ chính xác mang tính chất dự đoán của mô hình phân lớp vừa tạo ra được ước lượng.

Holdout là một kỹ thuật đơn giản để ước lượng độ chính xác đó. Kỹ thuật này sử dụng một tập dữ liệu kiểm tra với các mẫu đã được gán nhãn lớp. Các mẫu này được chọn ngẫu nhiên và độc lập với các mẫu trong tập dữ liệu đào tạo. Độ chính xác của mô hình trên tập dữ liệu kiểm tra đã đưa là tỷ lệ phần trăm các các mẫu trong tập dữ liệu kiểm tra được mô hình phân lớp đúng (so với thực tế).

Nếu độ chính xác của mô hình được ước lượng dựa trên tập dữ liệu đào tạo thì kết quả thu được là rất khả quan vì mô hình luôn có xu hướng “quá vừa” dữ liệu. Quá vừa dữ liệu là hiện tượng kết quả phân lớp trùng khít với dữ liệu thực tế vì quá trình xây dựng mô hình phân lớp từ tập dữ liệu đào tạo có thể đã kết hợp những đặc điểm riêng biệt của tập dữ liệu đó. Do vậy cần sử dụng một tập dữ liệu kiểm tra độc lập với tập dữ liệu đào tạo. Nếu độ chính xác của mô hình là chấp nhận được, thì mô hình được sử dụng để phân lớp những dữ liệu tương lai, hoặc những dữ liệu mà giá trị của thuộc tính phân lớp là chưa biết.3 Quá trình phân lớp dữ liệu - Ước lượng độ chính xác của mô hình 7 Hình 1.4 Quá trình phân lớp dữ liệu - Phân lớp dữ liệu mới Trong mô hình phân lớp, thuật toán phân lớp giữ vai trò trung tâm, quyết định tới sự thành công của mô hình phân lớp.

Do vậy chìa khóa của vấn đề phân lớp dữ liệu là tìm ra được một thuật toán phân lớp nhanh, hiệu quả, có độ chính xác cao và có khả năng mở rộng được. Trong đó khả năng mở rộng của thuật toán được đặc biệt chú trọng và phát triển. Các độ đo đánh giá mô hình phân lớp dữ liệu Để đánh giá một mô hình phân lớp dữ liệu, việc đầu tiên, và thông thường nhất mà các chuyên gia thường thực hiện đó là chia tập dữ liệu thành các phần phục vụ cho việc huấn luyện mô hình (Training Data) và kiểm chứng mô hình (Testing Data). Xây dựng model thông qua việc lựa chọn thuật toán, xác định các biến dữ liệu, hay điều chỉnh các tham số… sao cho phù hợp sẽ dựa trên dữ liệu training.

Sau khi hoàn thành cơ bản mô hình, tiến hành sử dụng dữ liệu test để thử nghiệm mô hình bằng cách kết hợp nhiều công thức, chỉ số khác nhau để đánh giá mức độ chính xác với input là các kết quả có được khi chạy mô hình với dữ liệu test. Vậy quá trình đánh giá mô hình phân lớp thường chia làm 2 phần hay hướng tiếp cận: phân chia bộ dữ liệu để huấn luyện và kiểm chứng mô hình; sử dụng các chỉ số để đánh giá độ hiệu quả. Một số tiêu chí mô tả độ hiệu quả của mô hình phân lớp: 8 - Accuracy: Khả năng mô hình phân lớp dự báo, phân loại hay xác định đúng class cho dữ liệu cần phân loại. - Speed: Tốc độ hay khả năng mô hình đưa ra kết quả phân tích nhanh chóng, nó còn liên qua đến chi phí tính toán khi xây dựng, và sử dụng mô hình.

- Robustness: Khả năng của mô hình xử lý nhiễu hoặc dữ liệu với các giá trị bị thiếu và đưa ra dự đoán chính xác. - Scalability: Phương pháp hay khả năng xây dựng mô hình phân lớp hiệu quả trong xử lý, phân tích lượng lớn dữ liệu. - Interpreability: Liên quan đến khả năng giải thích, mứa độ phức tạp của mô hình hay nói cách khác cấu trúc mô hình, phương pháp xây dựng mô hình có dễ hiểu hay không. Đánh giá mô hình là một phần không thể thiếu trong quá trình phát triển mô hình, giúp tìm ra mô hình tốt nhất, phù hợp nhất với mục tiêu nghiên cứu, và loại dữ liệu.

Có 2 phương pháp đánh giá phổ biến là holdout và cross- validation. • Holdout: Phương pháp Holdout, là phương pháp phân chia ngẫu nhiên tập dữ liệu thành 2 tập dữ liệu độc lập là: tập dữ liệu huấn luyện và tập kiểm định mô hình. Mục đích của phương pháp Holdout là kiểm tra độ hiệu quả của mô hình khi sử dụng nhiều tập dữ liệu khác nhau. Cụ thể trong phương pháp Holdout ta sẽ có các tập dữ liệu: - Training set: Dữ liệu phục vụ xây dựng mô hình, xác định các thuật toán, biến dữ liệu phù hợp - Validation set: Là dữ liệu được sử dụng để đánh giá hiệu suất của mô hình được xây dựng trong giai đoạn huấn luyện, hỗ trợ thử nghiệm để tinh chỉnh các tham số mô hình và chọn mô hình hoạt động tốt nhất.

Tuy nhiên không phải mọi thuật toán phân lớp nào cũng cần Validation set, nên phương 9 pháp Holdout thông thường chỉ cần 2 tập dữ liệu training và test data mà thôi. - Test set: Là dữ liệu được sử dụng để đánh giá độ hiệu quả của mô hình, mức độ chính xác trong việc phân loại dữ liệu (không chứa nhãn phân loại). Thường tỉ lệ phân chia cho training data set là 70% và test data set là 30%. Ưu điểm của Holdout là nhanh chóng, đơn giản và linh hoạt.

Tuy nhiên, phương pháp này thường dẫn đến độ biến thiên cao do sự khác biệt lớn trong 2 tập dữ liệu, dẫn đến sự khác biệt trong việc phân lớp hay dự đoán. Do đó việc áp dụng Holdout cần kết hợp các phương pháp để kiểm tra mức độ khác biệt của 2 tập dữ liệu.