Đánh Giá Hiệu Suất Học Liên Kết Với Tập Dữ Liệu Mất Cân Bằng

Luận văn tốt nghiệp nghiên cứu tốt nghiệp hệ thống thông tin đánh giá mô hình học liên kết trong tập dữ liệu mất cân bằng, điều tra thực trạng, phân tích số liệu, đề xuất biện

• Tác giả: Vương Hoàng Minh
• Người hướng dẫn: ThS. Hà Lê Hoài Trung
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Đánh Giá Hiệu Suất Học Liên Kết Với Tập Dữ Liệu Mất Cân Bằng
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Dat van đề
• 1.2. Thách thức và mục tiêu
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Gian lận giao dịch
• 2.2. Các loại gian lận giao dịch
• 2.3. Các thách thức
• 2.4. Ứng dụng máy học để phát hiện gian lận
• 2.5. Các phương pháp đánh giá mô hình dự đoán
• 2.5.1. Binary Classification, Confusion Matrix
• 3. CHƯƠNG 3: PHƯƠNG PHÁP THỰC HIỆN
• 3.1. Tập dữ liệu
• 3.2. Tiền xử lý dữ liệu
• 3.2.1. Xử lý miền giá trị của tập dữ liệu và loại bỏ đặc trưng
• 3.2.2. Chia tập dữ liệu
• 3.3. Xử lý cân bằng dữ liệu
• 3.4. Xây dựng mô hình Multi - Layer perceptron
• 3.5. Federated learning trong thực nghiệm
• 3.5.1. Thuật toán Fed Avg với thực nghiệm thông số về Batch size
• 3.5.2. Thuật toán Fed Avg với thực nghiệm thông số về Round
• 3.5.3. Thuật toán Fed Avg với thực nghiệm thông số về Epoch
• 3.5.4. Thuật toán Fed Avg với thực nghiệm thông số về Learning rate
• 3.5.5. Thuật toán Fed Avg với thực nghiệm balance data
• 3.5.6. Thuật toán Fed Avg, Fed Sgd, Fed Prox với các thông số có kết quả tốt nhất
• 3.6. Kết luận
• 4. CHƯƠNG 4: TỔNG KẾT
• 4.1. Những kiến thức học được
• 4.2. Những công việc đã đạt được
• 4.3. Bài học kinh nghiệm
• 4.4. Công việc trong tương lai
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Đánh Giá Hiệu Suất Học Liên Kết

Đánh giá hiệu suất học liên kết với tập dữ liệu mất cân bằng là một chủ đề quan trọng trong lĩnh vực học máy. Việc hiểu rõ về cách thức hoạt động của các mô hình học máy trong bối cảnh dữ liệu không cân bằng giúp cải thiện độ chính xác và hiệu quả của các hệ thống phát hiện gian lận. Nghiên cứu này sẽ cung cấp cái nhìn tổng quan về các phương pháp và thách thức trong việc đánh giá hiệu suất của các mô hình học liên kết.

1.1. Khái Niệm Về Hiệu Suất Học Liên Kết

Hiệu suất học liên kết đề cập đến khả năng của mô hình trong việc học từ dữ liệu phân tán mà không cần chia sẻ dữ liệu nhạy cảm. Điều này đặc biệt quan trọng trong các lĩnh vực như tài chính, nơi mà dữ liệu khách hàng cần được bảo mật.

1.2. Tầm Quan Trọng Của Tập Dữ Liệu Mất Cân Bằng

Tập dữ liệu mất cân bằng là một thách thức lớn trong học máy, đặc biệt là trong các bài toán phát hiện gian lận. Tỷ lệ gian lận thấp trong tổng số giao dịch khiến cho việc dự đoán chính xác trở nên khó khăn.

II. Thách Thức Trong Đánh Giá Hiệu Suất Học Liên Kết

Việc đánh giá hiệu suất của các mô hình học liên kết gặp phải nhiều thách thức, đặc biệt là khi làm việc với tập dữ liệu mất cân bằng. Các vấn đề như concept drift và dữ liệu nhạy cảm cần được xem xét kỹ lưỡng để đảm bảo tính chính xác của mô hình.

2.1. Vấn Đề Concept Drift Trong Mô Hình

Concept drift xảy ra khi các hành vi gian lận thay đổi theo thời gian, khiến cho mô hình không còn chính xác. Việc cập nhật mô hình thường xuyên là cần thiết để duy trì hiệu suất.

2.2. Dữ Liệu Nhạy Cảm Và Vấn Đề Bảo Mật

Dữ liệu nhạy cảm không thể chia sẻ giữa các tổ chức tài chính, điều này gây khó khăn trong việc xây dựng mô hình học liên kết hiệu quả. Các giải pháp bảo mật như Federated Learning được đề xuất để giải quyết vấn đề này.

III. Phương Pháp Đánh Giá Hiệu Suất Mô Hình Học Liên Kết

Để đánh giá hiệu suất của mô hình học liên kết, nhiều phương pháp khác nhau được áp dụng. Các chỉ số như Precision, Recall và F1-Score là những công cụ quan trọng trong việc đo lường độ chính xác của mô hình.

3.1. Sử Dụng Precision Và Recall

Precision và Recall là hai chỉ số quan trọng trong việc đánh giá mô hình phát hiện gian lận. Precision đo lường độ chính xác của các dự đoán gian lận, trong khi Recall đo lường khả năng phát hiện các giao dịch gian lận thực sự.

3.2. F1 Score Là Chỉ Số Tổng Hợp

F1-Score là chỉ số tổng hợp giữa Precision và Recall, giúp đánh giá hiệu suất của mô hình một cách toàn diện. Chỉ số này đặc biệt hữu ích trong các bài toán mất cân bằng dữ liệu.

IV. Ứng Dụng Thực Tiễn Của Mô Hình Học Liên Kết

Mô hình học liên kết có nhiều ứng dụng thực tiễn trong việc phát hiện gian lận giao dịch. Việc áp dụng các phương pháp học máy giúp cải thiện độ chính xác và hiệu quả của các hệ thống phát hiện gian lận.

4.1. Ứng Dụng Trong Ngành Tài Chính

Trong ngành tài chính, các mô hình học liên kết được sử dụng để phát hiện gian lận thẻ tín dụng. Việc áp dụng các thuật toán học máy giúp giảm thiểu rủi ro và bảo vệ thông tin khách hàng.

4.2. Kết Quả Nghiên Cứu Về Hiệu Suất

Nghiên cứu cho thấy rằng việc sử dụng Federated Learning có thể cải thiện đáng kể hiệu suất của các mô hình học liên kết, đồng thời bảo vệ dữ liệu nhạy cảm của khách hàng.

V. Kết Luận Về Đánh Giá Hiệu Suất Học Liên Kết

Đánh giá hiệu suất học liên kết với tập dữ liệu mất cân bằng là một lĩnh vực nghiên cứu quan trọng. Các thách thức và phương pháp đánh giá cần được xem xét kỹ lưỡng để đảm bảo tính chính xác và hiệu quả của các mô hình.

5.1. Tương Lai Của Nghiên Cứu

Tương lai của nghiên cứu trong lĩnh vực này sẽ tập trung vào việc phát triển các phương pháp mới để cải thiện hiệu suất của mô hình học liên kết, đồng thời giải quyết các vấn đề về dữ liệu nhạy cảm.

5.2. Khuyến Nghị Cho Các Tổ Chức

Các tổ chức nên xem xét áp dụng các phương pháp học liên kết để cải thiện khả năng phát hiện gian lận, đồng thời bảo vệ thông tin khách hàng một cách hiệu quả.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh thanh toán không dùng tiền mặt phát triển mạnh mẽ, thẻ tín dụng và thẻ ghi nợ đã trở thành phương tiện thanh toán phổ biến trên toàn cầu. Tuy nhiên, tình trạng gian lận giao dịch thẻ tín dụng đang gây ra tổn thất tài chính nghiêm trọng cho người tiêu dùng và các định chế tài chính. Theo số liệu thống kê được tác giả trích dẫn từ Liên minh Châu Âu (EU) năm 2011, trong hơn 700 triệu giao dịch điện tử với tổng giá trị đạt 3.000 tỷ Euro, thiệt hại do các hành vi gian lận gây ra đã lên tới 1,5 tỷ Euro mỗi năm. Phần lớn các vụ gian lận hiện nay tập trung vào hình thức giao dịch trực tuyến, chiếm tới 90% tổng số các trường hợp gian lận giao dịch.

Việc xây dựng hệ thống phát hiện gian lận giao dịch (Fraud Detection System - FDS) đối mặt với bốn thách thức thực tiễn chính:

1. Tính riêng tư và bảo mật dữ liệu khách hàng: Dữ liệu giao dịch tài chính là thông tin nhạy cảm. Do các ràng buộc pháp lý nghiêm ngặt cũng như rủi ro suy giảm uy tín thương mại khi công bố các sự cố gian lận, các ngân hàng và tổ chức tài chính không thể chia sẻ dữ liệu nội bộ cho bên thứ ba hoặc liên kết cơ sở dữ liệu với nhau.
2. Hiện tượng trôi dạt khái niệm (Concept Drift): Tội phạm tài chính liên tục thay đổi phương thức và chiến thuật hoạt động, khiến các mô hình dự đoán nhanh chóng bị suy giảm độ chính xác nếu không được cập nhật kịp thời.
3. Dữ liệu mất cân bằng cực đoan: Trong các tập dữ liệu giao dịch thực tế, số lượng giao dịch gian lận chỉ chiếm tỷ lệ rất nhỏ (khoảng 0,17% đến 1% tổng số lượng giao dịch), khiến các thuật toán phân lớp truyền thống có xu hướng dự đoán lệch về phía nhóm giao dịch hợp pháp chiếm đa số.
4. Thiếu hụt dữ liệu ghi nhận: Nhiều trường hợp gian lận không được phát hiện hoặc không được các tổ chức tài chính báo cáo đầy đủ vì lo ngại ảnh hưởng tiêu cực đến lòng tin của khách hàng.

Trước hạn chế của phương pháp ngăn chặn bằng tập luật (rule-based) và mô hình máy học tập trung (Centralized Learning) vốn đòi hỏi phải gom toàn bộ dữ liệu về một máy chủ duy nhất, khóa luận đặt ra mục tiêu:

1. Ứng dụng mô hình học liên kết (Federated Learning) dựa trên nền tảng framework TensorFlow để xây dựng hệ thống phát hiện gian lận giao dịch thẻ tín dụng mà không cần tập trung dữ liệu nhạy cảm.
2. Thực nghiệm và đánh giá hiệu năng của ba thuật toán tổng hợp học liên kết gồm FedAvg (Federated Averaging), FedSGD (Federated Stochastic Gradient Descent) và FedProx trên tập dữ liệu mất cân bằng.
3. Khảo sát ảnh hưởng của các siêu tham số (Batch size, Round, Epoch, Learning rate) và các kỹ thuật cân bằng dữ liệu (SMOTE, Random UnderSampling) nhằm tìm ra cấu hình mô hình tối ưu.

Đối tượng nghiên cứu của đề tài là các thuật toán học liên kết kết hợp mạng nơ-ron Multi-Layer Perceptron (MLP) cho bài toán phân lớp nhị phân. Phạm vi dữ liệu thực nghiệm được giới hạn trên bộ dữ liệu giao dịch thẻ tín dụng thực tế từ châu Âu công bố trên nền tảng Kaggle, bao gồm 284.807 giao dịch được ghi nhận trong thời gian 2 ngày của tháng 9 năm 2013.

Cơ sở lý thuyết và phương pháp

Khóa luận phân loại các hình thức gian lận thẻ tín dụng thành năm nhóm cụ thể: gian lận do đánh mất hoặc bị lấy cắp thẻ (chiếm 1%), gian lận do thẻ bị đánh cắp trước khi đến tay khách hàng (chiếm hơn 1%), gian lận do rò rỉ mã định danh thẻ (ID) (chiếm tỷ lệ không đáng kể), gian lận bằng thẻ tín dụng giả (chiếm dưới 10% và đang giảm dần nhờ công nghệ thẻ gắn chip EMV), và gian lận qua giao dịch trực tuyến (chiếm 90% tổng số vụ gian lận dù đã có các cơ chế như 3D Secure).

Về mặt lý thuyết máy học và học liên kết, nghiên cứu dựa trên các nền tảng sau:

• Phân lớp nhị phân (Binary Classification) và Ma trận nhầm lẫn (Confusion Matrix): Xác định 4 trạng thái dự đoán gồm True Positive (TP - dự đoán đúng giao dịch gian lận), False Positive (FP - dự đoán nhầm giao dịch bình thường thành gian lận), True Negative (TN - dự đoán đúng giao dịch bình thường) và False Negative (FN - bỏ sót giao dịch gian lận).
• Hệ thống độ đo đánh giá: Độ chính xác tổng thể (Accuracy), Độ chuẩn xác (Precision), Độ hồi quy (Recall), Điểm F1 (F1-Score) và Hàm mất mát nhị phân (Binary Cross Entropy Loss). Tác giả chỉ ra rằng Accuracy hoàn toàn không hiệu quả trong bài toán này do dữ liệu mất cân bằng (dự đoán toàn bộ là nhãn âm tính vẫn đạt Accuracy trên 99%), do đó Precision và Recall là hai độ đo cốt lõi được sử dụng để đánh giá.
• Kiến trúc mạng Perceptron đa tầng (Multi-Layer Perceptron - MLP): Mạng nơ-ron truyền thẳng gồm các lớp ẩn sử dụng hàm kích hoạt phi tuyến ReLU và lớp đầu ra sử dụng hàm Sigmoid để ánh xạ kết quả về khoảng xác suất (0, 1).
• Nguyên lý học liên kết (Federated Learning): Phân tán tập dữ liệu huấn luyện $D$ thành $n$ máy chủ cục bộ $P = {P_1, P_2, ..., P_n}$. Mỗi máy cục bộ tự huấn luyện mô hình với dữ liệu riêng tư rồi gửi tham số (gradient hoặc trọng số $w$) về máy chủ trung tâm để tổng hợp thành mô hình toàn cục $M$ thông qua hàm truy vấn $Q$ và thuật toán tổng hợp, sau đó nhận lại mô hình cập nhật.
• Ba thuật toán tổng hợp học liên kết:
  1. FedSGD: Máy cục bộ tính toán gradient trên dữ liệu nội bộ và gửi về máy chủ trung tâm để tính trung bình và cập nhật trọng số toàn cục.
  2. FedAvg: Máy cục bộ tự cập nhật trọng số mô hình qua nhiều epoch nội bộ, sau đó máy chủ trung tâm tính giá trị trung bình có trọng số của các vector trọng số gửi về.
  3. FedProx: Bổ sung thành phần hiệu chỉnh Proximal Term $\frac{\mu}{2} |w - w^t|^2$ vào hàm mục tiêu cục bộ nhằm hạn chế độ lệch trọng số giữa máy cục bộ và mô hình trung tâm, giúp thuật toán hoạt động ổn định trong điều kiện môi trường mạng không đồng nhất hoặc dữ liệu phân tán không đồng nhất (non-IID).

Phương pháp thực nghiệm được triển khai theo quy trình:

• Tiền xử lý dữ liệu: Kiểm tra và loại bỏ các bản ghi trùng lặp; chuẩn hóa miền giá trị của hai thuộc tính chưa mã hóa (Time và Amount) về khoảng chuẩn thông qua phương pháp MinMax standard; giữ nguyên 28 thuộc tính từ V1 đến V28 đã được mã hóa theo phương pháp phân tích thành phần chính (PCA).
• Phân chia môi trường phân tán: Chia bộ dữ liệu thành 20 tập dữ liệu cục bộ đại diện cho 20 máy khách. Áp dụng phương pháp kiểm thử chéo với tỷ lệ phân chia nội bộ tại mỗi máy là 90% dữ liệu huấn luyện (train) và 10% dữ liệu kiểm thử (test). Trong mỗi vòng huấn luyện (round), hệ thống chọn cố định một nhóm 4 máy cục bộ để cập nhật tham số.
• Kỹ thuật xử lý mất cân bằng: Thực nghiệm kỹ thuật tăng cường mẫu lớp thiểu số SMOTE (OverSampling đưa tỷ lệ hai lớp về 50:50) và kỹ thuật giảm mẫu lớp đa số ngẫu nhiên (Random UnderSampling đối với nhãn 0 theo các mức giảm 90%, 80%, 70%, 60%, và 50%).
• Khảo sát lưới tham số: Tiến hành thực nghiệm trên framework TensorFlow bằng cách thay đổi từng siêu tham số trên thuật toán cơ sở FedAvg (Batch size: 128 đến 4096; Round: 50 đến 150; Epoch: 25 đến 100; Learning rate: 0,01 và 0,05), sau đó lấy bộ tham số có kết quả tối ưu nhất để áp dụng và đối sánh giữa ba thuật toán FedAvg, FedSGD và FedProx.

Thành phần nghiên cứu	Mô tả kỹ thuật thực tế trong khóa luận
Nền tảng thực nghiệm	TensorFlow, Keras Sequential
Cấu trúc mạng MLP	4 lớp: Input; Hidden 1 (128 units, ReLU); Hidden 2 (64 units, ReLU); Output (1 unit, Sigmoid)
Hàm mất mát	Binary Cross Entropy
Số lượng nút phân tán	20 máy cục bộ (chọn 4 máy cố định mỗi vòng)
Tỷ lệ phân chia tập mẫu	90% Train (18 gian lận, 12.797 bình thường), 10% Test (6 gian lận, 1.418 bình thường)
Kỹ thuật cân bằng mẫu	SMOTE, Random UnderSampling (giảm 90%, 80%, 70%, 60%, 50% nhãn 0)

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 thiết lập cơ sở thực tiễn của đề tài thông qua việc phân tích tình hình thiệt hại tài chính hàng tỷ USD mỗi năm từ các hành vi gian lận thanh toán thẻ trực tuyến. Tác giả đối chiếu hai phương pháp xử lý truyền thống gồm các hệ thống phòng thủ dựa trên tập luật tĩnh (rule-based) và các mô hình máy học tập trung. Từ đó, chương phân tích sâu hai trở ngại căn bản: tính chất trôi dạt khái niệm (Concept Drift) đòi hỏi mô hình phải cập nhật liên tục trước các phương thức phạm tội mới, và tỷ lệ mất cân bằng dữ liệu nghiêm trọng khi gian lận chỉ chiếm 0,17%. Cuối cùng, chương làm rõ rào cản chia sẻ dữ liệu liên ngân hàng do tính nhạy cảm của thông tin khách hàng và quy định pháp lý, từ đó khẳng định mục tiêu ứng dụng mô hình Federated Learning của Google (2016) trên nền tảng TensorFlow để giải quyết bài toán phát hiện gian lận.

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày toàn diện các khái niệm và mô hình toán học làm nền tảng cho nghiên cứu. Tác giả phân loại năm dạng gian lận giao dịch thẻ chính cùng các công nghệ xác thực như thẻ chip EMV và giao thức 3D Secure. Chương phân tích cơ chế phân lớp nhị phân, định nghĩa ma trận nhầm lẫn và thiết lập công thức tính các độ đo đánh giá: Accuracy, Precision, Recall, F1-Score và hàm Binary Cross Entropy Loss. Nội dung trọng tâm của chương tập trung vào cơ chế vận hành của học liên kết, giải thuật cập nhật tham số giữa máy chủ trung tâm và các máy cục bộ, đồng thời diễn giải chi tiết nguyên lý hoạt động của ba thuật toán FedSGD, FedAvg và FedProx (với vai trò ràng buộc của Proximal Term trong điều kiện mạng biến động). Phần cuối chương mô tả chi tiết kiến trúc mạng nơ-ron Perceptron đa tầng (MLP), bao gồm cấu trúc node, cơ chế tính toán trọng số, độ lệch bias và hàm kích hoạt Sigmoid.

Chương 3: Phương pháp thực hiện

Chương 3 trình bày toàn bộ quá trình thực nghiệm của khóa luận. Tác giả phân tích bộ dữ liệu Kaggle gồm 284.807 mẫu với 492 giao dịch gian lận và 284.315 giao dịch bình thường. Phân tích tương quan và biểu đồ phân phối cho thấy thuộc tính Amount tập trung dưới 1.000 USD và có miền giá trị phân tán không đồng đều với thuộc tính Time, đòi hỏi phải tiền xử lý bằng MinMax standard. Dữ liệu được loại bỏ trùng lặp và chia thành 20 tập dữ liệu cho 20 máy cục bộ, áp dụng kiểm thử chéo với tỷ lệ 90% train và 10% test trên từng máy.

Tác giả tiến hành thử nghiệm mô hình mạng MLP 4 lớp (128 và 64 nơ-ron ẩn) trên framework TensorFlow kết hợp cùng thuật toán FedAvg qua các không gian tham số:

• Thực nghiệm Batch size (128, 256, 512, 1024, 2048, 4096).
• Thực nghiệm số vòng Round (50, 75, 100, 125, 150).
• Thực nghiệm số Epoch (25, 50, 75, 100).
• Thực nghiệm Tốc độ học Learning rate (khảo sát các mức, trong đó 0,01 đạt kết quả vượt trội so với 0,05 và các giá trị khác).
• Thực nghiệm kỹ thuật xử lý dữ liệu: dữ liệu gốc mất cân bằng (imbalance), thuật toán SMOTE, và Random UnderSampling theo các tỷ lệ giảm 90%, 80%, 70%, 60%, 50%.
• So sánh đối sánh giữa FedAvg, FedSGD và FedProx dựa trên tập tham số tối ưu đã tìm được.

Chương 4: Tổng kết

Chương 4 đúc kết các kết quả nghiên cứu và những bài học kinh nghiệm thu được từ quá trình triển khai thực nghiệm. Tác giả hệ thống lại các mục tiêu đã hoàn thành bao gồm: xây dựng thành công quy trình mô phỏng học liên kết trên dữ liệu giao dịch thẻ tín dụng, xác định được các tham số tối ưu cho mô hình FedAvg, và đánh giá tác động của các kỹ thuật xử lý mất cân bằng dữ liệu trong môi trường học phân tán. Đồng thời, chương chỉ ra các hạn chế trong quá trình thực nghiệm và định hướng các công việc cần tiếp tục nghiên cứu trong tương lai.

Kết quả và đóng góp

Khóa luận đã ghi nhận các kết quả thực nghiệm định lượng và rút ra những kết luận kỹ thuật sau:

• Về kích thước Batch size: Khi tăng batch size từ 128 lên 256 và đạt mốc 512, hiệu năng mô hình tăng lên rõ rệt. Tuy nhiên, khi tiếp tục tăng từ 512 lên 4096 thì kết quả không còn thay đổi đáng kể. Tác giả kết luận kích thước batch size tối thiểu phải lớn hơn 256 và đạt trạng thái ổn định từ mức 512 trở lên.
• Về số vòng huấn luyện (Round): Giá trị Precision duy trì ổn định trong khoảng từ 50 đến 125 vòng, nhưng giảm sút mạnh khi tăng lên mốc 150 vòng. Ngược lại, giá trị Recall tăng dần theo số vòng và đạt trạng thái hội tụ tại mốc 125 vòng. Tác giả giải thích hiện tượng này là do đặc thù mất cân bằng dữ liệu: lớp gian lận chiếm tỷ lệ rất nhỏ nên cần nhiều vòng lặp để mô hình học được đặc trưng, trong khi lớp không gian lận chiếm đa số dẫn đến tình trạng học quá mức (overfit) sau 125 vòng, khiến Precision bị suy giảm.
• Về số Epoch và Learning rate: Việc thay đổi số lượng epoch từ 25 đến 100 không tạo ra sự biến thiên đáng kể về hiệu năng dự đoán. Đối với tốc độ học, giá trị learning rate = 0,01 mang lại kết quả tối ưu nhất, trong khi các thông số khác cho kết quả kém hơn rõ rệt.
• Về kỹ thuật cân bằng dữ liệu: Thực nghiệm cho thấy phương pháp Random UnderSampling giảm 90% số lượng mẫu của nhãn 0 mang lại kết quả dự đoán cao nhất. Ngược lại, thuật toán SMOTE ghi nhận chỉ số Precision rất thấp dù Recall đạt mức cao. Tác giả lý giải: do dữ liệu bị chia nhỏ thành 20 phân vùng máy cục bộ, số lượng mẫu gian lận trên mỗi máy là rất ít (chỉ 18 mẫu train); việc tạo mẫu nhân tạo để nâng tỷ lệ lớp thiểu số lên 50:50 bằng SMOTE đã đưa vào nhiều dữ liệu nhiễu và gây ra hiện tượng overfitting cục bộ nghiêm trọng.
• Cấu hình tối ưu toàn diện: Cấu hình tốt nhất được xác định cho thuật toán FedAvg là áp dụng kỹ thuật Random UnderSampling giảm 90% nhãn 0, huấn luyện với 125 round, 50 epoch, learning rate = 0,01 và batch size = 2048.

Siêu tham số / Kỹ thuật	Miền giá trị thực nghiệm	Kết luận thực nghiệm của tác giả
Batch size	128, 256, 512, 1024, 2048, 4096	Phải lớn hơn 256, ổn định từ 512
Số vòng (Round)	50, 75, 100, 125, 150	Hội tụ tối ưu ở 125 vòng; vượt quá 125 vòng gây overfit làm giảm Precision
Số Epoch	25, 50, 75, 100	Không tạo ra thay đổi đáng kể
Learning rate	0,05 và 0,01 cùng các mức khác	0,01 cho kết quả tốt nhất
Cân bằng dữ liệu	Imbalance, SMOTE, UnderSampling (50% - 90%)	UnderSampling giảm 90% lớp 0 đạt hiệu quả cao nhất; SMOTE không phù hợp do gây nhiễu

Đóng góp của khóa luận thể hiện ở việc chứng minh tính khả thi của mô hình học liên kết trong bài toán phát hiện gian lận thẻ tín dụng, chứng minh rằng các tổ chức tài chính hoàn toàn có thể phối hợp huấn luyện mô hình dự đoán mà không cần chia sẻ dữ liệu nhạy cảm của khách hàng, đồng thời làm rõ sự khác biệt về hiệu quả của các kỹ thuật xử lý dữ liệu mất cân bằng khi đặt trong môi trường phân tán cục bộ.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận các hạn chế cụ thể từ văn bản báo cáo:

• Kỹ thuật oversampling bằng thuật toán SMOTE không phát huy được hiệu quả trong bài toán này do dữ liệu bị phân mảnh về 20 máy cục bộ, dẫn đến việc sinh mẫu nhân tạo gây nhiễu và overfit mô hình.
• Mô hình thực nghiệm học liên kết được triển khai mô phỏng trên nền tảng framework TensorFlow phân chia từ một tập dữ liệu tập trung, chưa phản ánh đầy đủ tính chất trễ mạng, ngắt kết nối bất thường hoặc độ lệch dữ liệu thực tế giữa các hệ sinh thái ngân hàng độc lập.
• Việc lựa chọn máy cục bộ tham gia huấn luyện ở mỗi vòng vẫn áp dụng cơ chế chọn nhóm 4 máy cố định thay vì lấy mẫu ngẫu nhiên hoàn toàn (nhằm mục đích rút ngắn thời gian hội tụ của các phép đo trong môi trường thử nghiệm).

Hướng nghiên cứu tiếp theo được tác giả đề xuất:

• Mở rộng thử nghiệm trên các môi trường mạng không đồng nhất và độ trễ cao để đánh giá sâu hơn năng lực của thuật toán FedProx.
• Nghiên cứu các phương pháp sinh dữ liệu hoặc cân bằng dữ liệu phân tán tiên tiến hơn nhằm khắc phục nhược điểm của SMOTE trên tập dữ liệu cực kỳ mất cân bằng.
• Thử nghiệm kết hợp các kiến trúc mạng nơ-ron học sâu phức tạp hơn trên nền tảng học liên kết để nâng cao độ chính xác dự đoán.

Giá trị tham khảo

Tài liệu khóa luận này mang lại giá trị tham khảo cụ thể cho:

• Sinh viên và học viên chuyên ngành Hệ thống Thông tin, Kỹ thuật Phần mềm và Khoa học Dữ liệu: Cung cấp tài liệu thực nghiệm rõ ràng về cách thiết lập mô hình học liên kết sử dụng TensorFlow và Keras Sequential.
• Các nhà nghiên cứu và kỹ sư dữ liệu trong lĩnh vực tài chính - ngân hàng: Tham khảo phương pháp giải quyết mâu thuẫn giữa yêu cầu bảo mật thông tin khách hàng và nhu cầu huấn luyện mô hình máy học phát hiện gian lận.
• Các nghiên cứu liên quan đến xử lý dữ liệu mất cân bằng phân tán: Phần thực nghiệm cân bằng dữ liệu tại Chương 3 cung cấp minh chứng thực nghiệm quan trọng về việc thuật toán SMOTE có thể hoạt động kém hiệu quả khi bị phân mảnh trên các nút mạng cục bộ có quá ít mẫu dương tính, trong khi Random UnderSampling ở mức cao (90%) lại cho kết quả khả quan hơn.

Câu hỏi thường gặp

1. Khóa luận sử dụng bộ dữ liệu thực nghiệm nào và đặc trưng phân bố của dữ liệu ra sao?
Khóa luận sử dụng bộ dữ liệu giao dịch thẻ tín dụng châu Âu thực tế lấy từ Kaggle (tháng 9/2013) gồm tổng cộng 284.807 giao dịch, trong đó chỉ có 492 giao dịch gian lận (nhãn 1, chiếm 0,17%) và 284.315 giao dịch bình thường (nhãn 0). Dữ liệu có 30 thuộc tính, bao gồm 28 biến mã hóa PCA (V1-V28) và 2 thuộc tính chưa mã hóa là Time và Amount.

2. Tại sao tác giả không sử dụng độ đo Accuracy để đánh giá hiệu năng mô hình?
Do dữ liệu có tính chất mất cân bằng cực đoan (giao dịch bình thường chiếm tới 99,83%), một mô hình dự đoán toàn bộ là không gian lận vẫn đạt chỉ số Accuracy rất cao nhưng lại bỏ sót toàn bộ các vụ gian lận. Vì vậy, nghiên cứu tập trung vào hai độ đo phản ánh trực tiếp năng lực nhận diện gian lận là Precision (độ chuẩn xác) và Recall (độ hồi quy), cùng hàm Binary Cross Entropy Loss.

3. Tại sao phương pháp SMOTE lại cho kết quả Precision rất kém trong thực nghiệm của khóa luận?
Khi chia bộ dữ liệu thành 20 tập dữ liệu cục bộ, số lượng giao dịch gian lận thực tế ở tập huấn luyện của mỗi máy chỉ có 18 mẫu. Việc áp dụng SMOTE để tăng số lượng mẫu thiểu số lên tỷ lệ 50:50 với lớp đa số đã vô tình tạo ra nhiều dữ liệu nội suy nhân tạo bị nhiễu, khiến mô hình tại máy cục bộ bị quá khớp (overfitting) và làm suy giảm nghiêm trọng độ chuẩn xác (Precision) trên tập kiểm thử.

4. Thuật toán FedProx có điểm gì khác biệt so với FedAvg trong cơ sở lý thuyết của khóa luận?
Khác với FedAvg chỉ lấy trung bình trọng số đơn thuần, FedProx được đề xuất để giải quyết vấn đề mạng không đồng nhất hoặc dữ liệu giữa các máy cục bộ có sự sai khác lớn. FedProx bổ sung thêm thành phần hiệu chỉnh Proximal Term $\frac{\mu}{2} |w - w^t|^2$ vào hàm mất mát cục bộ, giúp ràng buộc trọng số mô hình cục bộ không bị lệch quá xa so với mô hình trung tâm mà không cần phải điều chỉnh số lượng epoch.

5. Cấu hình thực nghiệm tối ưu nhất được khóa luận xác lập cho thuật toán FedAvg là gì?
Cấu hình tối ưu nhất cho FedAvg được xác lập gồm: kỹ thuật Random UnderSampling giảm 90% số lượng mẫu lớp 0, số vòng huấn luyện Round = 125, số Epoch = 50, tốc độ học Learning rate = 0,01 và kích thước Batch size = 2048.

Kết luận

Khóa luận tốt nghiệp của sinh viên Vương Hoàng Minh và Nguyễn Hữu Nghĩa đã nghiên cứu và thực nghiệm thành công mô hình học liên kết (Federated Learning) kết hợp mạng Multi-Layer Perceptron trên framework TensorFlow nhằm giải quyết bài toán phát hiện gian lận thẻ tín dụng. Nghiên cứu đã chứng minh tính khả thi của giải pháp bảo mật dữ liệu khách hàng thông qua cơ chế phân tán 20 máy cục bộ mà không cần tập trung dữ liệu thô về máy chủ trung tâm. Kết quả thực nghiệm đã xác định cấu hình tối ưu với thuật toán FedAvg kết hợp Random UnderSampling giảm 90% nhãn đa số tại 125 vòng huấn luyện, đồng thời chỉ ra hạn chế của kỹ thuật SMOTE trong môi trường dữ liệu phân tán cực kỳ mất cân bằng. Khóa luận là tài liệu tham khảo có giá trị học thuật và ứng dụng thực tiễn cao cho các nghiên cứu về máy học bảo vệ quyền riêng tư trong lĩnh vực tài chính - ngân hàng.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỎNG QUAN 11 Dat van đề Phần lớn gian lận giao dịch thẻ tín dụng hiện nay đều là gian lận thông qua giao dịch trực tuyến, các tổ chức tài chính đã và đang nghiên cứu bằng nhiều phương pháp nhằm khắc phục tình trạng này, Mỗi năm số tiền thiệt hại do các gian lận giao dịch lên đến hàng tỷ đô. Tuy vậy gian lận là một khái niệm phức tạp, có rất nhiều phương thức hành vi khác nhau và trong khóa luận này nhóm sẽ tập trung vào hành vi gian lận thẻ tín dụng. Pháp hiện gian lận giao dịch là một nhiệm vụ vô cùng khó khăn bởi tội phạm thực hiện gian lận luôn thay đổi chiến thuật và hành vi, không chỉ vậy số lượng giao dịch tín dung là một dit liệu vô cùng khổng lồ, khiến cho việc phát hiện và phân tích gian lận giao dịch trở nên không thể đối với con người. Chính vì thế người ta bắt đầu sử dụng 2 phương pháp chính dé giải quyết, đầu tiên là ngăn chặn giao dich bằng những bộ luật hay còn gọi là rule-base nhằm chặn đứng các gian lận trước khi có cơ hội xảy ra, còn lại là ứng dụng Machine Learning (máy học) để phát hiện gian lận giao dịch thẻ tín dụng và với xu hướng ngày càng nhiều trong thập kỷ qua bởi khả năng tự động phát hiện các hành vi gian lận cho dù phải xử lý một lượng lớn dữ liệu.

Với sự tiện lợi cũng như độ chính xác cao của Machine Learning khi ứng dụng vào phát hiện gian lận giao dịch, song vấn đề gặp phải khi các tổ chức tội phạm liên tục thay đổi phương pháp gian lận khiến cho việc liên tục cập nhập mô hình dự đoán gặp nhiều khó khăn, giải pháp cần đặt ra đó là việc chia sẻ nguồn dữ liệu của các giao dịch giữa các tổ chức tài chính với nhau qua đó mô hình dự đoán sẽ hạn chế bỏ sót các trường hợp gian lận. Tuy nhiên đó lại là một phương pháp không thé áp dụng bởi dữ liệu giao dịch, thông tin khách hang là dữ liệu riêng tư có tính nhạy cảm cao không chỉ đối với cá nhân khách hàng mà còn đối với tổ chức tài chính, các tổ chức thường không thé chia sẻ thông tin khách hàng do sẽ gặp các vấn đề về pháp lý còn đối với các trường hợp gặp thiệt hại do gian lận giao dịch, có rất nhiều tổ chức không báo 10 cáo các trường hợp đó vì nếu rò rỉ sẽ ảnh hưởng đến uy tín thương mại và mắt khách hàng. Do đó phương pháp Federated Learning được ra đời bởi Google vào năm 2016, với ý tưởng thay vì phải sử dụng phương pháp huan luyện tập trung, toàn bộ di liệu phải đưa về máy chủ trung tâm dé huấn luyện thì với Federated Learning có thé huấn luyện ngay tại máy chủ cục bộ sau đó cập nhật các thông số lên máy chủ trung tâm và nhận về mô hình mới đã được cập nhật dựa trên các kết quả của các máy chủ cục bộ, với thuật toán mới này khiến cho việc chia sẻ đữ liệu nhạy cảm giữa các tổ chức tài chính với nhau trở nên không còn cần thiết mà hiệu quả mang lại có thể ngang với huấn luyện tập trung hay thậm chí còn có thể mang lại kết quả tốt hơn.2 Thách thức và mục tiêu Các thách thức trong việc xây dựng mô hình dự đoán gian lận giao dịch gặp phải: © Concept Drift: là van đề gặp phải khi ta xây dựng mô hình dự đoán gian lận giao dịch, mô hình đã học được các hành vi của gian lận giao dịch tuy nhiên các hành vi đó nhanh chóng bị thay đồi bởi những chiến thuật gian lận của các tổ chức tội phạm và mô hình mà ta xây dựng không thê cập nhật kịp thời với những thay đổi đó [1]. Vì thế việc có thé phân biệt chính xác các giao dịch nào là gian lận và không gian lận là vấn đề quan trọng bởi khi các hành vi gian lận thay đổi ta không dự đoán sai về các giao dịch không gian lận.

© Mắt cân bằng dữ liệu: cũng là một vẫn dé của dự đoán gian lận giao dịch khi số lượng giao dịch gian lận chỉ chiếm 0.17% và khi đó khiến cho việc dự đoán bị lệch về giao dịch chiếm đa số [2], để giải quyết có 2 cách tiếp cận sẽ được nhóm trình bày ở những phần tiếp theo. Mục tiêu của nhóm trong khóa luận này đó là ứng dụng Federated Learning trong xây dựng hệ thống phát hiện giao dịch bằng Framework TensorFlow và ứng dụng các thuật toán bảo mật của Federated Learning dé kiểm tra thuật toán nao phi hợp với bài toán. 11 CHƯƠNG 2: CƠ SỞ LÝ THUYET 2.1 Gian lận giao dịch Năm 201 1, hơn 700 triệu giao dịch điện tử diễn ra ở EU, số lượng giao dịch trực tuyến tăng lên một cách nhanh chóng, tổng số tiền giao dịch lên đến 3000 tỷ ơ-rô, khi được ứng dụng EMV (chip-embedded cards) hay còn gọi là thẻ gắn chip giúp tăng cường bao mật thông tin của khách hàng và đồng thời cũng giúp giao dịch trực tiếp an toàn hơn. Tuy vậy số lượng giao dịch gian lận vẫn tiếp tục tăng lên đến con số 1.5 ty ơ-rô mỗi năm để giải quyết vấn đề này cần có một phương pháp xây dựng một hệ thống chuyên biệt dé phát hiện gian lận giao dịch dựa trên thông tin của giao dịch.2 Các loại gian lận giao dich Gian lận giao dịch có thể được chia thành 5 loại trong khóa luận này, nhận biết các loại gian lận hiện nay dé có thé phân biệt được sự khác nhau của từng loại gian lận và có biện pháp đối phó.

e_ Đánh mất / bi lấy cắp (chiếm 1% trong số các loại gian lận): thường xảy ra với người lớn tuổi khi họ bị quan sát mật khẩu khi rút tiền, sau khi đã biết được mật khẩu, họ sẽ bị đánh cắp thẻ. Trong trường hợp nay người thực hiện gian lận giao dịch là kẻ trộm, loại gian lận này không được liệt kê vào nhóm tội phạm có tổ chức [3]. © Đánh cắp trước khi khách hàng có thé sử dụng (chiếm hơn 1%): thẻ tín dung trong quá trình sản xuất và vận chuyển bị đánh cắp. Để tránh trường hợp này ngân hàng có thể yêu cầu người làm thẻ nhận thẻ trực tiếp tại trụ sở của ngân hàng thay vì vận chuyển qua đường bưu điện hoặc sau khi nhận thẻ cần gọi điện với ngân hàng đề xác thực [3].

e Gian lận do rò ri ID của thẻ (không đáng kể): card được làm giả dựa trên các ID bị đánh cắp từ các tổ chức tội phạm [3]. 12 e Thẻ tín dụng giả (< 10% trong tông số giao dịch): thẻ được làm giả với thẻ tin dụng thật đang được sử dụng trong database của tổ chức tài chính, tái tạo lại mã vạch của thẻ và được làm giả lại bởi các tổ chức tội phạm, loại gian lận này chiếm đa số trong quá khứ nhưng với sự xuất hiện của thẻ gắn chip vấn đề đã được khắc phục nhanh chóng. Tuy nhiên với những thẻ không gắn chip vẫn còn được sử dụng ở nhiều nơi trên thế giới [3]. e Gian lận bang giao dich truc tuyén (chiém 90% các giao dịch gian lận): hầu hết các loại gian lận giao dịch hiện nay được thực hiện trực tuyến.

Các xác thực về mã thẻ, ngày hết hạn,. thường bị rò rỉ do tắn công kho dữ liệu bởi các tổ chức tội phạm và được bán trên Deep web. British airways, Mariot Hotels là những cái tên nỗi tiếng bị tổn thất lớn do loại gian lận này vào năm 2018. Người tham gia giao dịch hiện nay sử dụng công nghệ 3D SECURE hay thuật ngữ “bảo mật 3 miền” được xác thực bởi người mua, người bán và miền có khả năng tương tác, sử dụng mật khẩu dùng 1 lần dé thực hiện giao dịch, khi điền đủ thông tin sẽ được gửi otp đề xác thực.

Tuy nhiên với những người giao dịch ở các website như Amazon, Ebay thì lại thường không sử dụng loại bảo mật này. Một vấn đề khác, khi xảy ra các gian lận giao dịch thì các tổ chức tài chính thường không báo cáo các van dé này do sợ ảnh hưởng đến uy tín thương mại [3].3 Các thách thức Việc ứng dụng sử dụng máy học để xây dựng hệ thống phát hiện gian lận giao dịch không hề mới, trên thực tế đã có từ lâu và được sử dụng khắp toàn cầu. Tuy vậy luôn có những thách thức đặt ra để giải quyết bài toán phát hiện gian lận: e Cách thức gian lận giao dich thay đổi theo thời gian - đây là một trong những thách thức lớn nhất gặp phải khi xây dựng hệ thống phát hiện gian lận thẻ giao dịch, đối tượng thực hiện hành vi gian lận luôn tìm cách dùng các phương thức mới để thực hiện gian lận. Chính vì thế điều quan trọng đối với tất cả các hệ thống dự đoán luôn cần phải được cập nhật thay đổi dựa trên những thay đổi của đối tượng phạm tội.

Điều này khiến cho độ chính xác của các mô hình dự đoán bị giảm sút thay vì tiếp tục được huấn luyện để đạt được độ chính xác cao mà phải liên tục cập nhật hoặc sẽ không thể phát hiện được các hành vi gian lận trong tương lai. e Dữ liệu không cân bằng - vấn đề đặc trưng của bài toán do tỉ lệ giao dịch được nhận định là gian lận chiếm tỷ lệ rất nhỏ trong tập dữ liệu vì thế đối với các hệ thống dự đoán sẽ luôn gặp khó khăn trong việc đưa ra kết quả nhằm lẫn khiến cho trải nghiệm dịch vụ khách hàng bị gián đoạn khi giao dịch của họ hoàn toàn hợp pháp hay bỏ qua những hành vi gian lận ảnh hưởng đến tài chính và uy tín của tổ chức tài chính. e Dữ liệu nhạy cảm - hầu hết các dữ liệu, đặc trưng đều là dữ liệu riêng tư không thể chia sẻ giữa các tổ chức tài chính. e Thiếu dữ liệu - việc thu thập các dữ liệu đặc trưng liên quan tới bài toán luôn gặp khó khăn bởi không phải tắt cả các trường hợp gian lận giao dịch đều được phát hiện hoặc được báo cáo bởi các tổ chức tai chính do e ngại van dé uy tin thương mại.4 Ứng dụng máy học để phát hiện gian lận Ứng dụng máy học khi xây dựng hệ thống phát hiện gian lận giao dịch đề thu được các kết quả chính xác hay dự đoán hành vi bắt thường trong tập đữ liệu là các phương pháp mà các tổ chức ngân hàng hiện nay đang ứng dụng.