Tổng quan nghiên cứu

Phát hiện bất thường trong dữ liệu chuỗi thời gian là một lĩnh vực nghiên cứu quan trọng, đặc biệt trong bối cảnh phát triển mạnh mẽ của các giao dịch tài chính trực tuyến. Theo ước tính, trong bộ dữ liệu hoạt động mua hàng của 3012 khách hàng trong vòng 3 năm, có khoảng 10% khách hàng được xác định có hành vi gian lận. Bài toán phát hiện bất thường nhằm mục tiêu nhận diện các hành vi giao dịch không phù hợp với thói quen thông thường, từ đó cảnh báo các dấu hiệu gian lận tiềm ẩn.

Luận văn tập trung vào khai phá motif – các mẫu hành vi lặp lại đặc trưng – trong đa chuỗi thời gian để phát hiện các hành vi bất thường. Phạm vi nghiên cứu bao gồm dữ liệu giao dịch mua bán hàng hóa của khách hàng tại một doanh nghiệp bán lẻ trong giai đoạn 2015-2017. Mục tiêu cụ thể là xây dựng mô hình khai phá motif hành vi bất thường, phân lớp các đối tượng dựa trên các đặc trưng này và đánh giá hiệu quả phát hiện gian lận.

Nghiên cứu có ý nghĩa thiết thực trong việc nâng cao độ chính xác và hiệu quả của hệ thống phát hiện gian lận tài chính, góp phần giảm thiểu rủi ro cho doanh nghiệp và khách hàng. Các chỉ số đánh giá như Precision, Recall và F1-score được sử dụng để đo lường hiệu quả mô hình, với kết quả F1-score đạt khoảng 72% khi áp dụng mô hình tổng hợp đa chuỗi thời gian.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

  • Phát hiện bất thường (Anomaly Detection): Định nghĩa bất thường là các điểm hoặc tập hợp điểm dữ liệu không phù hợp với hành vi thông thường. Các loại bất thường gồm bất thường điểm, bất thường ngữ cảnh và bất thường nhóm. Phát hiện bất thường được ứng dụng rộng rãi trong an ninh mạng, tài chính và giám sát hệ thống.

  • Khai phá motif trong chuỗi thời gian: Motif là các mẫu hành vi lặp lại đặc trưng trong chuỗi thời gian. Việc khai phá motif giúp nhận diện các hành vi gian lận thường xuyên xuất hiện. Chuỗi thời gian được chuyển đổi thành chuỗi ký hiệu rời rạc (ký hiệu u, l, d tương ứng với tăng, giữ nguyên, giảm) để thuận tiện cho việc tìm kiếm motif.

  • Thuật toán học máy phân lớp: Các thuật toán như K-láng giềng gần nhất (KNN), Cây quyết định (Decision Tree), Rừng ngẫu nhiên (Random Forest), AdaBoost và Hồi quy logistic được sử dụng để phân loại các đối tượng thành nhóm bình thường hoặc bất thường dựa trên bộ thuộc tính được xây dựng từ motif.

Các khái niệm chính bao gồm chuỗi thời gian đơn giản, chuỗi ký hiệu thu gọn, ma trận khoảng cách giữa các chuỗi ký hiệu, ngưỡng tương đồng R để xác định motif, và các chỉ số đánh giá phân lớp như Precision, Recall, F1-score.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là bộ dữ liệu hoạt động mua hàng của 3012 khách hàng trong 3 năm (2015-2017), trong đó có 312 khách hàng được gán nhãn gian lận. Dữ liệu bao gồm các thuộc tính như mã khách hàng, địa điểm mua hàng, mã hàng hóa và ngày mua.

Phương pháp nghiên cứu gồm các bước:

  1. Tiền xử lý dữ liệu: Chuyển đổi dữ liệu giao dịch rời rạc thành chuỗi thời gian mô tả hành vi thay đổi địa điểm, hàng hóa mua hoặc cả hai theo tháng.

  2. Chuyển đổi chuỗi thời gian thành chuỗi ký hiệu: Sử dụng phép trừ chuỗi thời gian để mã hóa thành chuỗi ký hiệu u (tăng), l (giữ nguyên), d (giảm), sau đó thu gọn chuỗi ký hiệu.

  3. Khai phá motif: Tính ma trận khoảng cách giữa các chuỗi ký hiệu, xác định các motif trung tâm dựa trên ngưỡng tương đồng R, lọc motif đặc trưng cho hành vi gian lận dựa trên tỷ lệ xuất hiện trong nhóm bình thường và bất thường.

  4. Xây dựng bộ thuộc tính bất thường: Tính toán độ tương đồng giữa hành vi của từng đối tượng với các motif bất thường để tạo bộ thuộc tính đặc trưng.

  5. Phân lớp đối tượng: Áp dụng các thuật toán học máy (Random Forest, KNN, AdaBoost, Decision Tree) để phân loại khách hàng thành nhóm bình thường hoặc gian lận. Logistic Regression được sử dụng để tổng hợp điểm đánh giá từ đa chuỗi thời gian.

Timeline nghiên cứu kéo dài trong khoảng 3 năm, tương ứng với dữ liệu thu thập và phân tích từ 2015 đến 2017.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu quả phân lớp theo từng hành vi thay đổi:

    • Hành vi thay đổi địa điểm: Thuật toán Random Forest đạt F1-score trung bình 54.3% với ngưỡng tương đồng 1.
    • Hành vi thay đổi hàng hóa mua: Random Forest đạt F1-score 47% với ngưỡng tương đồng 0.
    • Hành vi thay đổi cả địa điểm và hàng hóa: Random Forest đạt F1-score 63.3% với ngưỡng tương đồng 0.

  2. Thời gian chạy thuật toán:

    • Thuật toán KNN có thời gian chạy trung bình 0.17 giây, nhanh hơn gấp 3 lần so với Random Forest (khoảng 0.5 giây).

  3. Mô hình tổng hợp đa chuỗi thời gian:

    • Kịch bản 4 (dùng Random Forest tổng hợp điểm đánh giá từng hành vi) đạt F1-score 70.8%, cải thiện rõ rệt so với các mô hình đơn hành vi.
    • Kịch bản 5 (tổng hợp điểm đánh giá từ các thuật toán phân lớp tối ưu cho từng hành vi) đạt F1-score 72%, với precision giảm nhẹ nhưng recall được cải thiện.

  4. Ma trận nghi ngờ (Confusion matrix) cho thấy:

    • 518 đối tượng được phân lớp đúng là bình thường.
    • 25 đối tượng được phân lớp đúng là bất thường.
    • 60 đối tượng bị phân lớp sai, thể hiện độ chính xác phân lớp còn có thể cải thiện.

Thảo luận kết quả

Kết quả cho thấy việc khai phá motif trên đa chuỗi thời gian và sử dụng các thuật toán học máy nâng cao hiệu quả phát hiện bất thường so với phân tích đơn hành vi. Random Forest thể hiện hiệu quả phân lớp tốt nhất nhưng chi phí thời gian cao hơn KNN, phù hợp với các ứng dụng không yêu cầu thời gian thực nghiêm ngặt.

Việc chuyển đổi chuỗi thời gian thành chuỗi ký hiệu giúp giảm độ phức tạp dữ liệu, thuận tiện cho việc tính toán khoảng cách và tìm kiếm motif. Các motif hành vi bất thường được xác định có tính đặc trưng cao, giúp phân biệt rõ ràng giữa nhóm khách hàng bình thường và gian lận.

So sánh với các nghiên cứu trước đây trong lĩnh vực phát hiện gian lận tài chính, mô hình đề xuất có sự kết hợp hiệu quả giữa khai phá motif và học máy, đồng thời áp dụng thành công trên dữ liệu thực tế với độ chính xác đáng kể. Biểu đồ hộp thể hiện phân phối các chỉ số Precision, Recall và F1-score minh họa sự ổn định của mô hình trên các thuật toán khác nhau.

Đề xuất và khuyến nghị

  1. Tăng cường đa dạng hóa chuỗi ký hiệu: Phát triển các phương pháp chuyển đổi chuỗi thời gian phức tạp hơn, bao gồm các thuộc tính liên quan đến chi phí giao dịch để mô tả hành vi khách hàng chi tiết hơn.

  2. Ứng dụng các thuật toán học máy cải tiến: Áp dụng các kỹ thuật học sâu (deep learning) hoặc học máy nâng cao để cải thiện độ chính xác và khả năng phát hiện các mẫu bất thường phức tạp.

  3. Xây dựng hệ thống phát hiện thời gian thực: Tối ưu hóa thuật toán để giảm thời gian xử lý, đặc biệt ưu tiên các thuật toán nhanh như KNN cho các ứng dụng cần phản hồi tức thì.

  4. Mở rộng phạm vi dữ liệu: Áp dụng mô hình cho các loại giao dịch tài chính khác như vay nợ, thế chấp, giao dịch thẻ tín dụng để đánh giá tính tổng quát và hiệu quả của mô hình.

Các giải pháp trên nên được triển khai trong vòng 1-2 năm tới, phối hợp giữa các nhà nghiên cứu, doanh nghiệp và các đơn vị công nghệ để nâng cao khả năng ứng dụng thực tiễn.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành Toán Tin: Có thể sử dụng luận văn làm tài liệu tham khảo về khai phá motif, phát hiện bất thường và ứng dụng học máy trong chuỗi thời gian.

  2. Chuyên gia phân tích dữ liệu tài chính: Áp dụng mô hình và thuật toán để phát hiện gian lận trong giao dịch mua bán, nâng cao hiệu quả kiểm soát rủi ro.

  3. Doanh nghiệp bán lẻ và ngân hàng: Sử dụng kết quả nghiên cứu để xây dựng hệ thống giám sát hành vi khách hàng, phát hiện sớm các dấu hiệu gian lận.

  4. Nhà phát triển phần mềm và kỹ sư dữ liệu: Tham khảo quy trình tiền xử lý dữ liệu, chuyển đổi chuỗi thời gian và xây dựng bộ thuộc tính đặc trưng để phát triển các giải pháp phần mềm phát hiện bất thường.

Mỗi nhóm đối tượng có thể áp dụng các phần khác nhau của luận văn tùy theo mục đích nghiên cứu hoặc ứng dụng thực tế, từ việc phát triển thuật toán đến triển khai hệ thống giám sát.

Câu hỏi thường gặp

  1. Mô hình khai phá motif hoạt động như thế nào trong phát hiện bất thường?
    Mô hình chuyển đổi chuỗi thời gian thành chuỗi ký hiệu, sau đó tìm kiếm các motif – các mẫu hành vi lặp lại đặc trưng – trong nhóm đối tượng gian lận. Các motif này được dùng để xây dựng bộ thuộc tính đặc trưng cho phân lớp.

  2. Tại sao lại sử dụng đa chuỗi thời gian thay vì một chuỗi đơn?
    Đa chuỗi thời gian cho phép mô tả nhiều hành vi khác nhau của đối tượng (ví dụ thay đổi địa điểm và hàng hóa mua), giúp mô hình phát hiện bất thường toàn diện và chính xác hơn.

  3. Thuật toán nào cho kết quả phân lớp tốt nhất?
    Random Forest cho kết quả F1-score cao nhất (khoảng 63.3% đến 70.8% tùy kịch bản), tuy nhiên KNN có ưu thế về thời gian chạy nhanh hơn gấp 3 lần, phù hợp với ứng dụng thời gian thực.

  4. Làm thế nào để đánh giá hiệu quả mô hình phát hiện bất thường?
    Sử dụng các chỉ số Precision (độ chính xác), Recall (độ nhạy) và F1-score (độ đo tổng hợp) dựa trên ma trận nghi ngờ để đánh giá khả năng phân biệt đúng các đối tượng bất thường và bình thường.

  5. Mô hình có thể áp dụng cho các lĩnh vực khác ngoài tài chính không?
    Có thể, vì phát hiện bất thường và khai phá motif là kỹ thuật chung trong phân tích chuỗi thời gian, có thể ứng dụng trong an ninh mạng, giám sát cảm biến, y tế và nhiều lĩnh vực khác.

Kết luận

  • Luận văn đã xây dựng thành công mô hình khai phá motif trên đa chuỗi thời gian kết hợp học máy để phát hiện bất thường trong giao dịch tài chính.
  • Đề xuất phương pháp chuyển đổi chuỗi thời gian thành chuỗi ký hiệu và thuật toán tìm kiếm motif đặc trưng cho hành vi gian lận.
  • Áp dụng các thuật toán phân lớp như Random Forest, KNN, AdaBoost để phân loại khách hàng với độ chính xác F1-score đạt khoảng 72%.
  • Mô hình tổng hợp đa chuỗi thời gian cải thiện hiệu quả phát hiện so với phân tích đơn hành vi.
  • Hướng phát triển tiếp theo bao gồm đa dạng hóa chuỗi ký hiệu, áp dụng học máy nâng cao và mở rộng phạm vi ứng dụng.

Để tiếp tục nghiên cứu và ứng dụng, các nhà khoa học và doanh nghiệp nên phối hợp triển khai các giải pháp đề xuất nhằm nâng cao khả năng phát hiện gian lận trong môi trường giao dịch ngày càng phức tạp.