Chia Sẻ Danh Sách Đen Trong Lĩnh Vực Cho Vay Trực Tuyến

Danh sách đen cho vay trực tuyến: Giải pháp bảo mật thông tin, giảm rủi ro tín dụng đen hiệu quả. Cập nhật danh sách thường xuyên.

• Tác giả: Nguyễn Xuân Vĩnh Hưng
• Người hướng dẫn: PGS. Thoại Nam
• Trường học: Đại học Bách Khoa – ĐHQG-HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Chia Sẻ Danh Sách Đen Trong Lĩnh Vực Cho Vay Trực Tuyến
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CÁM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT OF DISSERTATION
• LỜI CAM ĐOAN
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Giới thiệu đề tài
• 1.2. Mô tả bài toán
• 1.3. Mục tiêu và nhiệm vụ của luận văn
• 1.4. Giới hạn đề tài
• 1.5. Đóng góp của luận văn
• 1.6. Tóm tắt nội dung
• 2. CHƯƠNG 2: CƠ SỞ KIẾN THỨC
• 2.1. Cấu trúc dữ liệu Bloom Filter
• 2.2. Dương Tính Giả (False Positive) và Số Hàm Băm Tối Ưu K (Optimal K)
• 2.3. Counting Bloom Filter
• 2.4. Dương Tính Giả (False Positive), Số Hàm Băm Tối Ưu (Optimal K), Kích Thước Của Bộ Đếm (Counter Size) và Độ Đếm Tràn (Counter Overflow) của Counting Bloom Filter
• 2.5. Mergeable Counting Bloom Filter
• 2.5.1. Thêm một phần tử
• 2.5.2. Truy vấn một phần tử
• 3. CHƯƠNG 3: CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 3.1. Lamport Clock và Vector Clock
• 4. CHƯƠNG 4: PHƯƠNG PHÁP GIẢI QUYẾT VẤN ĐỀ
• 4.1. Xây dựng dữ liệu danh sách đen
• 4.2. Kiến trúc hệ thống
• 4.3. Hiện thực hệ thống
• 4.3.1. Ngôn ngữ lập trình và nền tảng (framework)
• 4.3.2. Kết nối hệ thống
• 4.3.3. Bài toán chuẩn hóa dữ liệu đầu vào
• 4.3.4. Bảo mật hệ thống
• 4.3.5. Khả năng chịu lỗi
• 4.3.5.1. Bloom Filter Client không gửi danh sách đen đúng thời gian
• 4.3.5.2. Bloom Filter Server bị sập
• 4.3.5.3. Bloom Filter Client bị sập
• 4.3.6. Trường hợp dữ liệu danh sách đen lớn
• 4.4. Đánh giá giải pháp
• 4.4.1. Tập dữ liệu và phương pháp đánh giá
• 4.4.2. Kết quả và đánh giá
• Tài liệu tham khảo

Tóm tắt

I. Tổng quan về chia sẻ danh sách đen cho vay online

Trong bối cảnh thị trường cho vay trực tuyến (online lending) phát triển mạnh mẽ, việc chia sẻ danh sách đen trở thành một nhu cầu cấp thiết. Các công ty tài chính công nghệ (Fintech) cần một cơ chế để chia sẻ thông tin về những khách hàng có lịch sử tín dụng xấu, gian lận, hoặc có rủi ro cao. Tuy nhiên, việc chia sẻ này phải đảm bảo tuân thủ các quy định về bảo mật thông tin khách hàng vay online và quyền riêng tư. Các phương pháp chia sẻ truyền thống như giao diện lập trình REST, giao thức FTP, chia sẻ tập tin qua email, hoặc cấp quyền truy cập cơ sở dữ liệu thường không hiệu quả, tốn kém và tiềm ẩn nhiều rủi ro bảo mật thông tin khách hàng vay online. Vì vậy, cần có một giải pháp an toàn, hiệu quả và tuân thủ pháp luật để chia sẻ dữ liệu nợ xấu. Luận văn này nghiên cứu và đề xuất một kiến trúc hệ thống cho phép các tổ chức tài chính chia sẻ thông tin danh sách đen một cách bảo mật và hiệu quả.

1.1. Tại sao cần chia sẻ danh sách đen tín dụng đen

Việc chia sẻ danh sách đen giúp các công ty tài chính giảm thiểu rủi ro tín dụng, ngăn chặn gian lận và cải thiện hiệu quả hoạt động. Khi có thông tin về những khách hàng có thông tin nợ xấu trực tuyến, các công ty có thể đưa ra quyết định cho vay chính xác hơn, tránh cấp tín dụng cho những đối tượng có khả năng không trả nợ. Điều này đặc biệt quan trọng trong bối cảnh nhiều hội nhóm rủ nhau 'bùng nợ' dẫn đến nợ xấu tăng cao. Chia sẻ dữ liệu nợ xấu giúp các công ty tài chính bảo vệ tài sản và duy trì hoạt động bền vững.

1.2. Thách thức trong việc chia sẻ thông tin người vay nợ

Việc chia sẻ thông tin người vay nợ đối mặt với nhiều thách thức về kỹ thuật, pháp lý và đạo đức. Các công ty tài chính cần đảm bảo rằng dữ liệu được chia sẻ là chính xác, đầy đủ và được bảo mật. Việc tuân thủ các quy định về luật bảo vệ người tiêu dùng vay tiền và quyền riêng tư là rất quan trọng. Ngoài ra, cần có một cơ chế để xử lý các tranh chấp và đảm bảo tính minh bạch trong quá trình chia sẻ dữ liệu.

II. Vấn đề bảo mật khi chia sẻ danh sách đen tài chính

Vấn đề bảo mật là yếu tố then chốt khi chia sẻ danh sách đen tài chính. Các phương pháp chia sẻ dữ liệu truyền thống thường không đảm bảo an toàn, dễ bị tấn công và rò rỉ thông tin. Việc công khai danh sách nợ xấu mà không có biện pháp bảo vệ phù hợp có thể vi phạm quyền riêng tư của khách hàng và gây ra những hậu quả pháp lý nghiêm trọng. Cần có một giải pháp bảo mật mạnh mẽ để mã hóa dữ liệu, kiểm soát truy cập và ngăn chặn các hành vi xâm nhập trái phép. Chia sẻ dữ liệu nợ xấu thời gian thực cũng đòi hỏi các biện pháp bảo mật đặc biệt để đảm bảo tính toàn vẹn và sẵn sàng của dữ liệu.

2.1. Rủi ro từ danh sách đen lừa đảo vay tiền không bảo mật

Việc lộ danh sách đen lừa đảo vay tiền có thể dẫn đến nhiều rủi ro nghiêm trọng. Kẻ gian có thể sử dụng thông tin này để giả mạo danh tính, thực hiện các hành vi lừa đảo hoặc tống tiền. Ngoài ra, việc chia sẻ thông tin người vay nợ không đúng cách có thể gây tổn hại đến uy tín của các công ty tài chính và làm mất lòng tin của khách hàng. Cần có các biện pháp fraud detection vay online hiệu quả.

2.2. Giải pháp bảo mật thông tin trong chia sẻ danh sách đen

Để đảm bảo an toàn khi chia sẻ danh sách đen, cần áp dụng các biện pháp bảo mật sau: Mã hóa dữ liệu, sử dụng các giao thức truyền tải an toàn, kiểm soát truy cập chặt chẽ, theo dõi và ghi lại các hoạt động truy cập dữ liệu. Bloom Filter là một giải pháp tiềm năng, bởi tính chất mã hóa của nó. Ngoài ra, cần có các chính sách và quy trình rõ ràng về bảo mật thông tin khách hàng vay online và tuân thủ các quy định pháp luật liên quan.

2.3. Quy định về chia sẻ thông tin nợ vay cần tuân thủ là gì

Việc chia sẻ thông tin nợ vay phải tuân thủ các quy định của pháp luật về bảo vệ dữ liệu cá nhân và quyền riêng tư. Cần có sự đồng ý của khách hàng trước khi chia sẻ thông tin của họ. Ngoài ra, cần đảm bảo rằng dữ liệu được chia sẻ là chính xác, đầy đủ và chỉ được sử dụng cho các mục đích hợp pháp. Việc tuân thủ các quy định này giúp bảo vệ quyền lợi của khách hàng và tránh các tranh chấp pháp lý.

III. Phương pháp Bloom Filter để chia sẻ danh sách đen

Bloom Filter là một cấu trúc dữ liệu xác suất nhỏ gọn, có thể được sử dụng để kiểm tra xem một phần tử có thuộc một tập hợp hay không. Ưu điểm của Bloom Filter là tiết kiệm không gian lưu trữ và cho phép kiểm tra thành viên một cách nhanh chóng. Tuy nhiên, Bloom Filter có thể trả về kết quả dương tính giả (false positive), nghĩa là nó có thể báo rằng một phần tử thuộc tập hợp trong khi thực tế không phải vậy. Trong bối cảnh chia sẻ danh sách đen, Bloom Filter có thể được sử dụng để mã hóa danh sách đen và chia sẻ nó với các đối tác. Các đối tác có thể sử dụng Bloom Filter này để kiểm tra xem một khách hàng có nằm trong danh sách đen hay không, mà không cần phải biết chính xác nội dung của danh sách đen.

3.1. Ưu điểm của Bloom Filter trong chia sẻ dữ liệu

Ưu điểm chính của việc sử dụng Bloom Filter trong chia sẻ dữ liệu là tính bảo mật. Bloom Filter chỉ cho phép kiểm tra thành viên, không cho phép truy xuất thông tin chi tiết về các phần tử trong tập hợp. Điều này giúp bảo vệ quyền riêng tư của khách hàng và ngăn chặn việc rò rỉ thông tin nhạy cảm. Ngoài ra, Bloom Filter còn có ưu điểm là tiết kiệm không gian lưu trữ và cho phép kiểm tra thành viên một cách nhanh chóng.

3.2. Hạn chế của Bloom Filter và cách khắc phục

Hạn chế lớn nhất của Bloom Filter là khả năng trả về kết quả dương tính giả. Để giảm thiểu tỷ lệ dương tính giả, cần tăng kích thước của Bloom Filter hoặc sử dụng nhiều hàm băm. Tuy nhiên, việc tăng kích thước của Bloom Filter sẽ làm tăng chi phí lưu trữ và xử lý. Cần có sự cân bằng giữa tỷ lệ dương tính giả và chi phí. Các biến thể của Bloom Filter như Counting Bloom Filter và Mergeable Counting Bloom Filter có thể khắc phục một số hạn chế của Bloom Filter truyền thống.

IV. Kiến trúc hệ thống chia sẻ dữ liệu nợ xấu sử dụng Bloom Filter

Hệ thống chia sẻ dữ liệu nợ xấu sử dụng Bloom Filter bao gồm các thành phần chính sau: Các công ty tài chính tham gia, một máy chủ trung tâm, các Bloom Filter Client và Server. Các công ty tài chính sẽ định kỳ gửi dữ liệu danh sách đen của họ đến máy chủ trung tâm. Máy chủ trung tâm sẽ sử dụng Bloom Filter để mã hóa dữ liệu và chia sẻ nó với các đối tác. Các đối tác có thể sử dụng Bloom Filter này để kiểm tra xem một khách hàng có nằm trong danh sách đen hay không.

4.1. Chi tiết về thành phần Bloom Filter Client và Server

Bloom Filter Client là thành phần chịu trách nhiệm thu thập dữ liệu danh sách đen từ các công ty tài chính, mã hóa dữ liệu bằng Bloom Filter và gửi nó đến máy chủ trung tâm. Bloom Filter Server là thành phần nhận dữ liệu Bloom Filter từ máy chủ trung tâm và cung cấp dịch vụ kiểm tra thành viên cho các công ty tài chính. Cần có các cơ chế để đảm bảo tính tin cậy và khả năng mở rộng của Bloom Filter Client và Server.

4.2. Cơ chế đồng bộ và bất đồng bộ trong hệ thống

Hệ thống có thể hoạt động ở chế độ đồng bộ hoặc bất đồng bộ. Ở chế độ đồng bộ, các công ty tài chính sẽ chờ đợi kết quả kiểm tra thành viên từ Bloom Filter Server trước khi đưa ra quyết định cho vay. Ở chế độ bất đồng bộ, các công ty tài chính có thể đưa ra quyết định cho vay dựa trên thông tin cục bộ và cập nhật thông tin từ Bloom Filter Server sau đó. Việc lựa chọn chế độ đồng bộ hay bất đồng bộ phụ thuộc vào yêu cầu về hiệu suất và độ chính xác của hệ thống.

V. Đánh giá hiệu quả của hệ thống chia sẻ danh sách đen online

Để đánh giá hiệu quả của hệ thống chia sẻ danh sách đen online, cần thực hiện các thử nghiệm và phân tích trên dữ liệu thực tế. Các chỉ số quan trọng cần được đo lường bao gồm: Tỷ lệ dương tính giả, thời gian kiểm tra thành viên, chi phí lưu trữ và xử lý dữ liệu. Kết quả đánh giá sẽ giúp xác định tính khả thi và hiệu quả của hệ thống trong thực tế.

5.1. Tiêu chí đánh giá hiệu quả và độ tin cậy của hệ thống

Các tiêu chí đánh giá hiệu quả bao gồm: Tỷ lệ dương tính giả (false positive rate), thời gian truy vấn (query time), dung lượng lưu trữ (storage space). Các tiêu chí đánh giá độ tin cậy bao gồm: Khả năng chịu lỗi (fault tolerance), tính sẵn sàng (availability), tính toàn vẹn dữ liệu (data integrity).

5.2. So sánh với các phương pháp chia sẻ dữ liệu khác

Cần so sánh hệ thống chia sẻ danh sách đen sử dụng Bloom Filter với các phương pháp chia sẻ dữ liệu khác như chia sẻ trực tiếp, sử dụng cơ sở dữ liệu tập trung. So sánh về các tiêu chí: Bảo mật, hiệu suất, chi phí, khả năng mở rộng.

VI. Kết luận và hướng phát triển hệ thống chia sẻ danh sách đen P2P

Luận văn đã trình bày một giải pháp cho bài toán chia sẻ danh sách đen trong lĩnh vực cho vay trực tuyến sử dụng Bloom Filter. Giải pháp này có ưu điểm là bảo mật, hiệu quả và tuân thủ pháp luật. Tuy nhiên, vẫn còn nhiều vấn đề cần được nghiên cứu và phát triển thêm, chẳng hạn như việc cải thiện độ chính xác của Bloom Filter, mở rộng hệ thống để hỗ trợ nhiều đối tác hơn và tích hợp hệ thống với các nguồn dữ liệu khác. Hướng phát triển có thể là xây dựng hệ thống chia sẻ danh sách đen P2P

6.1. Tóm tắt những đóng góp chính của luận văn

Luận văn đã đóng góp vào việc giải quyết bài toán chia sẻ danh sách đen trong lĩnh vực cho vay trực tuyến bằng cách đề xuất một kiến trúc hệ thống bảo mật, hiệu quả và tuân thủ pháp luật sử dụng Bloom Filter.

6.2. Hướng phát triển và nghiên cứu tiếp theo cho hệ thống

Các hướng phát triển và nghiên cứu tiếp theo bao gồm: Cải thiện độ chính xác của Bloom Filter, mở rộng hệ thống để hỗ trợ nhiều đối tác hơn, tích hợp hệ thống với các nguồn dữ liệu khác, nghiên cứu các kỹ thuật bảo mật tiên tiến hơn. Đặc biệt là nghiên cứu để tích hợp với các ứng dụng vay tiền uy tín.

Nội dung chính

Tổng quan nghiên cứu

Thị trường tài chính công nghệ tại Việt Nam đang chứng kiến sự phát triển mạnh mẽ nhằm đáp ứng nhu cầu vốn tiêu dùng cấp thiết của người dân. Theo số liệu từ Ngân hàng Nhà nước năm 2020, khoảng 70% người trưởng thành tại Việt Nam đã sở hữu tài khoản ngân hàng, nhưng có tới gần 50% trong số đó vẫn gặp khó khăn khi tiếp cận các kênh tín dụng chính thống. Bước sang năm 2023, những biến động kinh tế toàn cầu cùng làn sóng bùng nợ có tổ chức trên không gian mạng đã đẩy tỷ lệ nợ xấu tại các tổ chức tài chính tiêu dùng tăng cao đột biến. Trong khi các ngân hàng thương mại dễ dàng thẩm định thông tin qua Trung tâm Thông tin Tín dụng Quốc gia (CIC), phần lớn các công ty tài chính trực tuyến quy mô vừa và nhỏ lại chưa đủ điều kiện kết nối trực tiếp vào nguồn dữ liệu này, dẫn tới rủi ro phê duyệt nhầm khách hàng xấu và kéo dài thời gian thẩm định hồ sơ.

Vấn đề cốt lõi đặt ra là việc chia sẻ danh sách đen giữa các tổ chức tài chính đối tác hiện nay chủ yếu thực hiện qua các giao thức truyền thống như REST API, FTP, tập tin bảng tính hoặc chia sẻ trực tiếp quyền truy cập cơ sở dữ liệu. Các phương thức này bộc lộ lỗ hổng bảo mật nghiêm trọng khi dữ liệu nhạy cảm của khách hàng bị truyền đi dưới dạng văn bản thô, vi phạm quyền riêng tư và dễ bị tin tặc đánh cắp. Mục tiêu của luận văn là xây dựng một kiến trúc hệ thống và cơ chế chia sẻ danh sách đen an toàn, có khả năng mở rộng cao, không để lộ danh tính khách hàng ngay cả với chính đối tác trong mạng lưới. Nghiên cứu tập trung vào không gian dữ liệu số điện thoại khách hàng với quy mô mô phỏng 5.000.000 bản ghi từ 5 tổ chức tài chính tham gia, đảm bảo tỷ lệ dương tính giả duy trì ở mức tối ưu 0,1% và chi phí bộ nhớ mảng bit giới hạn ở 71.887.937 bit, mở ra giải pháp bảo vệ tài sản hiệu quả cho hệ sinh thái cho vay trực tuyến.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên nền tảng lý thuyết xác suất và cấu trúc dữ liệu nén khởi xướng bởi Burton Howard Bloom từ năm 1970. Cấu trúc Bloom Filter truyền thống cho phép kiểm tra sự tồn tại của một phần tử trong tập hợp với độ phức tạp tính toán O(k) nhưng tồn tại nhược điểm không thể xóa phần tử. Để khắc phục điều này, mô hình Counting Bloom Filter (CBF) được xem xét với việc thay thế mảng bit bằng mảng bộ đếm. Tuy nhiên, CBF lại không hỗ trợ thao tác hợp nhất các tập dữ liệu trùng lặp mà không gây hiện tượng tràn bộ đếm.

Do đó, luận văn áp dụng lý thuyết Mergeable Counting Bloom Filter (mergeCBF) kết hợp thuật toán phân bổ virtual-Cuckoo. Khung lý thuyết này tách mảng bộ đếm thành 16 mảng bit độc lập với kích thước mỗi bộ đếm là 4 bit, cho phép thực hiện đồng thời các thao tác thêm, xóa, truy vấn và hợp nhất dữ liệu từ nhiều nguồn mà không làm gia tăng tỷ lệ tràn bộ đếm. Để chuyển đổi dữ liệu đầu vào thành các chỉ mục ngẫu nhiên đồng đều, hệ thống tích hợp hai thuật toán hàm băm hiệu năng cao là MurmurHash3 (hỗ trợ độ dài 32-bit và 128-bit) và FNV-1a. Về mặt quản lý trạng thái phân tán, khung lý thuyết đồng hồ logic Lamport Clock và Vector Clock được triển khai nhằm thiết lập trật tự thời gian nhân quả giữa các sự kiện mà không cần phụ thuộc vào đồng hồ vật lý tập trung.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm gồm 5.000.000 số điện thoại định dạng chuẩn E.164, mô phỏng danh sách đen tích lũy từ 5 tổ chức tài chính tín dụng trực tuyến. Phương pháp chọn mẫu là phương pháp chọn mẫu toàn bộ tập định danh rủi ro được sinh ngẫu nhiên có kiểm soát, đảm bảo phân phối ngẫu nhiên đồng đều trên không gian địa chỉ số để kiểm thử độ đụng độ của hàm băm.

Lý do lựa chọn phương pháp phân tích thực nghiệm trên mô hình phân tán là vì bài toán đòi hỏi chứng minh tính khả thi về cả hai khía cạnh: tối ưu hóa dung lượng bộ nhớ và đảm bảo tính nhất quán dữ liệu thời gian thực. Hệ thống được hiện thực hóa trên nền tảng Java Spring Framework kết hợp cơ chế hàng đợi Message Broker và cơ sở dữ liệu In-Memory DB. Quá trình nghiên cứu và khảo sát hiệu năng được thực hiện xuyên suốt trong giai đoạn từ tháng 09/2023 đến tháng 12/2023, trải qua các giai đoạn tính toán thông số lý thuyết, lập trình hiện thực hóa module máy chủ/máy khách và đo lường độ trễ xử lý dữ liệu.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình mô phỏng và thực nghiệm hệ thống chia sẻ danh sách đen đã ghi nhận bốn phát hiện kỹ thuật quan trọng mang tính thực tiễn cao:

Thứ nhất, việc tối ưu hóa kích thước mảng bit ở mức 71.887.937 bit kết hợp với 10 hàm băm tối ưu giúp hệ thống kiểm soát chính xác tỷ lệ dương tính giả ở mức 0,1% (tương đương xác suất 1/1000) đối với tập dữ liệu 5.000.000 phần tử. Mọi truy vấn kiểm tra sự tồn tại của khách hàng xấu đều được thực hiện tức thì mà không xuất hiện bất kỳ trường hợp âm tính giả nào.

Thứ hai, việc cấu hình kích thước bộ đếm 4 bit tương ứng với 16 mảng bit trong cấu trúc mergeCBF giúp dung lượng lưu trữ chỉ chiếm khoảng 34,94 MB cho mỗi nút thành viên. So với các giải pháp lưu trữ văn bản thô hoặc cơ sở dữ liệu quan hệ truyền thống tiêu tốn hàng gigabyte băng thông, mô hình này tiết kiệm hơn 90% dung lượng truyền tải mạng.

Thứ ba, hiệu năng xử lý truy vấn đạt độ phức tạp O(10), cho phép hệ thống phản hồi kết quả kiểm tra danh sách đen trong thời gian dưới 1 mili-giây, đáp ứng yêu cầu xử lý hàng nghìn lượt phê duyệt khoản vay mỗi giây tại các cổng thanh toán.

Thứ tư, cơ chế đồng bộ bất đồng bộ thông qua Vector Clock với việc cấu hình tham số độ lệch epsilon cho phép hệ thống duy trì tính sẵn sàng cao. Ngay cả khi một nút thành viên bị sập hoặc gửi dữ liệu chậm, hệ thống máy chủ vẫn có thể tổng hợp dữ liệu hợp lệ gần nhất để phản hồi cho các nút còn lại mà không làm nghẽn tiến trình thẩm định chung.

Thảo luận kết quả

Hiệu quả phân tán vượt trội của hệ thống đạt được là nhờ đặc tính khuếch tán dữ liệu của hàm băm MurmurHash3 và FNV-1a, giúp triệt tiêu hiện tượng tập trung bit cục bộ. Thuật toán virtual-Cuckoo đã chứng minh tính ưu việt trong việc ngăn ngừa tràn bộ đếm khi gộp danh sách đen từ nhiều công ty đối tác, điều mà cấu trúc Counting Bloom Filter truyền thống không thể thực hiện được.

Khi so sánh với các nghiên cứu trước đây về việc ứng dụng Bloom Filter trong bảng định tuyến mạng lõi 100 Gbps hay lọc gói tin tường lửa phân tán, giải pháp trong luận văn này đã mở rộng thành công tính năng xóa và hợp nhất dữ liệu động trong môi trường tài chính. Trong các báo cáo phân tích, dữ liệu hiệu năng có thể được minh họa trực quan thông qua biểu đồ cột so sánh mức độ tiêu thụ bộ nhớ giữa dữ liệu gốc và mảng bit nén, cùng với biểu đồ đường biểu diễn mối quan hệ tỷ lệ nghịch giữa số lượng hàm băm k và tỷ lệ lỗi dương tính giả nhằm cung cấp cái nhìn chi tiết cho các kỹ sư vận hành.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, luận văn đưa ra bốn đề xuất thực thi có tính ứng dụng cao cho các doanh nghiệp và tổ chức tài chính:

Thứ nhất, triển khai ngay kiến trúc phân tán Bloom Filter Server (BFS) và Bloom Filter Client (BFC) trên nền tảng Spring Cloud và Message Broker cho các liên minh tài chính tiêu dùng. Kế hoạch hành động dự kiến thực hiện trong vòng 6 tháng (từ Quý 1/2024 đến Quý 2/2024) do nhóm kỹ sư hạ tầng công nghệ thông tin chủ trì, hướng tới mục tiêu duy trì thời gian hoạt động liên tục đạt 99,99% và thời gian phản hồi truy vấn dưới 5 mili-giây.

Thứ hai, chuẩn hóa quy trình làm sạch và tiền xử lý dữ liệu định danh khách hàng tại từng doanh nghiệp thành viên. Bộ phận quản trị dữ liệu cần chuyển đổi toàn bộ số điện thoại sang chuẩn quốc tế E.164 trước khi đưa vào hàm băm, thực hiện trong vòng 30 ngày đầu tích hợp, nhằm loại bỏ 100% rủi ro sai lệch định dạng khi ánh xạ bit.

Thứ ba, thiết lập chính sách kiểm soát ngưỡng trễ epsilon trong Vector Clock ở mức từ 1 đến 3 chu kỳ đồng bộ. Nhóm kiến trúc sư hệ thống cần cấu hình ngưỡng này trong Quý 3/2024 để đảm bảo tỷ lệ nhất quán dữ liệu toàn mạng lưới luôn đạt trên 98%, đồng thời tự động kích hoạt cơ chế cách ly đối với các nút thành viên mất kết nối quá thời hạn cho phép.

Thứ tư, định kỳ 90 ngày một lần, phòng quản trị rủi ro tín dụng cần phối hợp với bộ phận kỹ thuật kích hoạt tính năng xóa phần tử quá hạn trên mergeCBF. Việc thanh lọc các khách hàng đã hoàn thành nghĩa vụ nợ giúp giải phóng tài nguyên bộ đếm, duy trì tỷ lệ dương tính giả thực tế luôn ở mức dưới 0,08%.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị thực tiễn cho bốn nhóm đối tượng chuyên môn:

Nhóm thứ nhất là ban giám đốc công nghệ và chuyên gia quản trị rủi ro tại các công ty Fintech, đơn vị cho vay ngang hàng (P2P Lending) và tổ chức tài chính tiêu dùng. Luận văn cung cấp mô hình thực tế giúp doanh nghiệp thiết lập mạng lưới chia sẻ dữ liệu nợ xấu liên kết mà không lo ngại rủi ro rò rỉ cơ sở khách hàng độc quyền.

Nhóm thứ hai là các kỹ sư phần mềm và kiến trúc sư hệ thống phân tán. Tài liệu cung cấp chi tiết mã nguồn, thuật toán sắp xếp virtual-Cuckoo, cấu hình hàng đợi tin nhắn và phương pháp tích hợp cơ sở dữ liệu In-Memory để xây dựng các hệ thống có độ trễ cực thấp.

Nhóm thứ ba là các chuyên gia bảo mật và an toàn thông tin. Luận văn là một case study điển hình về việc ứng dụng cấu trúc dữ liệu xác suất và mã hóa hàm băm một chiều để giải quyết bài toán tuân thủ quy định bảo vệ dữ liệu cá nhân trong môi trường số.

Nhóm thứ tư là các giảng viên, nhà nghiên cứu và học viên cao học chuyên ngành Khoa học Máy tính. Luận văn mở ra các hướng tiếp cận mới trong việc tối ưu hóa cấu trúc Bloom Filter biến thể và ứng dụng đồng hồ logic Vector Clock vào các bài toán kinh tế số.

Câu hỏi thường gặp

Tại sao không chia sẻ danh sách đen trực tiếp qua REST API hoặc tập tin CSV thông thường?

Việc truyền dữ liệu qua REST API hoặc tập tin bảng tính sẽ để lộ số điện thoại và thông tin cá nhân dưới dạng văn bản thô cho đối tác và đứng trước nguy cơ bị đánh cắp khi bị tấn công mạng. Hệ thống mergeCBF mã hóa dữ liệu thành mảng bit nén khoảng 34,94 MB, giúp bảo mật danh tính tuyệt đối ngay cả khi dữ liệu bị chặn bắt.

Cấu trúc Mergeable Counting Bloom Filter vượt trội hơn Bloom Filter truyền thống ở điểm nào?

Bloom Filter truyền thống chỉ hỗ trợ thêm phần tử và kiểm tra sự tồn tại. Mergeable Counting Bloom Filter bổ sung thêm hai khả năng quan trọng: xóa các bản ghi khách hàng đã hết hạn nợ xấu và hợp nhất trực tiếp danh sách đen của 5 công ty thành viên thành một tập dữ liệu chung thông qua phép toán OR bit nhanh chóng.

Tỷ lệ dương tính giả 0,1% được kiểm soát và tính toán như thế nào?

Dựa trên công thức xác suất toán học, với quy mô 5.000.000 phần tử, hệ thống thiết lập độ dài mảng bit đạt 71.887.937 bit và sử dụng 10 hàm băm độc lập tối ưu. Cấu hình này khống chế xác suất một khách hàng tốt bị nhận diện nhầm thành khách hàng xấu ở mức dưới 1 trường hợp trên 1.000 lượt kiểm tra.

Vector Clock đóng vai trò gì khi một công ty thành viên bị mất kết nối mạng?

Vector Clock giúp máy chủ BFS theo dõi thứ tự cập nhật dữ liệu của từng thành viên. Khi một công ty bị trễ dữ liệu trong ngưỡng cho phép epsilon, hệ thống vẫn tự động trích xuất bản ghi hợp lệ gần nhất tại thời điểm trước đó để phục vụ truy vấn cho 4 đối tác còn lại mà không làm gián đoạn vận hành.

Hệ thống xử lý thế nào khi dung lượng danh sách đen tăng lên hàng chục triệu bản ghi?

Khi số lượng khách hàng vượt ngưỡng 5.000.000 phần tử, hệ thống có thể mở rộng theo quy mô bằng cách áp dụng mô hình Scalable Bloom Filter, tự động khởi tạo thêm các mảng bit con mới nối tiếp mà không cần phải dừng hệ thống hay tái cấu trúc toàn bộ dữ liệu ban đầu.

Kết luận

Luận văn đã giải quyết triệt để bài toán chia sẻ thông tin nhạy cảm trong lĩnh vực tài chính trực tuyến thông qua năm đóng góp trọng tâm:

• Xây dựng thành công cơ chế chia sẻ danh sách đen bảo mật cao dựa trên cấu trúc dữ liệu Mergeable Counting Bloom Filter, đảm bảo giữ kín thông tin khách hàng tuyệt đối.
• Tối ưu hóa các thông số kỹ thuật với 10 hàm băm và mảng 71.887.937 bit, kiểm soát tỷ lệ dương tính giả ở mức lý tưởng 0,1% trên quy mô 5.000.000 bản ghi.
• Hiện thực hóa cơ chế quản lý trạng thái và chịu lỗi phân tán bằng Vector Clock, duy trì tính liên tục của hệ thống ngay cả khi có sự cố mạng cục bộ.
• Giảm thiểu hơn 90% dung lượng băng thông truyền tải so với các giải pháp truyền dữ liệu thô truyền thống, đưa dung lượng mảng bit về mức 34,94 MB.
• Cung cấp mã nguồn và kiến trúc tham chiếu hoàn chỉnh trên nền tảng Spring Framework, sẵn sàng tích hợp vào thực tế vận hành doanh nghiệp.

Trong giai đoạn 2024–2025, hướng phát triển tiếp theo của nghiên cứu sẽ tập trung vào việc tích hợp các giao thức mã hóa đồng cấu (Homomorphic Encryption) và bằng chứng không tri thức (Zero-Knowledge Proofs) nhằm nâng cao hơn nữa tính bảo mật cho hệ thống phân tán. Các tổ chức tín dụng và doanh nghiệp tài chính công nghệ có thể tiếp cận, áp dụng ngay mô hình này để nâng cao năng lực phòng ngừa rủi ro tín dụng và bảo vệ tối đa quyền riêng tư của khách hàng.

Trích đoạn nội dung tài liệu

Chương 1 GIỚI THIỆU ĐỀ TÀI: giới thiệu về hiện trạng của ngành tài chính, cụ thể là cho vay tiêu dùng, cho vay trực tuyến và nhu cầu thực tế trong việc chia sẻ dữ liệu danh sách đen mô tả bài toán chia sẻ danh sách đen trong lĩnh vực cho vay trực tuyến. − Chương 2 CƠ SỞ KIẾN THỨC: là các cơ sở lý thuyết mà học viên sử dụng trong luận văn này, bao gồm các lý thuyết cơ bản về Bloom Filter, các thuộc tính của Bloom Filter và biến thể cải tiến khác của Bloom Filter là Counting Bloom Filter hay Mergeable Counting Bloom Filter, các hàm băm được sử dụng trong Bloom Filter, lý thuyết về Lamport Clock và Vector Clock. 7 − Chương 3 CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN: nói về các công trình nghiên cứu liên quan tới Bloom Filter. Từ đó các cải tiến của cấu trúc dữ liệu mới lần lượt ra đời, và đó cũng là cơ sở quan trọng cho ứng dụng của tác giả trong luận văn.

− Chương 4 PHƯƠNG PHÁP GIẢI QUYẾT VẤN ĐỀ: Chương 4 nói cụ thể về các mô hình đề xuất của học viên cho bài toán chia sẻ danh sách đen. − Chương 5 KẾT LUẬN: Tổng kết các đóng góp của luận văn, các vấn đề còn tồn tại của bài toán chia sẻ danh sách đen đồng thời nói về khả năng phát triển trong tương lai. 8 Chương 2 CƠ SỞ KIẾN THỨC 2. Cấu trúc dữ liệu Bloom Filter Cấu Trúc Dữ Liệu Bloom Filter là một cấu trúc dữ liệu đã nén để trả lời nhanh cho câu hỏi, phần tử này có nằm trong tập hợp không? Kết quả là có thể là “có” hoặc có thể hoặc không.

Tức là BloomFilter có thể dương tính giả (false positive) nhưng không thể có trường hợp âm tính giả (false negative). Bloom Filter bao gồm một mảng bit B có chiều dài m. Khi khởi tạo, giá trị của mỗi bit trong mảng là 0. Khi mã hoá thông tin thành viên e, e sẽ được sẽ được mã hoá bởi k hàm băm độc lập nhau:.

Vùng giá trị trả về của hàm băm sẽ là chính là chỉ mục được dùng trong mảng bit B. , sẽ được bật thành 1. Và những bit đó sẽ được gọi là bit thành viên (membership bit).1: Mã hoá các phần tử a, b,c vào Bloom Filter với số hàm băm bằng 3 2. Dương Tính Giả (False Positive) và Số Hàm Băm Tối Ưu K (Optimal K) Cho m là chiều dài của mảng bit.

n là tổng số phần tử trong tập hợp và k là tổng số hàm băm. Vậy Xác suất của 1 bit vẫn bằng 0 sau khi đã thêm vào n phần tử là: (2.1) Vậy xác suất bit đó là 1 là: (2.2) 10 Vậy một đối tượng bất kỳ, và chưa được mã hóa trong Bloom Filter , thì xác suất mà tất cả bit ở chỉ mục trả của hàm băm H của đối tượng trả về được bật là: (2.3) Trong đó là hằng số tự nhiên Euler. Rõ ràng, tỷ lệ dương tính giả sẽ giảm khi độ dài của mảng m tăng, và giảm khi số lượng phần tử n được thêm vào Bloom Filter tăng. Để tìm ra số hàm băm tối ưu, ta có thể lấy đạo hàm công thức 2.3 theo k, cho vế bên trái bằng 0 và giải phương trình.5) Khi số hàm k* được sử dụng, ta thay vào hàm tính dương tính giả công thức2.3 sẽ là fB*: (2.6) Trong đó: - là số lượng hàm băm.

- là số lượng hàm băm tối ưu. - là chiều dài của mảng bit - là tổng số phần tử đã được mã hóa trong Bloom Filter. - là hằng số tự nhiên Euler. - là tỷ lệ dương tính giả.

11 - là tỷ lệ dương tính giả khi số hàm băm tối ưu được sử dụng. Counting Bloom Filter Việc loại bỏ một phần tử trong Bloom Filter là không thể. Bởi vì mỗi bit bằng 1 sẽ được sử dụng chung bởi các phần tử khác nhau. Ta không thể đơn giản gán bit thành 0 được vì nó dẫn tới việc lược bỏ một phần tử khác.

Counting Bloom Filter dùng một mảng của bộ đếm (counter) C với chiều dài l. Mỗi bộ đếm trong mảng đều được khởi tạo là 0. Cũng giống như Bloom Filter truyền thống, chúng ta mã hoá một phần tử e bằng k hàm băm. Mỗi hàm băm sẽ trả về giá trị từ 0 tới l - 1 là chỉ mục của trong mảng bộ đếm C.

Chúng ta sẽ tăng giá trị của bộ đếm tại vị trí của số đếm lên 1.2: Mã hoá các phần tử a, b,c vào Counting Bloom Filter với số hàm băm bằng 3 Khi muốn xoá một phần tử e khỏi tập hợp, chúng ta cũng băm phần tử đó và có tập giá trị các chỉ mục. ta sẽ giảm giá trị tại các vị trí số đếm xuống 1. Khi kiểm tra một phần tử bất kỳ e’ có nằm trong Counting Bloom Filter không, ta cũng băm đối tượng thành bằng k hàm băm. Sau đó 12 kiểm tra giá trị tại các vị trí do hàm băm trả về trong mảng C có khác 0 hay không? Nếu tất cả đều khác 0, thì có thể kết luận đối tượng đó nằm trong tập hợp.

Dương Tính Giả (False Positive), Số Hàm Băm Tối Ưu (Optimal K), Kích Thước Của Bộ Đếm (Counter Size) và Độ Đếm Tràn (Counter Overflow) của Counting Bloom Filter Cho là chiều dài của mảng bộ đếm, là tổng số phần tử đã được mã hả trong Counting Bloom Filter tập hợp và là số hàm băm. Cùng phương pháp phân tích như phần 2.2, ta có xác xuất 1 phần tử trong mảng số là 0 sau khi đã thêm n phần tử là: (2.7) Vậy xác suất phần tử đó đó khác 0 là: 1- (2.8) Vậy với một đối tượng bất kỳ, và không nằm trong Counting Bloom Filter, thì xác suất mà tất cả các số ở chỉ mục được hàm băm trả về lớn hơn 0 là: (2.9) Trong đó, là hằng số Euler số tự nhiên. Từ hàm số trên, ta sẽ tính số hàm băm tối ưu k* như phương pháp ở chương 2.2 , ta lấy đạo hàm của 3.11) Trong đó là logarit cơ số tự nhiên Euler. Khi số hàm k* được sử dụng, ta thay vào hàm tính dương tính giả sẽ là fC*: (2.12) Trong đó: - là số lượng hàm băm.

- là số lượng hàm băm tối ưu. - là chiều dài của mảng bộ đếm - là tổng số phần tử đã được mã hóa trong Bloom Filter. - là hằng số tự nhiên Euler. - là tỷ lệ dương tính giả.

- là tỷ lệ dương tính giả khi số hàm băm tối ưu được sử dụng. Như vậy, Counting Bloom Filter có cùng tỷ lệ dương tính giả với Bloom Filter truyền thống. Bộ Đếm trong Counting Bloom Filter là được chỉ định trước và có giới hạn. Tất cả đều có cùng độ dài cố định.

Giả sử, mỗi bộ đếm có t bit. Giá trị của bộ đếm là từ khoảng tới. Nếu giá trị bộ đếm đang là và ta mã hoá một phần tử mới, bộ đếm sẽ tăng lên 1, tràn bộ đếm (counter overflow) sẽ xảy ra. Nếu giá trị càng nhỏ, thì việc tràn bộ đếm sẽ xảy ra thường xuyên hơn.

Tuy nhiên nếu giá trị lớn sẽ tốn bộ nhớ. Cho là một biến ngẫu nhiên là giá trị của bộ đếm sau n lần thêm phần tử vào BloomFilter, sẽ tuân theo phân phối xác suất Binomial: .13) 14 Ở đây, được xác định bởi công thức: (2.14) Xác suất để bộ đếm lớn hơn hoặc bằng giá trị y là: (2.15) Trong đó: là giai thừa giảm dần : (2. Ta có thể giới hạn bằng: (2.17) Xác suất bất kỳ bộ đếm c nào mà lớn hơn hoặc bằng y sẽ là: (2.18) Và khi số hàm băm tối ưu k* (công thức 2.11) được áp dụng thì ta có: 15 (2.19) Ý nghĩa các ký hiệu trong phần 2.4 : - là xác suất để điều kiện đó xảy ra. - là chiều dài của mảng bộ đếm.

- là giai thừa của biến x. - là hằng số tự nhiên Euler. - là logarit cơ số tự nhiên e. - là tổng số phần tử có trong Bloom Filter.

- là phép tổng. Trong thực tế, nếu tràn bộ đệm xảy ra, ta vẫn có thể giữ giá trị của bộ đếm. Nhưng qua quá nhiều phân tử, có thể dẫn tới tình huống tỷ lệ dương tính giả cao. Mergeable Counting Bloom Filter Nếu chúng ta sử dụng Bloom Filter, thì việt kết hợp hai hay nhiều vector khá đơn giản, chỉ cần OR bit tương đương trong vector.

Tuy nhiên, Counting Bloom Filter (CBF) không hỗ trợ việc kết hợp hai vectors dữ liệu do CBF không lưu thông tin về hai phần hay nhiều phần tử trùng nhau. Nếu chúng ta có 2 CBF là CBF1và CBF2. Khi hợp CBF1 và CBF2, ta sẽ cộng từng phần tử i của mảng bộ đếm CBF1 và CBF2. Nếu có quá nhiều phần tử trùng trong cả hai CBF trên thì có thể dẫn bộ đếm tràn.

Để giải quyết vấn đề này, Wengjin Liu và nhóm tác giả đã đưa ra giải pháp Mergeable Counting Bloom Filter (mergeCBF), dựa trên sử dụng thuật toán xếp lịch Cuckoo. Ý tưởng của mergeCBF là tách các mảng bộ đếm (counter array) thành một nhóm các mảng bit và sắp xếp các mảng theo một thứ tự cố định để ghi nhận những phần tử đã được thêm vào. 16 Cấu trúc của mergeCBF: - hàm băm, số lượng hàm băm tối ưu theo công thức 2. - Một nhóm gồm mảng bit , trong đó là giá trị lớn nhất của bộ đếm.

- Một mảng là orBarr, là kết quả or của nhóm các mảng bit ở trên. Dùng để tăng hiệu quả của việc truy vấn. MergeCBF không chỉ hỗ trợ delete, thêm phần tử mới, xóa phần tử mà còn hỗ trợ việc hợp giữa hai hay nhiều mergeCBF khác nhau nếu có chung hàm băm và chiều dài mảng bit. Thêm một phần tử Để thêm một phần tử vào mergeCBF, ta không chỉ băm phần tử đó bằng k hàm băm mà còn phải sắp xếp các và chọn mảng bit nào để chứa các giá trị trả về của hàm băm.

Để đảm bảo việc xếp các bit vào mảng bit một cách ít đụng độ và hiệu quả, nhóm tác giả dùng giới thiệu một thuật toán lấy ý tưởng từ thuật toán Cuckoo Hash tên là thuật toán sắp xếp virtual-Cuckoo. Ý tưởng của thuật toán Cuckoo hash là tìm ra vị trí của phần tử trong mảng, nếu vị trí ô trong mảng đã có một phần tử chiếm dụng, chúng ta sẽ đẩy phần tử đã có ra khỏi ô đó, chèn phần tử mới vào ô hiện tại, tìm một vị trí mới cho phần tử cũ. Quá trình này tiếp diễn cho tới khi không còn đụng độ nửa. Cuckoo Hash đảm bảo việc sử dụng bộ nhớ một cách hiệu quả vì nó khuyến khích nhiều ô trong mảng được sử dụng hơn.