Phương pháp ẩn các tập mục có độ hữu ích cao trong cơ sở dữ liệu giao tác lớn

Khám phá phương pháp ẩn các tập mục hữu ích trong cơ sở dữ liệu giao tác lớn. Tối ưu hóa hiệu suất và bảo mật thông tin quan trọng. Tìm hiểu ngay!

• Tác giả: Đặng Thị Kim Trang
• Người hướng dẫn: TS. Nguyễn Khắc Chiến
• Trường học: Học Viện Công Nghệ Bưu Chính Viễn Thông
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Phương Pháp Ẩn Các Tập Mục Có Độ Hữu Ích Cao Trong Cơ Sở Dữ Liệu Giao Tác Lớn
• Loại tài liệu: Luận Văn Thạc Sĩ Kỹ Thuật
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT
• 1.1. Tập mục phổ biến và khai phá tập phổ biến truyền thống
• 1.2. Tập mục phổ biến
• 1.3. Khám phá tri thức và khai thác dữ liệu
• 1.4. Khai phá tập phổ biến truyền thống
• 1.5. Tập mục đỡ hữu ích cao và bài toán khai phá tập mục đỡ hữu ích cao
• 2. CHƯƠNG 2: MẶT SỰ PHƯƠNG PHÁP ẨN TẬP MỤC ĐỘ HỮU ÍCH CAO
• 2.1. Một số khái niệm cơ bản
• 2.2. Một số công trình liên quan
• 2.3. Phương pháp ẩn tập mục đỡ hữu ích cao nhạy cảm
• 2.4. Kết luận Chương 2
• 3. CHƯƠNG 3: ĐỀ XUẤT PHƯƠNG PHÁP ẨN TẬP MỤC ĐỘ HỮU ÍCH CAO
• 3.1. Cơ sở để đề xuất thuật toán
• 3.2. Thuật toán đề xuất
• 3.3. Kết luận Chương 3
• 4. CHƯƠNG 4: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Môi trường thực nghiệm và dữ liệu sử dụng
• 4.2. Kết quả thực nghiệm
• 4.3. Kết luận Chương 4
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Phương pháp ẩn tập mục hữu ích 55 ký tự

Trong bối cảnh khai phá dữ liệu, việc bảo vệ thông tin nhạy cảm trong các cơ sở dữ liệu giao tác lớn là vô cùng quan trọng. Các phương pháp khai phá dữ liệu truyền thống có thể vô tình tiết lộ những thông tin này, gây ảnh hưởng tiêu cực đến quyền riêng tư và lợi ích kinh doanh. Do đó, việc nghiên cứu và phát triển các phương pháp ẩn tập mục có độ hữu ích cao trở thành một nhu cầu cấp thiết. Các phương pháp này nhằm mục đích che giấu các tập mục nhạy cảm mà vẫn bảo toàn được tính hữu ích của dữ liệu cho các mục đích phân tích khác. Luận văn này tập trung vào các kỹ thuật xáo trộn dữ liệu và che giấu tập mục trong các cơ sở dữ liệu giao tác.

1.1. Tầm quan trọng của bảo mật dữ liệu trong giao dịch

Bảo mật dữ liệu giao dịch đóng vai trò then chốt trong việc bảo vệ quyền riêng tư của khách hàng và uy tín của doanh nghiệp. Việc ẩn thông tin nhạy cảm như thông tin cá nhân, số tài khoản ngân hàng, hoặc lịch sử giao dịch là rất cần thiết để ngăn chặn các hành vi xâm phạm quyền riêng tư và các cuộc tấn công mạng. Theo Đặng Thị Kim Trang, mục tiêu là làm giảm các hiệu ứng phụ như ẩn nhầm các tập mục có độ hữu ích cao không nhạy cảm, sự khác nhau giữa CSDL ban đầu và CSDL sau khi sửa đổi. Việc này đòi hỏi các phương pháp ẩn tập mục phải được thiết kế cẩn thận để đảm bảo tính hiệu quả và bảo toàn độ hữu ích của dữ liệu.

1.2. Bài toán khai phá dữ liệu bảo mật và tính riêng tư

Khai phá dữ liệu bảo mật (PPDM) là một lĩnh vực nghiên cứu quan trọng, tập trung vào việc phát triển các kỹ thuật khai phá dữ liệu mà vẫn bảo vệ được tính riêng tư của dữ liệu. Bài toán khai phá dữ liệu bảo mật đòi hỏi sự cân bằng giữa việc khai thác thông tin hữu ích và việc bảo vệ thông tin nhạy cảm. Các phương pháp PPDM thường sử dụng các kỹ thuật xáo trộn dữ liệu, làm mờ dữ liệu, hoặc che giấu tập mục để đạt được mục tiêu này.

II. Thách thức khi ẩn tập mục hữu ích trong CSDL lớn 58 ký tự

Việc ẩn các tập mục có độ hữu ích cao trong cơ sở dữ liệu giao tác lớn đặt ra nhiều thách thức. Một trong những thách thức lớn nhất là làm sao để bảo toàn độ hữu ích của dữ liệu sau khi đã áp dụng các phương pháp che giấu. Việc xáo trộn dữ liệu hoặc loại bỏ các tập mục nhạy cảm có thể làm giảm độ chính xác của các phân tích và dự đoán được thực hiện trên dữ liệu. Ngoài ra, việc ẩn tập mục cũng có thể làm tăng chi phí tính toán và lưu trữ, đặc biệt là đối với các cơ sở dữ liệu có kích thước rất lớn.

2.1. Mối quan hệ giữa bảo mật và độ hữu ích của dữ liệu

Mối quan hệ giữa bảo mật dữ liệu và độ hữu ích của dữ liệu là một vấn đề cốt lõi trong bài toán ẩn tập mục. Các phương pháp che giấu thường làm giảm độ hữu ích của dữ liệu, và ngược lại. Do đó, cần phải tìm ra sự cân bằng tối ưu giữa hai yếu tố này. Các nhà nghiên cứu đã đề xuất nhiều độ đo để đánh giá độ hữu ích của dữ liệu sau khi ẩn tập mục, chẳng hạn như độ chính xác của các mô hình phân tích hoặc khả năng thực hiện các truy vấn SQL.

2.2. Ảnh hưởng của việc ẩn tập mục đến hiệu suất hệ thống

Việc ẩn tập mục có thể ảnh hưởng đến hiệu suất của hệ thống, đặc biệt là đối với các cơ sở dữ liệu có kích thước lớn. Các phương pháp xáo trộn dữ liệu hoặc lọc nhiễu dữ liệu có thể làm tăng thời gian truy vấn và phân tích dữ liệu. Ngoài ra, việc bảo mật dữ liệu cũng có thể đòi hỏi các tài nguyên tính toán và lưu trữ lớn hơn. Do đó, cần phải xem xét các yếu tố hiệu suất khi lựa chọn và triển khai các phương pháp ẩn tập mục.

III. Phương pháp che giấu tập mục dựa trên xáo trộn 52 ký tự

Một trong những phương pháp phổ biến để ẩn các tập mục có độ hữu ích cao là xáo trộn dữ liệu. Phương pháp này bao gồm việc thay đổi các giá trị trong cơ sở dữ liệu để làm cho các tập mục nhạy cảm trở nên khó nhận biết hơn. Các kỹ thuật xáo trộn có thể bao gồm thêm nhiễu, thay đổi các giá trị thuộc tính, hoặc tổng quát hóa dữ liệu. Theo Đặng Thị Kim Trang, các tri thức nhạy cảm có thể được ẩn bằng cách chuyển đổi cơ sở dữ liệu ban đầu thành cơ sở dữ liệu được sửa đổi theo một số chiến lược cụ thể và quá trình ẩn đó được gọi là làm sạch dữ liệu.

3.1. Kỹ thuật thêm nhiễu và làm mờ dữ liệu giao dịch

Các kỹ thuật thêm nhiễu và làm mờ dữ liệu là hai phương pháp phổ biến trong xáo trộn dữ liệu. Kỹ thuật thêm nhiễu bao gồm việc thêm các giá trị ngẫu nhiên vào dữ liệu để làm giảm độ chính xác của các phân tích. Kỹ thuật làm mờ dữ liệu bao gồm việc thay thế các giá trị chính xác bằng các giá trị gần đúng hoặc các khoảng giá trị. Các kỹ thuật này có thể giúp ẩn thông tin nhạy cảm mà vẫn bảo toàn được một phần độ hữu ích của dữ liệu.

3.2. Tổng quát hóa dữ liệu để bảo vệ tính riêng tư

Tổng quát hóa dữ liệu là một kỹ thuật xáo trộn dữ liệu bao gồm việc thay thế các giá trị cụ thể bằng các giá trị tổng quát hơn. Ví dụ, thay vì lưu trữ tuổi của một người là 25, ta có thể lưu trữ là “20-30”. Tổng quát hóa dữ liệu có thể giúp ẩn thông tin nhạy cảm mà vẫn cho phép thực hiện các phân tích thống kê trên dữ liệu. Tuy nhiên, việc tổng quát hóa quá mức có thể làm giảm đáng kể độ hữu ích của dữ liệu.

IV. Thuật toán hiệu quả cho ẩn tập mục hữu ích nhạy cảm 59 ký tự

Để ẩn các tập mục có độ hữu ích cao nhạy cảm, cần có các thuật toán hiệu quả có thể xác định và che giấu các tập mục này mà không làm ảnh hưởng đến độ hữu ích của dữ liệu. Các thuật toán này thường dựa trên các kỹ thuật khai phá dữ liệu bảo mật và xáo trộn dữ liệu. Một trong những mục tiêu quan trọng là giảm thiểu các hiệu ứng phụ, chẳng hạn như ẩn nhầm các tập mục không nhạy cảm hoặc tạo ra sự khác biệt lớn giữa cơ sở dữ liệu ban đầu và cơ sở dữ liệu đã được sửa đổi. Đề tài đề xuất phương pháp ẩn một cách phù hợp, để ẩn các tập mục có độ hữu ích cao nhạy cảm một cách hiệu quả, làm giảm thiểu các hiệu ứng phụ trên các thông tin không nhạy cảm.

4.1. Các bước chính trong thuật toán ẩn tập mục nhạy cảm

Các thuật toán ẩn tập mục nhạy cảm thường bao gồm các bước sau: (1) Xác định các tập mục nhạy cảm trong cơ sở dữ liệu. (2) Lựa chọn các kỹ thuật xáo trộn dữ liệu phù hợp để che giấu các tập mục này. (3) Áp dụng các kỹ thuật xáo trộn lên dữ liệu. (4) Đánh giá độ hữu ích của dữ liệu sau khi che giấu. (5) Lặp lại các bước trên cho đến khi đạt được sự cân bằng giữa bảo mật và độ hữu ích.

4.2. Đánh giá hiệu quả của thuật toán bằng các độ đo

Để đánh giá hiệu quả của các thuật toán ẩn tập mục, cần sử dụng các độ đo bảo mật và độ hữu ích phù hợp. Các độ đo bảo mật có thể bao gồm khả năng chống lại các cuộc tấn công tái tạo dữ liệu hoặc mức độ ẩn thông tin nhạy cảm. Các độ đo độ hữu ích có thể bao gồm độ chính xác của các mô hình phân tích hoặc khả năng thực hiện các truy vấn SQL.

V. Ứng dụng ẩn tập mục hữu ích trong thực tiễn 51 ký tự

Các phương pháp ẩn các tập mục có độ hữu ích cao có nhiều ứng dụng thực tế trong các lĩnh vực khác nhau. Trong lĩnh vực y tế, các phương pháp này có thể được sử dụng để bảo vệ thông tin bệnh nhân trong các cơ sở dữ liệu y tế. Trong lĩnh vực tài chính, chúng có thể được sử dụng để bảo vệ thông tin tài chính của khách hàng trong các cơ sở dữ liệu ngân hàng. Ngoài ra, các phương pháp này cũng có thể được sử dụng trong lĩnh vực thương mại điện tử để bảo vệ thông tin cá nhân của người dùng. Một trong những vấn đề đặt ra khi giải quyết bài toán này là làm giảm các hiệu ứng phụ như: ẩn nhầm các tập mục có độ hữu ích cao không nhạy cảm, sự khác nhau giữa CSDL ban đầu và CSDL sau khi sửa đổi,…

5.1. Bảo vệ thông tin bệnh nhân trong cơ sở dữ liệu y tế

Việc bảo vệ thông tin bệnh nhân là vô cùng quan trọng trong lĩnh vực y tế. Các phương pháp ẩn tập mục có thể được sử dụng để che giấu các thông tin nhạy cảm như bệnh sử, kết quả xét nghiệm, hoặc thông tin di truyền. Điều này có thể giúp ngăn chặn các hành vi xâm phạm quyền riêng tư và đảm bảo rằng thông tin bệnh nhân chỉ được sử dụng cho các mục đích được cho phép.

5.2. Ứng dụng trong lĩnh vực tài chính và thương mại điện tử

Trong lĩnh vực tài chính và thương mại điện tử, các phương pháp ẩn tập mục có thể được sử dụng để bảo vệ thông tin tài chính của khách hàng và thông tin cá nhân của người dùng. Điều này có thể giúp ngăn chặn các hành vi gian lận, rửa tiền, hoặc đánh cắp thông tin. Ngoài ra, các phương pháp này cũng có thể giúp các doanh nghiệp tuân thủ các quy định về bảo vệ dữ liệu như GDPR hoặc CCPA.

VI. Kết luận và hướng phát triển ẩn tập mục hữu ích 56 ký tự

Việc ẩn các tập mục có độ hữu ích cao trong cơ sở dữ liệu giao tác lớn là một bài toán phức tạp đòi hỏi sự kết hợp giữa các kỹ thuật khai phá dữ liệu bảo mật, xáo trộn dữ liệu, và bảo mật dữ liệu. Các phương pháp hiện tại vẫn còn nhiều hạn chế, và cần có thêm nhiều nghiên cứu để phát triển các thuật toán hiệu quả hơn có thể cân bằng giữa bảo mật và độ hữu ích của dữ liệu. Hiện đã có một số phương pháp ẩn hiệu quả để giải quyết vấn đề này, tuy nhiên những phương pháp này vẫn còn tạo ra các hiệu ứng phụ không mong muốn.

6.1. Các hướng nghiên cứu tiềm năng trong tương lai

Các hướng nghiên cứu tiềm năng trong tương lai bao gồm việc phát triển các thuật toán ẩn tập mục dựa trên học sâu, các phương pháp che giấu có thể thích ứng với các loại dữ liệu khác nhau, và các kỹ thuật bảo mật có thể chống lại các cuộc tấn công tinh vi hơn.

6.2. Tối ưu hóa hiệu suất và khả năng mở rộng của thuật toán

Một trong những thách thức lớn nhất trong việc phát triển các thuật toán ẩn tập mục là đảm bảo hiệu suất và khả năng mở rộng. Các thuật toán này cần phải có khả năng xử lý các cơ sở dữ liệu có kích thước rất lớn mà không làm ảnh hưởng đến thời gian truy vấn và phân tích dữ liệu.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh kinh doanh hiện đại, việc khai thác dữ liệu giao tác lớn nhằm tối ưu hóa lợi nhuận và bảo vệ thông tin nhạy cảm ngày càng trở nên cấp thiết. Theo ước tính, các hệ thống bán lẻ và siêu thị có thể xử lý hàng chục nghìn giao tác mỗi ngày với đa dạng mặt hàng và giá trị lợi nhuận khác nhau. Bài toán khai phá tập mục có độ hữu ích cao (High Utility Itemset Mining - HUIM) nhằm tìm ra các tập mục mang lại lợi nhuận tối ưu, góp phần nâng cao hiệu quả kinh doanh. Tuy nhiên, việc chia sẻ dữ liệu giao tác giữa các doanh nghiệp tiềm ẩn nguy cơ rò rỉ thông tin nhạy cảm như số định danh cá nhân, số tài khoản ngân hàng. Do đó, bảo vệ tính riêng tư trong khai phá dữ liệu trở thành thách thức lớn.

Luận văn tập trung nghiên cứu phương pháp ẩn các tập mục có độ hữu ích cao nhạy cảm trong cơ sở dữ liệu giao tác lớn, nhằm bảo vệ thông tin nhạy cảm mà vẫn giữ nguyên tính toàn vẹn và hiệu quả khai phá dữ liệu. Phạm vi nghiên cứu bao gồm các cơ sở dữ liệu giao tác có kích thước lớn, với ngưỡng độ hữu ích tối thiểu được xác định theo yêu cầu người dùng. Mục tiêu cụ thể là đề xuất thuật toán ẩn tập mục nhạy cảm hiệu quả hơn các phương pháp hiện có, giảm thiểu các hiệu ứng phụ như ẩn nhầm tập mục không nhạy cảm và sai lệch dữ liệu sau khi sửa đổi.

Nghiên cứu có ý nghĩa quan trọng trong việc hỗ trợ các doanh nghiệp bảo vệ thông tin khách hàng, đồng thời tối ưu hóa chiến lược kinh doanh dựa trên dữ liệu khai phá được. Các chỉ số đánh giá hiệu quả bao gồm thời gian thực thi, mức độ sử dụng bộ nhớ và tỷ lệ hiệu ứng phụ trong quá trình ẩn dữ liệu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Khai phá tập mục phổ biến (Frequent Itemset Mining): Tập trung vào việc tìm các tập mục xuất hiện với tần suất vượt ngưỡng tối thiểu trong cơ sở dữ liệu giao tác. Tuy nhiên, mô hình này không phản ánh được giá trị lợi nhuận của từng mục.

• Khai phá tập mục có độ hữu ích cao (High Utility Itemset Mining - HUIM): Mở rộng khai phá tập mục phổ biến bằng cách kết hợp cả số lượng và lợi nhuận của từng mục trong giao tác. Độ hữu ích của tập mục được tính bằng tổng lợi nhuận của các mục trong tập đó, vượt ngưỡng tối thiểu do người dùng quy định.

• Phương pháp ẩn tập mục nhạy cảm (Privacy Preserving Utility Itemset Mining - PPUIM): Nhằm bảo vệ các tập mục có độ hữu ích cao nhạy cảm bằng cách sửa đổi cơ sở dữ liệu sao cho các tập mục này không thể được khai phá với ngưỡng độ hữu ích tối thiểu, đồng thời giảm thiểu các hiệu ứng phụ như ẩn nhầm và mất mát dữ liệu không cần thiết.

Các khái niệm chính bao gồm: tập mục nhạy cảm (SHUI), tập mục không nhạy cảm (NSHUI), giao tác nhạy cảm (ST), độ hữu ích bên trong (số lượng), độ hữu ích bên ngoài (lợi nhuận), và các thuật toán khai phá tập mục hữu ích cao như Two-Phase, UP-Growth, HUI-Miner, EFIM, EHSHUI.

Phương pháp nghiên cứu

Nguồn dữ liệu sử dụng là các cơ sở dữ liệu giao tác thực tế và mô phỏng, bao gồm bộ dữ liệu Chess (3196 giao tác, 75 mục) và Mushroom (8124 giao tác, 120 mục) được lấy từ trang web chuyên ngành khai phá dữ liệu. Các giá trị số lượng và lợi nhuận của mục được tạo ngẫu nhiên theo phân phối đồng đều trong phạm vi [1-10].

Phương pháp phân tích bao gồm:

• Xây dựng và cải tiến thuật toán ẩn tập mục nhạy cảm dựa trên thuật toán EHSHUI hiện có, kết hợp hệ số điều chỉnh α để giảm số lần quét cơ sở dữ liệu và sửa đổi nhiều giao tác cùng lúc.

• Sử dụng cấu trúc dữ liệu I-list, HUI-Table và T-Table để lưu trữ thông tin về các mục, tập mục và giao tác nhạy cảm, giúp tối ưu hóa quá trình xử lý.

• Thực hiện thí nghiệm so sánh hiệu năng thuật toán đề xuất IEHSHUI với các thuật toán EHSHUI và VoBay2013 về thời gian thực thi và sử dụng bộ nhớ.

• Timeline nghiên cứu kéo dài trong năm 2022, bao gồm các giai đoạn thu thập dữ liệu, phát triển thuật toán, thực nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả thời gian thực thi: Thuật toán IEHSHUI đề xuất cho thấy thời gian thực thi nhanh hơn đáng kể so với EHSHUI và VoBay2013 trên cả hai bộ dữ liệu Chess và Mushroom. Cụ thể, trên bộ dữ liệu Chess, IEHSHUI giảm thời gian thực thi trung bình xuống còn khoảng 40% so với EHSHUI.

2. Giảm thiểu hiệu ứng phụ: IEHSHUI giảm thiểu các hiệu ứng phụ như ẩn nhầm tập mục không nhạy cảm và sai lệch dữ liệu sau khi sửa đổi. Thuật toán này chỉ ẩn nhầm khoảng 5 tập mục không nhạy cảm, thấp hơn đáng kể so với các thuật toán so sánh.

3. Sử dụng bộ nhớ: Mặc dù IEHSHUI sử dụng bộ nhớ nhiều hơn một chút do lưu trữ thêm thông tin về các mục sửa đổi, nhưng mức tăng này không đáng kể và được bù đắp bởi hiệu quả xử lý nhanh hơn.

4. Khả năng xử lý đồng thời nhiều giao tác: Thuật toán IEHSHUI cho phép sửa đổi nhiều giao tác cùng lúc dựa trên hệ số α, giúp giảm số lần quét cơ sở dữ liệu và tăng tốc độ xử lý.

Thảo luận kết quả

Nguyên nhân chính của sự cải tiến là do chiến lược lựa chọn tập mục nhạy cảm ẩn theo thứ tự giảm dần độ hữu ích, đồng thời ưu tiên chọn mục sửa đổi nằm trong nhiều tập mục nhạy cảm nhất và ít ảnh hưởng đến tập mục không nhạy cảm. Việc áp dụng hệ số α để điều chỉnh tỷ lệ giảm số lượng mục trong các giao tác nhạy cảm giúp giảm số lần quét dữ liệu, tiết kiệm thời gian xử lý.

So sánh với các nghiên cứu trước, IEHSHUI khắc phục được nhược điểm của EHSHUI là chỉ sửa đổi từng giao tác một lần, dẫn đến thời gian thực thi kéo dài. Kết quả thực nghiệm minh họa rõ ràng qua biểu đồ thời gian và bảng so sánh sử dụng bộ nhớ, cho thấy IEHSHUI là lựa chọn tối ưu cho các cơ sở dữ liệu giao tác lớn.

Ý nghĩa của nghiên cứu là cung cấp giải pháp bảo vệ dữ liệu nhạy cảm hiệu quả trong khai phá tập mục có độ hữu ích cao, hỗ trợ doanh nghiệp duy trì tính riêng tư và tối ưu hóa lợi nhuận kinh doanh.

Đề xuất và khuyến nghị

1. Áp dụng thuật toán IEHSHUI trong các hệ thống quản lý dữ liệu giao tác lớn: Động từ hành động là "triển khai", mục tiêu giảm thời gian xử lý và hiệu ứng phụ, thời gian thực hiện trong vòng 6 tháng, chủ thể là các doanh nghiệp bán lẻ và siêu thị.

2. Phát triển phần mềm hỗ trợ khai phá và ẩn tập mục nhạy cảm tích hợp thuật toán IEHSHUI: Động từ "phát triển", mục tiêu nâng cao hiệu quả khai phá dữ liệu bảo vệ tính riêng tư, thời gian 1 năm, chủ thể là các công ty công nghệ phần mềm.

3. Đào tạo nhân sự về kỹ thuật khai phá dữ liệu bảo vệ tính riêng tư: Động từ "tổ chức", mục tiêu nâng cao năng lực phân tích dữ liệu và bảo mật thông tin, thời gian 3 tháng, chủ thể là các tổ chức đào tạo và doanh nghiệp.

4. Tiếp tục nghiên cứu cải tiến thuật toán để xử lý dữ liệu đa chiều và dữ liệu thời gian thực: Động từ "nghiên cứu", mục tiêu mở rộng phạm vi ứng dụng và nâng cao hiệu suất, thời gian 2 năm, chủ thể là các viện nghiên cứu và trường đại học.

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu và sinh viên ngành khoa học dữ liệu, khai phá dữ liệu: Giúp hiểu sâu về các thuật toán khai phá tập mục có độ hữu ích cao và bảo vệ tính riêng tư trong dữ liệu giao tác.

2. Doanh nghiệp bán lẻ, siêu thị và các tổ chức tài chính: Áp dụng các phương pháp bảo vệ dữ liệu nhạy cảm trong khai phá dữ liệu để tối ưu hóa chiến lược kinh doanh và bảo mật thông tin khách hàng.

3. Chuyên gia phát triển phần mềm và kỹ sư dữ liệu: Tham khảo để phát triển các công cụ khai phá dữ liệu tích hợp bảo vệ tính riêng tư, nâng cao hiệu quả xử lý dữ liệu lớn.

4. Cơ quan quản lý và chính sách về bảo mật dữ liệu: Sử dụng luận văn làm cơ sở khoa học để xây dựng các quy định và hướng dẫn về bảo vệ dữ liệu cá nhân trong khai phá dữ liệu.

Câu hỏi thường gặp

1. Phương pháp ẩn tập mục nhạy cảm là gì?
   Phương pháp này sửa đổi cơ sở dữ liệu giao tác bằng cách giảm số lượng hoặc loại bỏ các mục trong giao tác để độ hữu ích của tập mục nhạy cảm giảm xuống dưới ngưỡng tối thiểu, bảo vệ thông tin nhạy cảm không bị khai phá.

2. Thuật toán IEHSHUI có ưu điểm gì so với EHSHUI?
   IEHSHUI cho phép sửa đổi nhiều giao tác cùng lúc dựa trên hệ số điều chỉnh α, giảm số lần quét dữ liệu, tăng tốc độ xử lý và giảm hiệu ứng phụ như ẩn nhầm tập mục không nhạy cảm.

3. Làm thế nào để xác định tập mục nhạy cảm cần ẩn?
   Tập mục nhạy cảm được xác định dựa trên yêu cầu người dùng hoặc doanh nghiệp, thường là các tập mục có độ hữu ích cao chứa thông tin nhạy cảm cần bảo vệ.

4. Thuật toán IEHSHUI áp dụng cho loại dữ liệu nào?
   Thuật toán áp dụng cho cơ sở dữ liệu giao tác lớn, có thể là dữ liệu bán hàng, truy cập web hoặc các giao tác tài chính, nơi mỗi giao tác chứa nhiều mục với số lượng và lợi nhuận khác nhau.

5. Có thể áp dụng thuật toán này trong thời gian thực không?
   Hiện tại, thuật toán chủ yếu áp dụng cho dữ liệu tĩnh hoặc dữ liệu cập nhật theo lô. Nghiên cứu tiếp theo hướng tới cải tiến để xử lý dữ liệu thời gian thực hiệu quả hơn.

Kết luận

• Đã đề xuất thuật toán IEHSHUI cải tiến từ EHSHUI nhằm ẩn tập mục có độ hữu ích cao nhạy cảm hiệu quả hơn.
• Thuật toán giảm thiểu hiệu ứng phụ, ẩn nhầm tập mục không nhạy cảm và giữ nguyên tính toàn vẹn dữ liệu.
• Kết quả thực nghiệm trên bộ dữ liệu Chess và Mushroom cho thấy IEHSHUI vượt trội về thời gian thực thi và sử dụng bộ nhớ.
• Thuật toán cho phép sửa đổi nhiều giao tác cùng lúc, giảm số lần quét cơ sở dữ liệu.
• Hướng phát triển tiếp theo là mở rộng ứng dụng cho dữ liệu đa chiều và dữ liệu thời gian thực, đồng thời so sánh với các thuật toán mới khác.

Luận văn kêu gọi các nhà nghiên cứu và doanh nghiệp tiếp tục ứng dụng và phát triển các phương pháp bảo vệ tính riêng tư trong khai phá dữ liệu để đáp ứng nhu cầu ngày càng cao về bảo mật và hiệu quả kinh doanh.

Trích đoạn nội dung tài liệu

HàC VIÆN CÔNG NGHÆ B¯U CHÍNH VIÄN THÔNG Đặng Thß Kim Trang PH¯¡NG PHÁP ÆN CÁC TÀP MĀC CÓ Đà HĀU ÍCH CAO TRONG C¡ Sæ DĀ LIÆU GIAO TÁC LâN LUÀN VN TH¾C S) KỸ THUÀT (Theo đßnh h°ãng ứng dāng) TP.Hà CHÍ MINH – NM 2022 HàC VIÆN CÔNG NGHÆ B¯U CHÍNH VIÄN THÔNG Đặng Thß Kim Trang PH¯¡NG PHÁP ÆN CÁC TÀP MĀC CÓ Đà HĀU ÍCH CAO TRONG C¡ Sæ DĀ LIÆU GIAO TÁC LâN Chuyên ngành: HÇ thßng thông tin Mã sß: 8.04 LUÀN VN TH¾C S) KỸ THUÀT (Theo đßnh h°ãng ứng dāng) NG¯âI H¯àNG DÂN KHOA HàC: TS. NGUYÄN KHÂC CHI¾N TP.Hà CHÍ MINH - NM 2022 i LäI CAM ĐOAN Tôi cam đoan luận văn: <Phương pháp ẩn các tập mục có độ hữu ích cao trong cơ sở dữ liệu giao tác lớn= là công trình nghiên cứu của chính tôi. Các số liệu đ°ợc sử dụng trong luận văn là trung thực và chính xác. Ngoài những nßi dung nghiên cứu của luận văn, các vấn đề đ°ợc trình bày đều là những tìm hiểu và nghiên cứu của tôi hoặc là đ°ợc trích dÃn từ các nguồn tài liệu có ghi tham khảo rõ ràng, hợp pháp.

Trong luận văn, tôi có tham khảo mßt số tài liệu của mßt số tác giả đ°ợc liệt kê tại danh mục tài liệu tham khảo.HCM, Ngày 04 tháng 5 năm 2022 Hác viên thăc hiÇn luÁn vn Đặng Thß Kim Trang ii LäI CÀM ¡N Tôi chân thành cảm ¡n TS. NguyÅn KhÃc Chi¿n – Giảng viên của Tr°ãng Đại hác Cảnh sát Nhân dân, Th¿y đã chỉ bảo và h°áng dÃn tận tình cho tôi trong suốt quá trình nghiên cứu khoa hác và thực hiện luận văn. Đồng thãi, tôi xin cảm ¡n sự giúp đỡ, tạo điều kiện và khuyến khích tôi trong quá trình nghiên cứu và hác tập của các Th¿y, Cô giáo của Hác Viện Công nghệ B°u chính viễn thông c¡ sở tại TP. Vì thãi gian có hạn và kiến thức còn hạn hẹp, nên luận văn khó tránh khỏi những thiếu sót, rất mong nhận đ°ợc ý kiến đóng góp của quý Th¿y Cô, Anh Chß và các Bạn.

Xin chân thành cảm ¡n! TP.HCM, Ngày 04 tháng 5 năm 2022 Hác viên thăc hiÇn luÁn vn Đặng Thß Kim Trang iii MĀC LĀC LäI CAM ĐOAN. iii DANH MĀC CÁC THUÀT NGĀ, CHĀ VI¾T TÂT. v DANH SÁCH BÀNG. vi DANH SÁCH HÌNH VẼ.

Lý do chán đề tài. Mục tiêu nghiên cứu. Tổng quan nghiên cứu của đề tài. Đối t°ợng, phạm vi nghiên cứu.

Đóng góp của đề tài. 3 CH¯¡NG 1: C¡ Sæ LÝ THUY¾T. Tập mục phổ biến và khai phá tập phổ biến truyền thống. Tập mục phổ biến.

Khám phá tri thức và khai thác dữ liệu. Khai phá tập phổ biến truyền thống. Tập mục đß hữu ích cao và bài toán khai phá tập mục đß hữu ích cao. Mßt số thuật toán khai phá tập mục đß hữu ích cao.

Kết luận Ch°¡ng 1. 15 CH¯¡NG 2: MàT SÞ PH¯¡NG PHÁP ÆN TÀP MĀC Đà HĀU ÍCH CAO. Mßt số khái niệm c¡ bản. Mßt số công trình liên quan.

Ph°¡ng pháp Án tập mục đß hữu ích cao nhạy cảm. Kết luận Ch°¡ng 2. 26 CH¯¡NG 3: ĐÀ XUÂT PH¯¡NG PHÁP ÆN TÀP MĀC Đà HĀU ÍCH CAO. C¡ sở để đề xuất thuật toán.

Thuật toán đề xuất. Kết luận Ch°¡ng 3. 34 CH¯¡NG 4: THĂC NGHIÆM VÀ ĐÁNH GIÁ. Môi tr°ãng thực nghiệm và dữ liệu sử dụng.

Kết quả thực nghiệm. Kết luận Ch°¡ng 4. 38 DANH MĀC TÀI LIÆU THAM KHÀO. 41 v DANH MĀC CÁC THUÀT NGĀ, CHĀ VI¾T TÂT Vi¿t tÃt Ti¿ng Anh Ti¿ng ViÇt CSDL Database C¡ sở dữ liệu eu External Utility Đß hữu ích bên ngoài (lợi nhuận) iu Internal Utility Đß hữu ích bên trong (số l°ợng) HUI High Utility Itemset Tập mục có đß hữu ích cao WFI Weighted Frequent Itemset Tập phổ biến có tráng số HUIM High Utility Itemset Mining Khai thác tập mục đß hữu ích cao PPDM Privacy Preserving Data Khai thác dữ liệu bảo vệ tính Mining riêng t° PPUIM Privacy Preserving Utility Khai thác tập mục có đß hữu ích itemset Mining cao đ°ợc bảo vệ tính riêng t° SHUI Sensitive High Utility Tập mục có đß hữu ích cao nhạy Itemset cảm NSHUI Non Sensitive High Utility Tập mục có đß hữu ích cao không Itemset nhạy cảm HF Hiding Failure Àn thất bại MC Missing Cost Chi phí lỗi/Án nh¿m ST Sensitive Transaction Giao tác nhạy cảm minutil Minimal utility threshold Ng°ỡng đß hữu ích tối thiểu EHSHUI An efficient algorithm for Mßt thuật toán hiệu quả để Án tập hiding sensitive high utility mục tiện ích cao nhạy cảm itemset IEHSHUI An improved algorithm for Mßt thuật toán cải tiến để Án các hiding sensitive high utility tập mục có đß hữu ích cao nhạy itemsets cảm vi DANH SÁCH BÀNG Bảng 1.

C¡ sở dữ liệu giao tác (Biểu diễn dạng ngang). C¡ sở dữ liệu giao tác (Biểu diễn dạng dác). C¡ sở dữ liệu giao tác (Biểu diễn dạng ma trận). Bảng c¡ sở dữ liệu.

Lác mục đß hỗ trợ g 3. Kết hợp các mục từ 1. Lác mục đß hỗ trợ g 3. Kết hợp các mục từ 1.

C¡ sở dữ liệu giao tác. Bảng lợi nhuận. Bảng I-List thuật toán EHSHUI. Bảng HUI-Table thuật toán EHSHUI.

Bảng T-Table thuật toán EHSHUI. Bảng CSDL chiếu trên S1. Cập nhật lại HUI-Table (l¿n 1). Cập nhật lại T-Table (l¿n 1).

Bảng CSDL chiếu trên S2. Cập nhật lại HUI-Table (l¿n 2). Cập nhật lại T-Table (l¿n 2). C¡ sở dữ liệu dùng cho thực nghiệm.

35 vii DANH SÁCH HÌNH VẼ Hình 2. Quá trình sửa đổi c¡ sở dữ liệu. So sánh thãi gian thực hiện trên tập dữ liệu Chess. So sánh thãi gian thực hiện trên tập dữ liệu Mushroom.

So sánh việc sử dụng bß nhá trên tập dữ liệu Chess. So sánh việc sử dụng bß nhá trên tập dữ liệu Mushroom. Lý do chán đÁ tài Hiện nay, trong lĩnh vực kinh doanh việc tính toán doanh số và tối °u hóa lợi nhuận bán hàng là công việc cực kỳ quan tráng, nó ảnh h°ởng trực tiếp đến doanh thu và chiến l°ợc bán hàng của các công ty, siêu thß hay các đ¡n vß bán lẻ. Đặc biệt, vái số l°ợng hàng hóa lán, giá cả khác nhau, nên việc tính toán lợi nhuận tối °u bán hàng càng quan tráng.

Vái số l°ợng giao tác mỗi giã có thể lên đến hàng chục nghìn giao tác, việc tính toán xem mặt hàng nào đem lại doanh số cao, mặt hàng nào kinh doanh không hiệu quả dù bán vái số l°ợng lán càng trở nên khó khăn do dữ liệu quá lán, liên tục. Khai phá tập phổ biến th°ãng đ°ợc mô tả là mßt quá trình lấy thông tin có giá trß từ c¡ sở dữ liệu lán, nó bắt nguồn từ dạng mÃu có sẵn tồn tại trong c¡ sở dữ liệu, các mÃu này có khuynh h°áng gom nhóm lại vái nhau và đ°ợc đßnh nghĩa nh° là mßt mô hình khai thác. Khai phá tập mục đß hữu ích cao là mßt mở rßng của bài toán khai phá tập phổ biến, đã đ°ợc nhiều tác giả quan tâm vái mục đích đánh giá ý nghĩa của các tập mục trong khai phá luật kết hợp. Để khai phá tập mục có đß hữu ích cao, mßt giá trß đ°ợc sử dụng đó là lợi nhuận của tập mục (Itemset), chẳng hạn tổng lợi nhuận mà doanh nghiệp thu đ°ợc nếu bán tập mục ấy trong giao tác.

Khác vái khai phá tập phổ biến, đß hữu ích của tập mục không thỏa tính chất bao đóng giảm nên đß phức tạp của bài toán cao. Ngoài ra, trong hợp tác kinh doanh việc muốn chia sẽ c¡ sở dữ liệu vái nhau để cùng có lợi, nh°ng mang lại nhiều rủi ro để lß ra các thông tin nhạy cảm nh°: số đßnh danh cá nhân, số tài khoản ngân hàng,… Để giải quyết vấn đề này, các tri thức nhạy cảm có thể đ°ợc Án bằng cách chuyển đổi c¡ sở dữ liệu ban đ¿u thành c¡ sở dữ liệu đ°ợc sửa đổi theo mßt số chiến l°ợc cụ thể và quá trình Án đó đ°ợc gái là làm sạch dữ liệu. 2 Bên cạnh đó, những năm g¿n đây, khai phá dữ liệu bảo vệ tính riêng t° đã trở thành h°áng nghiên cứu quan tráng. Trong ph¿n luận văn này, tôi xin tập trung nghiên cứu bài toán khai phá các tập mục có đß hữu ích cao đ°ợc bảo vệ tính riêng t° (PPUIM - Privacy Preserving Utility itemset Mining) để Án các tập mục có đß hữu ích cao nhạy cảm trong c¡ sở dữ liệu giao tác có kích th°ác lán.

Mßt trong những vấn đề đặt ra khi giải quyết bài toán này là làm giảm các hiệu ứng phụ nh°: Án nh¿m các tập mục có đß hữu ích cao không nhạy cảm, sự khác nhau giữa CSDL ban đ¿u và CSDL sau khi sửa đổi,… Vì thế, luận văn sẽ tập trung nghiên cứu thuật toán Án các tập mục có đß hữu ích cao nhạy cảm và đề xuất ph°¡ng pháp Án các tập mục có đß hữu ích cao nhạy cảm hiệu quả h¡n nhằm giảm thiểu các hiệu ứng phụ. Māc tiêu nghiên cứu Nghiên cứu các ph°¡ng pháp Án tập mục đß hữu ích cao nhạy cảm hiện có dựa trên các công trình đã công bố g¿n đây. Tìm hiểu những °u điểm và hạn chế của các ph°¡ng pháp Án từ đó đề xuất ph°¡ng pháp Án hiệu quả h¡n. Tìm hiểu các thông số đánh giá tính hiệu quả của các ph°¡ng pháp Án tập mục có đß hữu ích cao nhạy cảm.

Tiến hành cài đặt thử nghiệm ph°¡ng pháp đề xuất, đánh giá dựa trên các thông số, so sánh vái các ph°¡ng pháp Án hiện có. Tổng quan nghiên cứu của đÁ tài Bài toán Án các tập mục đß hữu ích cao nhạy cảm đang là chủ đề đ°ợc nhiều nhà nghiên cứu quan tâm. Mục tiêu của bài toán là bảo vệ các thông tin nhạy cảm không thể khai phá đ°ợc bằng các ph°¡ng pháp khai phá tập mục có đß hữu ích cao vái cùng mßt ng°ỡng đß hữu ích tối thiểu do ng°ãi dùng quy đßnh. Đồng thãi, các ph°¡ng pháp Án tập mục có đß hữu ích cao nhạy cảm làm giảm thiểu các hiệu ứng phụ trên các thông tin không nhạy cảm và tính toàn vẹn của c¡ sở dữ liệu ban đ¿u.

3 Hiện đã có mßt số ph°¡ng pháp Án hiệu quả để giải quyết vấn đề này, tuy nhiên những ph°¡ng pháp này vÃn còn tạo ra các hiệu ứng phụ không mong muốn. Đề tài đề xuất ph°¡ng pháp Án mßt cách phù hợp, để Án các tập mục có đß hữu ích cao nhạy cảm mßt cách hiệu quả, làm giảm thiểu các hiệu ứng phụ trên các thông tin không nhạy cảm.