HàC VIÆN CÔNG NGHÆ B¯U CHÍNH VIÄN THÔNG Tô Phú Kh°¢ng NGHIÊN CĄU PH¯¡NG PHÁP ÆN CÁC TÊP MĀC CÓ Đà HĂU ÍCH TRUNG BÌNH CAO NH¾Y CÀM TRONG C¡ Sæ DĂ LIÆU GIAO TÁC ĐÀ ÁN TH¾C S) KĀ THUÊT (Theo đßnh h°ãng ąng dāng) TP.Hà CHÍ MINH – NĂM 2023 ii HàC VIÆN CÔNG NGHÆ B¯U CHÍNH VIÄN THÔNG Tô Phú Kh°¢ng NGHIÊN CĄU PH¯¡NG PHÁP ÆN CÁC TÊP MĀC CÓ Đà HĂU ÍCH TRUNG BÌNH CAO NH¾Y CÀM TRONG C¡ Sæ DĂ LIÆU GIAO TÁC Chuyên ngành: HÇ thßng thông tin Mã sß: 8.04 ĐÀ ÁN TH¾C S) KĀ THUÊT (Theo đßnh h°ãng ąng dāng) NG¯äI H¯âNG DÂN KHOA HàC: TS. NGUYÄN KHÌC CHI¾N TP.Hà CHÍ MINH - NĂM 2023 i LäI CAM ĐOAN Tôi cam đoan đÁ án: <Nghiên cÿu phương pháp ẩn các tập mục có độ hữu ích trung bình cao nhạy cảm trong cơ sở dữ liệu giao tác= là công trình nghiên cąu căa chính tôi. Các số liáu đ°ÿc sÿ dāng trong đÁ án là trung thực và chính xác. Ngoài nhāng nái dung nghiên cąu căa đÁ án, các vấn đÁ đ°ÿc trình bày đÁu là nhāng tìm hiểu và nghiên cąu căa tôi hoặc là đ°ÿc trích dÃn từ các nguồn tài liáu có ghi tham khÁo rõ ràng, hÿp pháp.
Trong đÁ án, tôi có tham khÁo mát số tài liáu căa mát số tác giÁ đ°ÿc liát kê t¿i danh māc tài liáu tham khÁo.HCM, Ngày 12 tháng 10 năm 2023 Hác viên thực hiÇn đÁ án Tô Phú Kh°¢ng ii LäI CÀM ¡N Trong suốt quá trình hác tÅp và nghiên cąu thực hián đÁ án tốt nghiáp th¿c s*, ngoài nß lực căa bÁn thân, tôi đã nhÅn đ°ÿc sự h°ãng dÃn nhiát tình quý báu căa quý Th¿y Cô, cùng vãi sự đáng viên và ăng há căa gia đình, b¿n bè và đồng nghiáp. Vãi lòng kính tráng và bi¿t ¡n sâu sắc, tôi xin gÿi låi cÁm ¡n chân thành tãi: ThÅy TS. NguyÅn KhÍc Chi¿n, ng°åi th¿y kính yêu đã h¿t lòng giúp đỡ, h°ãng dÃn, đáng viên, t¿o điÁu kián cho tôi trong suốt quá trình thực hián và hoàn thành đÁ án tốt nghiáp th¿c s*. Ban Giám đốc, Phòng Đào t¿o sau đ¿i hác và quý Th¿y Cô đã t¿o mái điÁu kián thuÅn lÿi giúp tôi hoàn thành đÁ án.
Tôi xin chân thành cÁm ¡n gia đình, b¿n bè, đồng nghiáp trong c¡ quan đã đáng viên. Hß trÿ tôi trong lúc khó khăn để tôi có thể hác tÅp và hoàn thành đÁ án. Mặc dù đã có nhiÁu cố gắng, nß lực, nh°ng do thåi gian và kinh nghiám nghiên cąu khoa hác còn h¿n ch¿ nên không thể tránh khỏi nhāng thi¿u sót. Tôi rất mong nhÅn đ°ÿc sự góp ý căa quý Th¿y Cô cùng b¿n bè đồng nghiáp để ki¿n thąc căa tôi ngày mát hoàn thián h¡n.
Xin chân thành cÁm ¡n! TP.HCM, Ngày 12 tháng 10 năm 2023 Hác viên thực hiÇn đÁ án Tô Phú Kh°¢ng iii MĀC LĀC LäI CAM ĐOAN. iii DANH MĀC CÁC THUÊT NGĂ, CHĂ VI¾T TÌT. v DANH SÁCH BÀNG .vii DANH SÁCH HÌNH VẼ. Lý do chán đÁ tài.
Tổng quan vÁ vấn đÁ nghiên cąu. Māc tiêu nghiên cąu căa đÁ tài. Đối t°ÿng nghiên cąu. Nhāng nái dung chính y¿u c¿n nghiên cąu .6 CH¯¡NG 1: MàT SÞ VÂN ĐÀ LIÊN QUAN Đ¾N TÊP MĀC CÓ Đà HĂU ÍCH TRUNG BÌNH CAO.
Các khái niám liên quan đ¿n khai thác tÅp māc có đá hāu ích trung bình cao 8 1. Khai phá tri thāc và khai thác dữ liệu. Các b°ãc chính căa quá trình khai phá dā liáu. Ki¿n trúc mát há thống khai phá dā liáu.
Ąng dāng căa khai phá dā liáu. Khai phá tập mục độ hữu ích trung bình cao. Āng dụng khai thác tập mục độ hữu ích trung bình cao. Phương pháp khai phá tập mục hữu ích trung bình cao.
Bài toán Án tÅp māc có đá hāu ích trung bình cao. Mát số thuÅt toán khai phá tÅp māc đá hāu ích trung bình cao. K¿t luÅn Ch°¡ng 1 .23 CH¯¡NG 2: PH¯¡NG PHÁP ÆN TÊP MĀC CÓ Đà HĂU ÍCH TRUNG BÌNH CAO NH¾Y CÀM. Ph°¡ng pháp khai thác tÅp māc có đá hāu ích trung bình cao nh¿y cÁm.
Ph°¡ng pháp Án các tÅp māc có đá hāu ích trung bình cao nh¿y cÁm. ¯u điểm và h¿n ch¿ căa các ph°¡ng pháp. K¿t luÅn Ch°¡ng 2 .40 CH¯¡NG 3: ĐÀ XUÂT PH¯¡NG PHÁP HIÆU QUÀ Đ ÆN TÊP MĀC CÓ Đà HĂU ÍCH TRUNG BÌNH CAO NH¾Y CÀM. Mát số thông số dùng để đánh giá tính hiáu quÁ căa ph°¡ng pháp Án các tÅp māc có đá hāu ích trung bình cao nh¿y cÁm.
Xác định giá trị hữu ích tối thiểu cần giảm hay xóa mục:. Xác định mục mục tiêu và hệ số :. ĐÁ xuất ph°¡ng pháp Án tÅp phổ bi¿n có đá hāu ích trung bình cao nh¿y cÁm hiáu quÁ. K¿t luÅn Ch°¡ng 3 .50 CH¯¡NG 4: THĀ NGHIÆM VÀ ĐÁNH GIÁ.
Môi tr°ång thực nghiám và dā liáu sÿ dāng. K¿t quÁ thực nghiám. Thời gian thực thi. K¿t luÅn Ch°¡ng 4.56 K¾T LUÊN VÀ H¯âNG PHÁT TRIÂN.
57 DANH MĀC TÀI LIÆU THAM KHÀO. 58 v DANH MĀC CÁC THUÊT NGĂ, CHĂ VI¾T TÌT Vi¿t tÍt Ti¿ng Anh Ti¿ng ViÇt CSDL Database C¡ sở dā liáu DIF Difference Sự khác biát Database Structure Tỷ lá t°¡ng đồng vÁ cấu trúc căa CSDL DSS Similarity. sÿa đổi D' so vãi CSDL gốc D. Tỷ lá t°¡ng đồng vÁ hāu ích giāa DUS Database utility similarity CSDL D' vãi CSDL D High Average Utility HAUI TÅp māc hāu ích trung bình cao Itemset High Average Utility Khai thác tÅp māc có đá hāu ích HAUIM Itemset Mining trung bình cao Tỷ lá tÅp māc hāu ích trung bình HF Hiding Failure cao nh¿y cÁm không Án đ°ÿc Tỷ lá t°¡ng đồng vÁ hāu ích trung bình căa tÅp các HAUIs trong CSDL IUS Itemsets Utility Similarity sÿa đổi D' so vãi tÅp các HAUIs trong CSDL gốc D Knowledge Discovery KDD Phát hián tri thąc từ CSDL in Databases KPDL Data Mining Khai phá dā liáu Tỷ lá tÅp māc hāu ích trung bình MC Miss Cost cao không nh¿y cÁm bß mất Privacy Preserving BÁo vá tính riêng t° trong khai phá PPAUIM Average Utility Itemset tÅp māc hāu ích trung bình cao Mining Privacy Preserving Data Khai phá dā liáu bÁo vá quyÁn PPDM Mining riêng t° vi Quantitative QTDB C¡ sở dā liáu giao tác đßnh l°ÿng Transaction Database Sensitive High Average TÅp māc hāu ích trung bình cao SHAUI Utility Itemset nh¿y cÁm vii DANH SÁCH BÀNG BÁng 1.1: C¡ sở dā liáu giao tác (biểu dián d¿ng ngang) .2: C¡ sở dā liáu giao tác (biểu dißn d¿ng dác) .3: C¡ sở dā liáu giao tác (biểu dißn d¿ng ma trÅn).5: Giá trß lÿi nhuÅn căa CSDL D .6: TÅp māc hāu ích trung bình cao HAUIs .1: Xác đßnh tÅp ST chąa giao tác hß trÿ S1 .3: TÅp māc hāu ích trung bình cao .4: Xác đßnh tÅp ST chąa giao tác hß trÿ S2 .6: TÅp māc hāu ích trung bình cao .7: Xác đßnh tÅp ST chąa giao tác hß trÿ S3 .9: TÅp māc hāu ích trung bình cao .2: Xác đßnh tÅp ST chąa giao tác hß trÿ S1 .4: TÅp māc hāu ích trung bình cao .5: Xác đßnh tÅp ST chąa giao tác hß trÿ S2 .7: TÅp māc hāu ích trung bình cao .1: C¡ sở dā liáu dùng cho thực nghiám.
51 viii DANH SÁCH HÌNH VẼ Hình 1.1: Khai thác dā liáu là mát b°ãc trong quá trình khám phá tri thąc .2: Ki¿n trúc há thống khai thác dā liáu. Quy trình PPUM chung. Mối quan há giāa các tÅp māc tr°ãc và sau quá trình PPDM. TÅp hÿp các tÅp māc nh¿y cÁm mà quy trình PPDM không Án đ°ÿc.
Mising cost do quy trình làm s¿ch. Artificial cost phát sinh từ quy trình PPDM .1: K¿t quÁ so sánh thåi gian thực thi căa hai thuÅt toán .2: DSS Tỷ lá t°¡ng đồng vÁ cấu trúc dā liáu khi thực hián Án .3: DUS Tỷ lá t°¡ng đồng vÁ giá trß hāu ích căa CSDL khi thực hián Án .4: IUS Tỷ lá t°¡ng đồng vÁ giá trß hāu ích trung bình căa tÅp SHAUIs giāa CSDL gốc D và CSDL sÿa đổi D' khi thực hián Án. Lý do chán đÁ tài Bài toán khai thác tÅp māc có đá hāu ích cao trong c¡ sở dā liáu (CSDL) giao tác đã trở thành mát vấn đÁ quan tráng trong nhāng thÅp kỷ g¿n đây. Trong khai thác tÅp māc có đá hāu ích cao truyÁn thống, đá hāu ích căa mát tÅp māc đ°ÿc đßnh ngh*a là tổng các hāu ích căa các māc căa nó, trong các giao tác mà nó xuất hián.
Mát vấn đÁ quan tráng vãi đßnh ngh*a này là nó không tính đ¿n đá dài căa tÅp māc. Bởi vì đá hāu ích căa tÅp māc lãn th°ång lãn h¡n đá hāu ích căa tÅp māc nhỏ, thuÅt toán khai thác tÅp māc có đá hāu ích cao truyÁn thống có xu h°ãng thiên vÁ viác tìm ki¿m mát tÅp hÿp các tÅp māc lãn. Vì vÅy, đßnh ngh*a này không phÁi là mát phép đo hÿp lý vÁ đá hāu ích. Để cung cấp mát đánh giá tốt h¡n vÁ đá hāu ích căa từng tÅp māc, bài toán khai thác tÅp māc đá hāu ích trung bình cao đã đ°ÿc đÁ xuất.
Nó giãi thiáu phép đo đá hāu ích trung bình, xem xét cÁ đá dài căa tÅp māc và đá hāu ích căa chúng, và do đó phù hÿp h¡n trong các tình huống thực t¿. Khai thác tÅp māc có đá hāu ích trung bình cao (HAUIM) bao gồm phân tích c¡ sở dā liáu giao tác đßnh l°ÿng căa khách hàng để xác đßnh các tÅp māc đá hāu ích trung bình cao, đó là tÅp hÿp các māc có đá hāu ích trung bình cao (ví dā: Lÿi nhuÅn). NhiÁu thuÅt toán đã đ°ÿc thi¿t k¿ để nhÅn d¿ng cái mãi, hāu ích và nhāng mÃu bất ngå trong dā liáu, có thể giúp hiểu dā liáu, hß trÿ ra quy¿t đßnh và cung cấp thông tin chi ti¿t vÁ sở thích căa ng°åi dùng. Tuy nhiên, mát vấn đÁ chính là tri thąc đ°ÿc phát hián bởi các kỹ thuÅt này cũng có thể ti¿t lá thông tin riêng t°, nh¿y cÁm hoặc thông tin chi¿n l°ÿc nh° thông tin thẻ tín dāng, các mÃu mua hàng từ các cá nhân và số nhÅn d¿ng cá nhân.
Do đó, các cá nhân có thể phÁi đối mặt vãi các mối đe dáa vÁ quyÁn riêng t° và dā liáu căa há có thể bß l¿m dāng. ĐiÁu quan tráng nāa là bÁo vá thông tin riêng t° và nh¿y cÁm căa các doanh nghiáp mang l¿i cho há lÿi th¿ chi¿n l°ÿc so vãi đối thă c¿nh tranh cũng nh° bÁo vá quyÁn riêng t° căa nhân viên và khách hàng căa há. Chẳng h¿n, n¿u mát công ty công khai dā liáu hoặc chia sẻ dā liáu vãi các cáng tác viên, thì có nguy c¡ mát số thông tin nh¿y cÁm có thể bß trích xuất từ đó 2 bằng thuÅt toán khai phá dā liáu.