ĐẠI hỌc QUỐC GIA hÀ HỘI TTG|ỜHG ĐẠI hỌc cÔIIG IGhỆ TIGUYETI KhAc GIAO KhAI ThAc LUAT KET hOP TU cO SO DU LIEU GIAO Dich cỦA SIÊU ThỊ bÁN LẺ LUẬN VĂN ThẠc SĨ cÔIG HIGhỆ ThÔIIG TII hà Hội - 2013 ĐẠI hỌc QUỐC GIA hÀ HỘI TTG|ỜHG ĐẠI hỌc cÔIIG IGhỆ HGUYVẼH Khắc GIÁO KhAI ThAc LUAT KET hOP TU cO SO DU LIEU GIAO Dich cUA SIEU ThI bATI LE Ilgành: công nghệ thông tin chuyên ngành: hệ thống thông lin Mã số: 60 48 05 LUẬN VĂN ThẠc SĨ cÔIG HIGhỆ ThÔIIG TII HGGIỜI h0JỚIIG DÃII Kh0A hỌc: GS.TS Vũ Đức Thi hà Hội - 2013 LỜI cẢM ƠI Tôi xin sày lỏ lòng siết ơn sâu sắc đến: - GS.TS Vũ Đức Thị - Viện công nghệ thông 1n, Viện hàn lâm Kh0a học và công nghệ Việt Ilam, ngojời thày đã lận lình hoJớng dẫn, chỉ sả0 lôi h0àn thành lốt luận văn này. - các thày cô giá0 Kh0a công nghệ thong tin - Trojong Dai hoc cong nghệ đã lận lâm giảng dạy, truyền đạt ch0 lôi những kiến thức, phơ|ơng pháp nghiên cứu lr0ng suốt hai năm học. - các thày cô, các anh chị lại viện công nghệ thông in, Viện hàn lâm Kh0a học và công nghệ Việt Ilam đã giúp đỡ lôi rất nhiều lr0ng quá trình nghiên cứu. cuối còng xin cảm ơn gia đình và sạn sè đã giúp đỡ động viên, †ạ0 điều kiện Thuận lợi ch0 lôi trOng suốt thời gian nghiên cứu.
hà Ilội, tháng 9 năm 2013 Hguyễn Khắc Giá0 4 LỜI cAM Đ0AH Tôi xin cam đ0an luận văn "Khai thác luật kết hợp lừ cơ sở dữ liệu gia0 dịch của siêu thị pán 1é" này là công lrình nghiên cứu của lôi dojới sự hơjớng dẫn kh0a học của GS.TS Vii Duc Thi. các số liệu, kết quả tham khả0 lr0ng luận văn là chính xác và dojoc trich dẫn đầy đủ tr0ng các lài liệu tham khả0. Phần ứng dụng thực Hễn d0 cá nhân lôi tự thực hiện. Tôi xin chịu trách nhiệm về luận văn của mình.
Hguyễn Khắc Giá0 MUc LUc IBnis0i0 sai.11E 11 111110111 1 TT g1 rêu 8 chG|OlG 1. TONG QUATI VE KhAI PhA DU LIỆU. Hhu cầu của khai phá đữ liệu 1. Định nghĩa khai phá dữ liệu 1.
các ứng dụng của khai phá dữ lIỆU. các bơjớc của quá lrìùnh khai phá dữ liỆu. Kiến trúc của một hệ thống khai phá dữ liệu. Kiểu đữ liệu tr0ng khai phá đữ liệu.------ 22 ©s+2cse2cz+scssesrez 18 1.
các bài l0án khai phá dữ liệu điển hình. Mô $8 Bndi WG csccssssesssesssseessessseesssesssecsseessscceseessssesseesseens 19 1. Quart H k6t BOP vesceccessesssesssesssesssessesssesseessessuessesssessessesnessvssseesseenee 20 1. M6 hinh hoa sự phục thuộc (dependency m0deling).
Phát hiện sự siến đổi và độ lệch (change and đeviali0n delecH0n)21 1. Lợi thế của khai phá dữ liệu s0 với các pho|ơng pháp cơ sản. PhoJơng pháp hệ chuyÊN g1a. Phát kiến kh0a học.-- 2:22 ©2S922Et2EEtE2EEEEEEEEEAeSEErerrrerrei 23 1.
PhoJơng pháp thống kê. Thách thức †r0ng ứng dụng và nghiên cứu kỹ thuật khai phá dữ liệu. Một số vấn đề lkhác.------2++Sx ExE1E1EE11171211E11111. Tình hình ứng dụng khai phá dữ liệu.-- 5 5+ <s£s++xss 27 6 chG|OHG 2.
KhAI PhA DỮ LIỆU bÀIIG LUẬT KÉT hỢP. Một số khái niệm. Tập phổ biẾN. Luậ† kết hợpp.
Phát siểu sài 10án lìm luật kết hợp. Một số hojớng liếp cận †r0ng khai phá luật kết hợp. Mội số thuật 10án phát hiện luật kết hợp. Thuật †Öán Apri(Ti.
Thuật 10án FP-Gr(wlh.- 2-2222 E2EE2211E221122122211 212cc, 40 chd|ƠIIG 3. TÌM LUẬT KÉT hỢP TT0HG cƠ SỞ DỮ LIỆU GIAO Dich cUA SIÊU THỊ bÁTH LẺ.---2-2¿ + +£+EEE+2EE£SEEE2EEE22EE22EEEEEEEEEEEEEEkEvrrkrrrrerres 50 3. bài l0án tìm luật kết hợp †r0ng cơ sở dữ liệu gia0 dịch của siêu thi sán lẻ 3. Giới thiệu bài l0án 3.
Thuật 104n khai pha tap muc cé phan ca0 AFSM — Advanced Fast Share MeasSUTF€) .- --- 13 1H HH HH nh HH. Xây dung chojong trình khai phá luật kết hợp lr0ng cơ sở đữ liệu gia0 0a 8aii. Dữ liệu đầu và0. Gia0 diện chơJơng ÌTÌIH.
Thử nghiệm choJơIng †rÌNh. 2-2-2 +SE£EE9EEESEEE2E15711211211271211E11E111T111 1E. crrg 70 Kết quả Gat ƠJỢC.- Ghi ng HH 70 hơlớng nghiên cứu liếp †hhe0.-- 22 22 2£ 2S+SEE2ESE£EEEtSExevEEesrrsecree 70 TÀI LIỆU ThAM KhẢO.--2222s2222S22+E2EEEE11E221111111271212E121221eeccrrrt 72 Danh mục hình vẽ hình 1. Tiến hóa công nghệ cơ sở đữ liệu.
Quá trình phát hiện tri thức tr0ng cSDL. Quy trình phát hiện †r1 Thức. -ó- + ss*s2essvesrse 15 hình 1. Kiến trúc điển hình của hệ thống khai phá đữ liệu.
Tính chất Apri0ri của lập mục phổ siến. HIhánh lập cha không phô siến sinh từ lập c0n không phô biến hình 2. Ví dụ minh họa thuật l0án ApT1ÔTI. --- +5 sss*ss+x++ 39 hình 3.
Kết quả ví dụ về thuật l0án AFSM. Sơ đồ khối thuật 10án AFSM. Dữ liệu dạng bẩITg.-- - + Set 121v gen 59 hình 3. Dữ liệu dạng cSDIL.--2- ¿2£ ©+2Et2ExEvEEEttzxesrrerrrsee 60 hình 3.
Dữ liệu dạng 'TeXÌ. -- «+ + xxx HH HH re 61 hình 3. F0rm Gia0 điện chính.--2¿2£ +2 ©+++x£+£++++2s£+zze+zsse+ 63 s0: c;áji SN". Gia0 điện mở file đữ liệu.------ 2+ ©+++x£+2z+++zse+zxeszvse+ 65 hình 3.
cảnh sá0 lỗi nếu nhập thiếu thông lin. cảnh sá0 lỗi nếu chọn sai dữ liệu. 2-22-5252 2+2 66 36 8 MO DAU Hgày nay, với sự phát triển nhanh chóng của công nghệ thông tin, tin hoc đã đojợc ứng dụng lrên nhiều mặt của kinh lé, đời sống xã hội. Ké0 the0 đó là một khối lơợng dữ liệu đồ sộ đơjợc lou trữ lr0ng các hệ thống cơ sở dữ liệu, kh0 dữ liệu.
chúng la siết rằng lr0ng khối lojợng dữ liệu khổng lồ đó đang ân chứa những giá trị nhất định. chăng hạn nhọ|, lập dữ liệu về thông lin khám bệnh của các bệnh nhân lại mộ bệnh viện h0ặc một vùng có thê ch0 siết mối liên quan giữa các triệu chứng bệnh hay xảy ra: ngojời bị nhức dau thojong hay bi sét, ngojời bi hO thojong sị rát họng. ;cơ sở dữ liệu gia0 dịch của một siêu thị có thề ấn chứa thông tin về thói quen mua hàng của khách hàng lại siêu thị: khách hàng mua bánh mì thoJờng mua sữa, khách hàng mua sữa bột thojong mua sim, quần á0 lrẻ sơ sinh.; Lịch sử duyệt web của ngojời dòng ân chứa thông lin về thói quen lojới web của ngơjời đó. Việc lìm ra những quy luậi có thê đơiợc thực hiện bằng phoJơng pháp thống kê nhoịng khi làm việc với cơ sở dữ liệu vô cùng lớn thì phoơng pháp thống kê trở nên khó thực hiện và vô cùng lốn kém.
IThu cầu khai thác tri thức từ dữ liệu ngày càng lớn làm ch0 mội khuynh hojớng kỹ thuật mới ra đời: đó là phát hiện tri thức và khai pha dir ligu KDD (Kn0wledge DiscOvery and Data Mining). Phat hién tri thức lr0ng co so dir ligu la mot qua trình không tam thojong whan ra whimg mẫu có giá lrị, mới, hữu ích tiềm năng và hiểu đojợc tr0ng đữ liệu. KDD là sự kế thừa và phát triển các thành tựu của nhiều lĩnh vực nghiên cứu ứng dụng tin hoc trojớc đó nhơi: hệ chuyên gia, Trí tuệ nhân †ạO, lý thuyết nhận dạng, KDD dojoc img dụng rất rộng rãi lr0ng nghiên cứu kh0a học, đời sống chính trị xã hội và kinh lễ: nghiên cứu thiên văn học, tin sinh học, phát hiện gian lận, khai thác mạng xã hội, văn sản, phát hiện lội phạm, phát hiện lừa đả0, hỗ lrợ ra quyết định, quản lý rủi r0. hiện nay, thói quen mua sắm của ngơiời liêu dùng lại các đô thị đang dần thay đổi.
Với các hệ thống siêu thị rộng khắp, thuận liện và an 10àn hơn, ngojời liêu dùng chuyên sang mua sắm lại các siêu thị nhiều hơn. Ihờ việc ứng dụng lin học và0 †r0ng công tac quản lý, các gia0 dịch mua sắm của khách hang dojgc lou lại r0ng cơ sở dữ liệu của siêu thị. Vấn đề đặt ra là, ngơjời quản lý siêu thị có thế tìm thấy những tri thức mới từ khO đữ liệu gia0 tac 9 khổng lồ kia? họ m0ng muốn tìm ra lừ đó các quy luật mua sắm của khách hàng để điều phối, sắp xếp hàng hóa một cách phù hợp. bài l0án này có thê lìm ra lời gidi bang phojong 10 pháp khai phá luật kết hợp thực hiện lrên sảng cơ sở dữ liệu gia0 lác (gia0 dịch mua hàng).
Trojớc đây, bảng đữ liệu đầu và0 chỉ thể hiện việc có hay không thực hiện mot giaO tac ma0 đó (vi du nho, mat hang 140 ban dojoc ghi 1, khong ban ghi 0), nhơing sảng dữ liệu còn thê hiện số lojợng tr0ng gia0 tác (mặ! hàng nà0 không sán đojợc ghi 0, mặt hàng sán đơjợc thì ghi số lojợng của mặt hàng đó đơjợc sán. Điều này dẫn sài l0án đến sát thực liễn và có ý nghĩa thực liễn hơn bài l0án 0 và 1. Thong cing vi thé ma làm siến đổi nhiều đặc lính của dữ liệu 0 và 1. D0 đó nhiều nhà kh0a học đã tiến hành nghiên cứu sảng dữ liệu gia0 tác có số lojợng dé fim ra những quy luật sa0 ch0 việc im kiếm các lập mục phổ siến lr0ng bảng gia0 lác có số lojợng là nhanh nhất.
Tr0ng luận văn này, lôi chọn cách nghiên cứu và xây dựng thực nghiệm với bài l0án khai thác luật kết hợp từ cơ sở dữ liệu của siêu thị bán lẻ mà các gia0 dịch không chỉ đơn thuần đơiợc thể hiện ở dạng nhị phân mà có cả số loợng hàng hóa đojợc mua lr0ng các gia0 dịch. Hội dung chính aia luận văn gỗm 3 chương: chojong 1: Tổng quan về khai phá dữ liệu Liêu những kiến thức cơ sản khai phá dữ liệu và phát hiện tri thức trOng co sở dữ liệu: - Mội số định nghĩa về khai phá đữ liệu. - các pho|ơng pháp khai phá đữ liệu phố biến và ứng dụng của chúng. - Khuynh holớng phái triển của khai phá dữ liệu.
chojong 2: Khai phá dữ liệu bằng luật kết hợp - Giới thiệu về sài l0án khai phá luật kết hợp, các khái niệm liên quan và các pho|ơng pháp khai phá luật kết hợp. - Giới thiệu một số thuật 10án đơiợc sử dụng để khai phá luật kết hợp. chơjơng 3: Tìm luật kết hợp tr0ng cơ sở đữ liệu gia0 dịch của siêu thị bán lẻ Mô lá sài l0án thực nghiệm là lìm lập các luật kết hợp thẻ hiện thoi quen mua sắm của các khách hàng lừ lập cơ sở dữ liệu về các gia0 dịch mua bán 11 của một siêu thị bán lẻ. Tr0ng đó: - Mô tả sự khác biệt giữa cơ sở dữ liệu bán lẻ của siêu thị s0 với bảng dữ liệu nhị phân.
12 - Giới thiệu một số cách giải quyết mà các nhà kh0a học đã công số. - Xây dựng phần mềm tìm luật kết hợp dựa trên phoJơng pháp AFSM. TỎIG QUAII VẺ KhAI PhÁ DỮ LIỆU 1. Ihu cầu của khai phá dữ liệu chúng †a đang sống lr0ng thời kỳ công nghệ thông lin phat triển nhơi vũ bã0.
công nghệ thông lin ứng dụng lrên hầu hết các lĩnh vực kh0a học, đời sống, kinh lế, chính trị, xã hội.