TONG QUAN YE KHAI PHA DIY LIEU CHUCFNG 1. TONG QUAN VE KHAI PHA Dir LIEU 1. Khii niem va khai phi d* lieu 1. GM thifu vi Mai plui chi Wu Trong nhcmg am gin day, su phat then mph me ciut CNT'T va nganh ding nghiep phis cimg da lam cho kha ning thu nhap va Itru fru thong tin ciia cac thimg thong tin tang nhanh met cach cheng mat.
Ben conh do viec tin hoc hea met each 6 at va nhanh chiong cac hoot dOng san xuat, kinh doanh cling nhu nhieu lInh Arc hog dOng khk di tio ra cho chimg to met lucmg de lieu luu tray Ichting 16. Hang trieu CSDL da dugc sir dung trong cac host dong san xuat, kinh doanh, wan trong do co nhieu CSDL cac len cot Gigabyte, thorn chi la Terabye. So bang nay din tin ye'u cau cap thiet la can co nhung k9 thuit va ding cu mei de to Ong chuyen doi Wong de lieu khang to Ida thanh the tri thirc co ich. Tir do, cac Id thuili khai pha de lieu di fro thanh met linh we then so dm nen cting nghe thong tin the giei hien nay.
Dinh nghia vi khai pith dfr lifu Phat hien tri thirc (Knowledge Discovery) trong cac co se du lieu la met qui trinh nhan biet the miu ho4c the mo Mob trong de lieu voi cac tinh fling: hqp thee mei, kha ich, va c6 the hiau duqc. Con khai thic de lieu (data mining) la men nge tuong del mei, no ra din vao khoang nhfrng nam cu &. cua dun thap 4 1980. C6 nit nhieu djnh nghia khac nhau ve khai phi de lieu.
Giao su Tom Mitchell da dua ra djnh nghia cita khai pha de lieu nhu sau:" Khai phi de lieu la viec sir dung da lieu lich sir de kham phi nheng qui tic va cai thien nhcmg quyet djnh tong tuong lai". Veri met each ti6'p c4r1 ling dung han, tien si Fayyad da phat bleu:" Khai phi da lieu durang duqc xem la viec kham phi tri thirc trong cac co se de lieu, la meat qua trinh trich xuat nheng thong tin in, trues day chua hi& va co kha fling heu ich, duel ding cac quy luat, rang bu0c, qui tic trong co se du lieu". Con cac nha thong ke thi xem" khai phi da lieu nhu la min qua trinh phan tich dugc thiet ke tham do mitt luong coc len cac der lieu nhim phat hien ra cac miu thich hqp vil hok cac mOi quan he mang tinh he thing gifts cac hien va sau de se hqp thirc hoi cac ket qua rim duqc bing each ap dung the miu da phat hien duqc cho tip con mei cita de lieu". Trang 1190 A11278 — Doan Thanh Cong A11500 — Nguyin Dec Hoing TONG QUAN VE KHAI PHA DIY LI$U N6i tom lai: khai pha 80 lieu la met buoy trong quy trinh phat hien tri thirc gom co cac that town khai thic du lieu chuyen dimg dtrOi met se quy djnh ve hieu qua tinh town chap nhan duqc di tim ra cac mitt hoac cac me hinh trong dO lieu.
Cic bulk trong khai phi do Ilea 1. Clic ki thuOt khan ph6 drr lifu M3c du khai thic dfr lieu nhu lit met thuat nge tuong del mai, nhung hau bet cac ky thuat khai thic du lieu da ten tai tong nhieu nim. Ma tier than cita khai thic dur lieu deu xuat phat tir: thong ke, hoc may ya co so a lieu. Mot so thOt town khai thic d0 lieu, bao gOm ca hOi quy, chugi that wan, va cay quyet djnh deu duqc phat minh boi cac nhi thOng ke hqc.
Ky thuorhei quy" CIA ton tai trong nhieu the kY. Cac thuat toan"chuOi than gian" di duqc nghien ciru trong nhieu thap ky. Thuat town thy quyet djnh la met trong nhieu k9 thuat gin day, co nien dai tir gifta nhUng nam 1980. Khan thic d0 lieu tap trong yao phat hien to (king ho#c ban qr ()Ong matt.
Met di thuat town hoc may(machine learning) duqc lip dtmg cho khai thic dti lieu: a. Mang noron (Neural networks) Day la mot trong nhftng icy thuat khai pha du lieu dirge ling dung ph6 bien Men ' met nen tang town hqc vtIng yang, kha nang htan nay. K9 thuat nay phat trien dva ten '' luyen trong ky thuat nay (lira tren mil hinh than kinh trong trong cita con ngu&i. Kat qua ma mpg naron hqc duqc c6 kha nang tao ra cac mo hinh dv bio, dv doin yeti de chinh xitc yi dO tin cay cao.
NO co kha nang phat hien ra duqc cac xu bluing phirc tap ma k9 thuat thong thubng Ichic kh6 c6 the phat hien ra duqc. Tuy nhien phuong phip tnang no ron rat phirc tap yi qua trinh tien Minh no g#p rat nhieu kh6 khan: doi hoi mat nhieu thai gian, nhieu 80 lieu, nhieu Ian lciem tra thir nghiem. Giii thuat di truyen Li qui trinh m8 phong theo tier hoi cua tSr nhien. Y Wang chinh cua giai thuat 11 dva vim quy luat di truyen trong bien dOi, chip Ice tv nhien yi tiers boa trong sinh hoc.
Viec xay dvng cac thuat town di truyen me phong sinh hoc nhim tim ra cac giii phip tot What bao gem cac btreic sau: - Tao ra ca the ma di truyen dual long cac xau cita met bang ma lct tv han che. - Thiet lap mei tnrang nhan tao trorTh may tinh co cac giii phip co the tham gia"dau tranh sinh tO'n"veri nhau de zit djnh dO do thanh cong hay that hay con goi thich nghi". Trang 2190 A11278 — Doan Thanh Gong A11500 — Nguygn Thic Holing TONG QUAN VE KHAI PHA DIY LISU - Phat trien cac"phep lai ghep" de the gild phip ket hqp vei nhau. Khi do cac rcau mi di truyen cua giii phip cha va mg bi cat di vi xep lai, trong qua trinh sinh sin nhu vay cac kieu dOt bien co the duqc ap dung.
- Cung cap mot (lull the cac giii phip ban diu tucmg d6i da long vi may a tinh thqc hien"cu(ic chai tien hem" bing each loci be cac gal phip tir min ca the va thay the chung bing cac con chin hoac cac dOt hien cua cac giai phip bk. Thu* wan se ket thitc khi mot h9 cac giiti phip thinh citing duqc sinh ra. Khai phi de lieu (KPDL) la viec frith chcm d.3c trtmg MI lieu mot each ty doting tir mot Si dii lieu 16n. Tri thin do thtrimg o cac ding maw c6 tinh chat khong tam thuong, An (khong twang minh) nhung 13i co the mang 13i ich lqi lam neu no duce sir clung dung chi).
Co the coi KPDL 11 cot lai cfut qua trinh phat hien tri thac trong co so dii lieu (Knowledge Discovery in Databases — KDD) 1. Luling di lifu Khai thic der lieu la mot trong nhUng thanh vien quan trong trong data warehouse family. Trutmg hqp khai thic dft lieu nio la phu hqp veri dien kien ctla cac luOng der lieu trong mot kith bin kinh doanh dien hinh? Hinh sau minh h9a mot luting dir lieu doanh nghiep dien hinh ma khai that der lieu co the duqc ap dung trong cac giai down Ichic nhau. Application -4 ill Si P- Data Mining O ♦4 • Online Onlbe transaction ••■ Analytical Processing Processing (OLTP) Hinh 1: M6 hinh khai phti du lieu doanh nghiep Trang 3190 A11278 — Doan Thanh Cling A11500 — Nguyln Dire Hoing TONG QUAN VE KHAI PHA Dir Met ung dung kinh doanh luu till the dt1 lieu giao Bich trong met ca so &I lieu bb 15, giao djch true tuyan (online transaction processing- OLTP).
Cie clit lieu OLTP duqc chiet xuat, chuyin doi va nap vio data warehouse met each thuong xuyen. Luqc itO Gila data warehouse thuimg khic nhau tir met luqc 46 OLTP. Met lucre d6 data warehouse dk tnrng cob hinh ding du met ngoi sao hay met bong tuyet.V6i bang giao djch o chinh gifta luqc 46 va dtrqc bao quash bei met be dimension tables(cic bang kich thubc). Tnnk lien, vi ph6 hien nhit, khai that dO lieu co the duqc by dung cho cac kho dO lieu nth ma dft lieu di duct lim mtch.
Cac miu duqc phat hien bed cic mo hinh khai thic c6 the duqc trinh bay cho cite nhit quan lt tiep chi thong qua the bio cao. Khai thic dft lieu co the c6 met lien ket true tiep den cic ling dung kinh doanh, ph6 bien nhit la thong qua cac du doin. Nh(mg khai thic dft lieu vio ling dung kinh doanh dang ngay met phO bien han. Vi du: Trong met kich bin bin hang qua Web, met khi met khach hang dit met sin vio trong gio hang, met du bao troy van khai thic der lieu duqc thuc hien de c6 duqc mot danh sich cic sin phAm duqc de nghj dua tren phin tich.
Khai thic du lieu cling co the duqc cip dung de pit tich kh6i OLAP, la met cc so du lieu da chieu ved nhieu kich thubc vi don vi do. Kich thy& c6 the len den hang trieu bin ghi do d6 se kho khAn cho vier tim ra mo hinh quan tan. Ky thubt khai thic dO lieu c6 the duqc ap dung de kham phi ra cac mo hinh an trong met khoi OLAP. Vi du: Met thulit than lien ket co the duqc bp dung cho mot Ich6i ban hang, phin tich mau mua ctia khich hing cho met vimg cµ the va then gian.
Chling to c6 the ip dung ky thubtIchai thic dO lieu de du bao cac bien phip nhu ban hing vi lqi nhubn. Trong 4190 A11278 — Doan Thanh tong A11500 — Nguyin Due Hoing TONG QUAN VE KHAI PHA D() LISU 1. Yong did min m#t dv tin Heal phd dit Eavaluboo of Data Hag Transfortution Clean-mg Praprocetsr4 Selection Preto-ton I II lai 40!Kt n i t i' rin, —. Dot i r Gathering qp- Alli I erarafra" Dlia Cleansed Preprocessed 4r Target 14Warted Data Data Hinh 2: Yong doff aia men dv an khai phti du lieu.
Gom du lieu (gathering) va Trich lqc du lieu (selection) Gom du lieu: Tap hqp du lieu la boat dau tien trong khai phi du lieu. Busk nay lay du lieu tir trong mOt co so de lieu, mOt kho dft lieu, them chi di' lieu tir nhimg nguon cung Ong web. Trich lqc du lieu: O giai down nay du lieu duqc lira chon va phfin chic theo mOt se lieu chuan nao d6. Lam sach va tiers xir 15r der lieu (cleansing prepocessing) Lam sach de' lieu: Day la qua trinh xir ly a ga be hoac lam giam nhieu vi each xir 15, cac gia tri khuyet.
Burk lam giarn su mop mer khi hqc. Phan tich stir thich hqp: Nhieu thuOc tinh trong du lieu co the khOng thich hqp hay khong can thiet de phan loai. Vi vay phop phan tich sar thich hqp duqc the hien teen der lieu veri muc dich ger be bat lck nhung thuOc tinh khong thich hqp hay khong can thiet. Trong hqc may bait nay duqc gqi la trich hoc dac tnrng.
Phip phan tich nay giup phan loci hieu qua va nfing cao kha rang ma rung.