ÑI H≈C QU»C GIA HÀ NÀI TR◊ÕNG ÑI H≈C CÔNG NGHõ NGUYôN MINH TIòN TRÍCH CH≈N S‹ KIõN D¿CH BõNH CHO Hõ TH»NG GIÁM SÁT TR‹C TUYòN LUäN VãN THÑC Sfl CÔNG NGHõ THÔNG TIN HÀ NÀI - 2014 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ÑI H≈C QU»C GIA HÀ NÀI TR◊ÕNG ÑI H≈C CÔNG NGHõ NGUYôN MINH TIòN TRÍCH CH≈N S‹ KIõN D¿CH BõNH CHO Hõ TH»NG GIÁM SÁT TR‹C TUYòN Ngành: Công nghª Thông tin Chuyên ngành: Hª thËng Thông tin Mã sË: 60480104 LUäN VãN THÑC Sfl CÔNG NGHõ THÔNG TIN NG◊ÕI H◊ŒNG DàN KHOA HOC: Ti∏n sˇ Nguyπn Trí Thành HÀ NÀI - 2014 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LÌi cam oan Tôi xin cam oan lu™n v´n “Trích chÂn s¸ kiªn d‡ch bªnh cho hª thËng giám sát tr¸c tuy∏n” là công trình nghiên c˘u cıa riêng tôi. Các sË liªu, k∏t qu£ ˜Òc trình bày trong lu™n v´n là hoàn toàn trung th¸c và ch˜a t¯ng ˜Òc công bË trong bßt k˝ mÎt công trình nào khác. Tôi ã trích d®n ¶y ı các tài liªu tham kh£o, công trình nghiên c˘u liên quan trong n˜Óc và quËc t∏. Ngo§i tr¯ các tài liªu tham kh£o này, lu™n v´n là công viªc cıa riêng tôi.
Hà NÎi, ngày.n´m 2014 Tác gi£ Nguyπn Minh Ti∏n 3 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LÌi c£m Ïn Tr˜Óc tiên, tôi xin g˚i lÌi c£m Ïn sâu s≠c nhßt tÓi TS. Nguyπn Trí Thành, nguÌi ã t™n tình chø b£o và h˜Óng d®n tôi trong quá trình th¸c hiªn lu™n v´n tËt nghiªp. Tôi xin g˚i lÌi c£m Ïn chân thành tÓi PGS. Hà Quang Thˆy, ng˜Ìi ã t™n tình giúp Ô, ‡nh h˜Óng và góp ˛ cho tôi trong suËt thÌi gian tôi nghiên c˘u và làm viªc t§i phòng thí nghiªm Công nghª Tri th˘c (Knowledge Technology Laboratory - KT-Lab).
Tôi xin g˚i lÌi c£m Ïn tÓi TS. Phan Xuân Hi∏u, nghiên c˘u sinh Tr¶n Mai VÙ, nh˙ng ng˜Ìi ã cÍ vÙ, giúp Ô và óng góp ˛ ki∏n cho tôi trong suËt quá trình hÂc t™p và nghiên c˘u t§i tr˜Ìng §i hÂc Công nghª - §i hÂc QuËc gia Hà NÎi. Tôi chân thành c£m Ïn các th¶y, cô, và cán bÎ tr˜Ìng §i hÂc Công nghª - §i hÂc QuËc gia Hà NÎi ã gi£ng d§y và t§o i∑u kiªn thu™n lÒi cho tôi hÂc t™p, nghiên c˘u, và hoàn thành lu™n v´n. Bên c§nh ó, tôi xin c£m Ïn các anh, ch‡, và các b§n sinh viên thuÎc phòng nghiên c˘u Công nghª Tri th˘c (KT-Lab) ã giúp Ô tôi hoàn thành lu™n v´n.
Tôi xin g˚i lÌi c£m Ïn tÓi nh˙ng Áng nghiªp t§i BÎ môn Công nghª Ph¶n m∑m - Khoa Công nghª Thông tin - Tr˜Ìng §i hÂc S˜ ph§m Kˇ Thu™t H˜ng Yên ã ıng hÎ, cÍ vÙ tôi trong suËt thÌi gian hÂc t™p, nghiên c˘u và hoàn thành lu™n v´n. CuËi cùng, tôi muËn g˚i lÌi c£m Ïn ∞c biªt tÓi gia ình, b§n bè, và nh˙ng ng˜Ìi thân yêu luôn bên c§nh Îng viên tôi trong suËt quá trình hÂc t™p và th¸c hiªn lu™n v´n tËt nghiªp. Tôi xin chân thành c£m Ïn! HÂc viên Nguyπn Minh Ti∏n 4 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mˆc lˆc 1 TÍng quan v∑ bài toán trích xußt s¸ kiªn 1 1.1 Bài toán trích xußt thông tin t¯ d˙ liªu lÓn .1 Bài toán trích xußt thông tin .2 D˙ liªu lÓn - CÏ hÎi và thách th˘c cho lænh v¸c trích chÂn thông tin .2 TÍng quan v∑ s¸ kiªn .1 ‡nh nghæa s¸ kiªn .2 Trích chÂn s¸ kiªn .3 Bài toán trích chÂn s¸ kiªn d‡ch bªnh .1 Trích chÂn s¸ kiªn d‡ch bªnh - fi nghæa và t¶m quan trÂng .2 Phát hiªn s¸ kiªn .3 Trích chÂn s¸ kiªn .4 fi nghæa bài toán trích chÂn s¸ kiªn d‡ch bªnh .1 fi nghæa khoa hÂc .5 Khó kh´n và thách th˘c. 11 2 MÎt sË ph˜Ïng pháp ti∏p c™n 12 2.1 Ph˜Ïng pháp ti∏p c™n d¸a trên lu™t .2 Lu™t ng˙ nghæa .2 Ph˜Ïng pháp ti∏p c™n d¸a trên hÂc máy .3 Ph˜Ïng pháp k∏t hÒp lu™t và hÂc máy .4 MÎt sË nh™n xét.
17 3 Mô hình ∑ xußt 18 3.1 Các ∞c tính cıa s¸ kiªn d‡ch bªnh .2 Phát bi∫u bài toán .3 Ph˜Ïng pháp ∑ xußt .4 Mô hình phát hiªn và trích chÂn s¸ kiªn. 20 5 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.5 Bài toán phát hiªn s¸ kiªn .1 Phát bi∫u bài toán .2 Xây d¸ng t™p lu™t .3 Xây d¸ng mô hình phân lÓp .6 Bài toán trích chÂn s¸ kiªn .1 Phát bi∫u bài toán .2 Trích chÂn thÌi gian .3 Trích chÂn tên bªnh .4 Trích chÂn ‡a i∫m. 29 4 Th¸c nghiªm và ánh giá k∏t qu£ 30 4.1 Môi tr˜Ìng và các công cˆ cài ∞t .1 Cßu hình ph¶n c˘ng .3 Các gói ch˜Ïng trình .2 Xây d¸ng t™p d˙ liªu .1 Thu th™p d˙ liªu .3 ánh gía quá trình phát hiªn s¸ kiªn .1 ánh giá bÎ lÂc d˙ liªu .2 ánh giá quá trình phân lÓp .4 ánh gía quá trình trích chÂn s¸ kiªn .5 Phân tích lÈi và bàn lu™n .1 Phân tích lÈi bÎ lÂc d˙ liªu .2 Phân tích lÈi quá trình trích chÂn s¸ kiªn. 41 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh mˆc các t¯ vi∏t t≠t STT T¯ vi∏t t≠t T¯ ¶y ı 1 IE Information Extraction 2 IR Information Retrieval 3 DM Data Mining 4 DSSs Decision Supporting Systems 5 OMSs Online Monitoring Systems 6 RSs Recommendation Systems 7 MUC Message Understanding Conference 8 ACE Automatic Content Extraction 9 NOAA National Oceanic and Atmospheric Administration 10 TDT Topic Detection and Tracking 11 NLP Natural Language Processing 12 NER Named Entity Recognition 13 TF-IDF Term Frequency - Inverse Document Frequency 14 CRFs Conditional Random Fields 15 Maxent Maximum Entropy Model 7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh sách b£ng 1.1 ThËng kê trên d˙ liªu Twitter .1 Danh sách các t¯/cˆm t¯ th˜Ìng xuyên .1 Cßu hình ph¶n c˘ng ˜Òc s˚ dˆng trong th¸c nghiªm .2 Công cˆ ph¶n m∑m ˜Òc s˚ dˆng trong th¸c nghiªm .3 Danh sách các lÓp trong t¯ng gói ph¶n m∑m .4 Các thành ph¶n cıa mÎt bài báo .5 T lª lÈi cıa ch˘c n´ng lÂc d˙ liªu .6 So sánh kh£ n´ng phân lÓp gi˙a Thí nghiªm a and Thí nghiªm b .7 So sánh Î chính xác quá trình trích chÂn gi˙a Thí nghiªm c and Thí nghiªm d .8 LÈi trong Thí nghiªm c (15 trên 25 lÈi) .9 LÈi trong Thí nghiªm d.
39 8 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh sách hình v≥ 1.1 S¸ t´ng tr˜ng d˙ liªu t¯ n´m 2004 ∏n n´m 2020 .2 D˙ liªu trên Internet trong 60 giây .3 Các b˜Óc trong quá trình khám phá tri th˘c trong cÏ s d˙ liªu [15] 4 3.1 Quá trình phát hiªn và trích chÂn s¸ kiªn .2 Thành ph¶n phát hiªn s¸ kiªn .3 Thành ph¶n trích chÂn s¸ kiªn .4 Bi∫u diπn cıa cây phân cßp ‡a i∫m. 28 9 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LÌi nói ¶u Trích chÂn/trích xußt thông tin (Information Extraction - IE), ∞c biªt là trích chÂn/trích xußt s¸ kiªn (Event Extraction - EE) là mÎt lænh v¸c con trong khai phá d˙ liªu (Data Mining - DM). K∏t qu£ cıa quá trình trích chÂn có th∫ ˜Òc dùng cho các hª thËng hÈ trÒ ra quy∏t ‡nh (Decision Supporting Systems - DSSs), các hª thËng t˜ vßn (Recommendation Systems - RSs), ho∞c các hª thËng giám sát tr¸c tuy∏n (Online Monitoring Systems - OMSs) [20]. Nh˙ng n´m g¶n ây, trích chÂn s¸ kiªn ã thu hút nhi∑u s¸ quan tâm t¯ các nhà khoa hÂc trong lænh v¸c khai phá d˙ liªu nói chung và trích chÂn thông tin nói riêng.
Trích chÂn s¸ kiªn ˜Òc ∑ xußt l¶n ¶u tiên t§i hÎi th£o Message Understanding Conference n´m 1987 [19]. Trong hÎi ngh‡ này, mÎt s¸ kiªn ˜Òc ‡nh nghæa nh˜ sau: mÎt s¸ kiªn b≠t buÎc ph£i có tác nhân (actor), thÌi gian x£y ra s¸ kiªn (time), ‡a i∫m (place) và tác Îng tÓi môi tr˜Ìng xung quanh (impact on the surrounding environment). Bênh c§nh ó, ch˜Ïng trình Automatic Content Extraction (ACE) ˜a ra ‡nh nghæa: s¸ kiªn là mÎt hành Îng ˜Òc t§o ra bi ng˜Ìi tham gia và ˜Òc chia thành tám lo§i: cuÎc sËng (life), s¸ di chuy∫n (movement), s¸ chuy∫n (transection), kinh doanh (business), xung Ît (conflict), liên hª (contact), con ng˜Ìi (personnel) và lu™t phát (justice). Theo inh nghæa cıa Allen và cÎng s¸ [1], mÎt s¸ kiªn bao gÁm bËn thuÎc tính: ph˜Ïng th˘c (modality), s¸ phân c¸c (Positive, Negative), m˘c Î (Specific, Generic) và thÌi i∫m (Past, Present, Future, Unspecified).
Lu™n v´n "Trích chÂn s¸ kiªn d‡ch bªnh cho hª thËng giám sát tr¸c tuy∏n" t™p trung vào nghiên c˘u các cách th˘c và ph˜Ïng pháp gi£i quy∏t bài toán trích chÂn s¸ kiªn d‡ch bªnh. Qua ó, ˜a ra mô hình, gi£i pháp cho vßn ∑ trích chÂn s¸ kiªn d‡ch bªnh trên mi∑n d˙ liªu ti∏ng Viªt. Lu™n v´n s˚ dˆng ph˜Ïng pháp k∏t hÒp gi˙a lu™t (rule-based) và hÂc máy ∫ gi£i quy∏t hai bài toán lÓn trong nghiên c˘u, ó là: bài toán phát hiªn s¸ kiªn và bài toán trích chÂn s¸ kiªn. K∏t qu£ cıa nghiên c˘u là danh sách các s¸ kiªn d‡ch bªnh ˜Òc tr¸c quan hóa trên hª thËng giám sát tr¸c tuy∏n, nÏi mà ng˜Ìi dùng có th∫ theo dõi tình hình diπn bi∏n d‡ch bªnh trên lãnh thÍ Viªt Nam.
Cßu trúc lu™n v´n ˜Òc chia làm bËn ch˜Ïng, nÎi dung ˜Òc mô t£ nh˜ sau: Ch˜Ïng 1: TÍng quan v∑ bài toán trích chÂn s¸ kiªn Ch˜Ïng này trình bày cÏ b£n v∑ bài toán trích chÂn s¸ kiªn trong bËi c£nh bùng 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com DANH SÁCH HÌNH Vì 11 nÍ thông tin trên Internet. HÏn n˙a, lu™n v´n cÙng ∑ c™p tÓi mÎt sË nghiên c˘u liên quan v∑ trích chÂn s¸ kiªn, ‡nh nghæa s¸ kiªn. Quan trÂng hÏn, ch˜Ïng này chø ra ˛ nghæa cıa bài toán trích chÂn s¸ kiªn d‡ch bªnh trên mi∑n d˙ liªu ti∏ng Viªt. CuËi cùng, tác gi£ trình bày nh˙ng thách th˘c trong bài toán trích chÂn s¸ kiªn d‡ch bªnh và ˘ng dˆng cıa bài toán.
Ch˜Ïng 2: MÎt sË ph˜Ïng pháp ti∏p c™n Ch˜Ïng này t™p trung trình bày ba ph˜Ïng pháp gi£i quy∏t bài toán phát hiªn và trích chÂn s¸ kiªn, ó là: ph˜Ïng pháp s˚ dˆng lu™t, ph˜Ïng ti∏p c™n hÂc máy, và ph˜Ïng pháp k∏t hÒp gi˙a lu™t và hÂc máy. Bên c§nh ó, lu™n v´n cÙng ˜a ra mÎt sË nh™n xét gi˙a các ph˜Ïng pháp. CuËi cùng, lu™n v´n chø ra ph˜Ïng pháp phù hÒp vÓi bài toán trích chÂn s¸ kiªn d‡ch bªnh. Ch˜Ïng 3: Mô hình ∑ xußt Ch˜Ïng này mô t£ mô hình ∑ xußt cho bài toán phát hiªn và trích chÂn s¸ kiªn d‡ch bªnh, bên c§nh ó mô t£ chi ti∏t hai bài toán lÓn trong lu™n v´n ó là: bài toán phát hiªn s¸ kiªn và trích chÂn s¸ kiªn.
Ch˜Ïng 4: Th¸c nghiªm và ánh giá k∏t qu£ Ch˜Ïng này mô t£ quá trình th¸c nghiªm và ánh giá k∏t qu£ cıa ph˜Ïng pháp ∑ xußt d¸a trên hai bài toán lÓn, ó là: bài toán phát hiªn s¸ kiªn và trích chÂn s¸ kiªn.