Laboratoire des Sciences de Institut de la Francophonie pour l'Information et des Systèmes l’Informatique (LSIS) (IFI) Rapport de fin du stage M2R Sujet Collecte d’information sur le Web relatif à des domaines restreints, à base d’agents et d’ontologies Directeur : Bernard ESPINASSE Encadrant : Sébastien FOURNIER Réalisateur : Nguyen Manh Hung Marseille 2007 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Remerciements Ce travail a été effectué au Laboratoire des Sciences de l’Information et des Systèmes (LSIS) dirigé par Monsieur le Professeur Norbert Giambiasi. Je le remercie sincèrement de m’avait accueilli dans sa laboratoire. Que Monsieur Bernard Espinasse, Responsable de l’équipe Information et Connaissances Distribués (INCOD) du LSIS, reçoive toute l'expression de ma reconnaissance pour m'avoir proposé et dirigé ce sujet de recherche, et, pour tout son dynamisme et ses compétences scientifiques qui m'ont permis de mener à bien cette étude. Mes plus sincères remerciements vont également à Monsieur Sébastien Fournier, membre de l’équipe INCOD, qui en agissant à titre de co-directeur a fortement enrichi ma formation.
Ses conseils et ses commentaires auront été fort utiles. Merci aussi à tous mes collègues et amis du laboratoire qui se reconnaîtront ici. Je leur exprime ma profonde sympathie et leur souhaite beaucoup de bien. Je souhaite enfin remercier mes amis pour leurs encouragements et leurs conseils lors de ce séjour en France.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Rapport du stage : Collecte d’information sur le Web relatif à des domaines restreints, à base d’agents et d’ontologies Table des matières Table des matières. 6 Problème d’extraction des informations .1 Extraction des informations sur le Web.1 Détermination des régions .2 Extraction des informations sur les régions .2 Utilisation de la syntaxe des marqueurs .3 Utilisation d’ontologie de domaine .2 EI à base d’ontologie.4 Extraction des informations par agent.2 EI à base d’agent. 15 MasterWeb et AGATHE .1 Architecture et fonctionnement .1 Architecture et fonctionnement .2 Sous système d’extraction. 23 Projection de MasterWeb à AGATHE .1 Spécification du problème.3 Spécification des agents .3 Spécification des protocoles.
30 1 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Rapport du stage : Collecte d’information sur le Web relatif à des domaines restreints, à base d’agents et d’ontologies 3.2 Les classes de MasterWeb .3 Les classes de AGATHE.5 La base de données.4 Mise en œuvre .1 Contexte de teste. Les tables de la BD. Prototype des agents. Prototype de contenu des message.
51 2 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Rapport du stage : Collecte d’information sur le Web relatif à des domaines restreints, à base d’agents et d’ontologies Résumé Le problème d’extraction des informations sur Internet est de plus en plus complexe car l’environnement d’Internet devient le plus dynamique, hétérogène et distribué. AGATHE est une architecture proposée pour le développement de système de collecte d’informations dans des domaines restreints sur le Web, à base des agents et des ontologies. AGATHE réalise la recherche, la classification et l’extraction d’information de pages Web, en s’appuyant sur les ontologies notamment liées aux domaines restreints considérées. Ces tâches de recherche, de classification et d’extraction des informations à base d’ontologies sont réalisées dans AGATHE par des agents logiciels spécialisés qui coopérèrent.
Ce stage se présenté comme une contribution au développement du système AGATHE, contribution plus particulier lié au développement du sous-système d’extraction selon un système multiagent. 3 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Rapport du stage : Collecte d’information sur le Web relatif à des domaines restreints, à base d’agents et d’ontologies Abstract The information extraction problem on Internet is increasingly complex because the Internet environment becomes most dynamic, heterogeneous and distributed. AGATHE is an architecture suggested for the system development of collection of information in restricted domains on the Web, based on agents and ontologies. AGATHE carries out research, classification and extraction of Web pages information, while being based on ontologies in particular related to the restricted domains considered.
These tasks of research, classification and extraction of information based on ontologies are carried out in AGATHE by specialized software agents which cooperated. This stage presented like a contribution to the development of AGATHE system, contribution more particular related to the development of the extraction subsystem according to a multiagent system. 4 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Rapport du stage : Collecte d’information sur le Web relatif à des domaines restreints, à base d’agents et d’ontologies Introduction Dans les dernières années, les pages Web et les informations qu’elles contiennent sont de plus en plus nombreuses. Il y a de plus en plus de sources d’information qui sont disponibles sur le Web.
En outre, les sources sont hétérogènes : elles sont créées par plusieurs personnes différentes ; les pages sont construites en utilisant des méthodes et des techniques différentes ; les informations sont présentées de n’importe façon sur la page… De plus, les pages Web sont dynamiques : leur structure est instable ; les informations présentées sont toujours mises à jour selon le besoin de leurs propriétaires. La cherche et l’extraction des informations pertinentes deviennent alors de plus en plus difficiles et complexes. Dans ce contexte, l’extraction des informations (l’EI) sur le Web est l’objet de nombreuses recherches. Plusieurs systèmes sont proposés selon des approches différentes pour l’EI.
Le projet AGATHE [7] est développé dans l’équipe INCOD du Laboratoire des Sciences de l’Information et des Systèmes (LSIS) en collaboration avec l’Université Fédérale de Pernambuco (Cin-UFPE - Brésil). AGATHE est une architecture proposée pour le système d’extraction des informations dans des domaines restreints sur le Web qui se base sur des agents et des ontologies. AGATHE réalise la recherche, la classification et l’extraction d’information de pages Web, en s’appuyant sur les ontologies notamment liées aux domaines restreints considérés. Ces tâches de recherche, de classification et d’extraction des informations à base d’ontologies sont réalisées dans AGATHE par des agents logiciels spécialisés qui coopérèrent.
Les processus de classification et d’extraction dans AGATHE, déclaratifs à base de règles, s’inspirent de MasterWeb, un système développé au Brésil [10]. L’objectif de ce stage est de contribuer au développement du système AGATHE, notamment à la conception et à la réalisation de sa partie d’extraction (clusters d’extraction) à partir de MasterWeb selon un système multiagent. Ce document va présenter le travail sur ce stage. Il est organisé comme suit : le chapitre 1 va présenter généralement l’état de l’art sur le problème d’EI sur le Web, en particulier les approches qui sont proches de MasterWeb et d’AGATHE ; le chapitre 2 va présenter le système MasterWeb et l’architecture AGATHE selon la tendance d’utilisation des agents et des ontologies pour le problème d’EI sur le Web ; le chapitre 3 va présenter la réalisation AGATHE à partir de MasterWeb : appliquer l’architecture AGATHE au système MasteWeb ; la dernière section serra conclusion.
5 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Rapport du stage : Collecte d’information sur le Web relatif à des domaines restreints, à base d’agents et d’ontologies Chapitre 1 Problème d’extraction des informations Ce chapitre va présenter l’état de l’art du problème d’extraction des informations (EI) sur le Web : la section 1 va présenter le contexte général de l’EI ; les trois sections suivantes vont présenter différentes approches dans l’EI : l’utilisation de structure des marqueurs, l’utilisation d’ontologie, l’utilisation d’agent ; la dernière section sera une conclusion du chapitre.1 Extraction des informations sur le Web Les pages Web et les informations qu’elles contiennent sont de plus en plus nombreuses sur Internet. La recherche et l’extraction des informations pertinentes sont de plus en plus difficiles et complexes. Dans ce contexte, l’extraction des informations sur le Web est l’objet de nombreuses recherches. L’extraction des informations (l’EI) dépend de la nature des pages Web.
En se basant sur la façon dont les informations sont présentées sur la page, on peut considérer que, aujourd’hui, il y a deux types de Web : le Web caché et le Web explicite. Dans une page du Web caché, les informations ne sont affichées qu’après avoir rempli quelques formulaires. Une page du Web explicite est une page normale : les informations sont affichées dès que l’on entre dans la page. Selon ces deux types de Web, les recherches sur l’EI sur le Web sont : L’EI sur le Web caché.
On se concentre sur la génération automatique des informations à remplir les formulaires pour retirer des informations nécessaires. L’EI sur le Web explicite. On s’intéresse à la façon dont on détermine les régions qui contiennent des informations nécessaires sur une page et la manière dont on extraie des informations pertinentes à partir de ces régions. En général, les informations apparaissent sur le Web explicite sous forme de page HTML dont la structure est libre : elles peuvent se situer n’importe où dans la page.
L’EI sur les pages Web doit passer deux grandes étapes : Premièrement, la détermination des régions contenant des informations nécessaires. Deuxièmement, l’extraction des informations pertinentes à partir des régions déterminées. Les sous-sections suivantes vont présenter ces deux étapes.1 Détermination des régions Comme les informations apparaissent n’importe où dans la page Web. Le problème qui se pose est : comment peut-on déterminer si une région contient des informations 6 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Rapport du stage : Collecte d’information sur le Web relatif à des domaines restreints, à base d’agents et d’ontologies nécessaires.
Plusieurs recherches s’intéressent à ce problème. On peut distinguer trois grandes approches dans ces recherches [34] : Approche basée sur le traitement du langage naturel (TLN). Approche basée sur les marqueurs sémantiques. Cette approche permet de créer de nouveaux marqueurs personnels pour marquer le contenu sur une page.
Elle commence à être utilisée dans le domaine de Web Sémantique. Approche basée sur un modèle structuré commun. Les informations sont structurées de façons différentes. L’idée est de restructurer ces informations en une structure commune qui est indépendante de la source des informations.
L’EI sur plusieurs sources différentes devient plus facile et plus efficace. Le traitement n’extrait qu’une seule structure. Aujourd’hui, cette troisième approche est adoptée dans plusieurs recherches. Comme les informations sont structurées de façons différentes.
L’idée est de restructurer ces structures dans une structure commune qui est indépendante de la source des informations. Le problème est comment peut-on construire la structure commune à partir des pages Web différentes. On distingue trois grandes approches possibles : L’utilisation des techniques XML L’utilisation d’arbre des marqueurs L’utilisation d’ontologie du Web Les sous-sections suivantes vont développer plus ces trois approches. Utilisation de XML La structure des marqueurs HTML dans une page Web ressemble à celle d’un document XML, l’idée est de projeter une page HTML sur un document XML ([11], [25], [28], [33], [34]).
Tout d’abord, une page HTML est projetée en XML en complétant les marqueurs incomplets. Puis, les régions contenant des informations sont déterminées en utilisant des techniques différentes : soit une ontologie de domaine ([28], [33], [34]), une transformation en XSLT (Extensible Stylesheet Language Transformations) ([11], [25]). Cette approche a un grand avantage, c’est d’être simple et compréhensible car XML est populaire et ses techniques (ex. XSLT) sont connues.
Cependant, elle a aussi un grand désavantage : la transformation en XML est seulement efficace dans le cas où la structure de la page HTML est toujours stable ([33], [34]). Actuellement, beaucoup de pages ont une structure qui change souvent, cette approche n’est alors plus applicable. Utilisation d’arbre des marqueurs Cette approche est aussi basée sur la structure des marqueurs HTML dans une page Web. Cette structure ressemble à celle d’un arbre dont les nœuds correspondent aux paires des marqueurs HTML.
Il s’agit tout d’abord de créer tout d’abord un arbre DOM (Document Object Model) correspondant à chaque page HTML ([17], [24], [44]) de façon suivante : (i) Compléter des marqueurs qui n'ont qu'un tag, ex. ; (ii) 7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.