L’Institut de la Francophonie pour Laboratoire de Physique l’Informatique Corpusculaire de Clermont-Ferrand Master de l’IFI Intégration d’un Moteur De Workflow sur un Environnement de Grille Mémoire sur le stage de fin d'études présenté par TRAN Tuan Tu Stage effectué au Laboratoire de Physique Corpusculaire de Clermont-Ferrand Directeur: M. Vincent BRETON - Directeur de Recherche, CNRS Hanoi, Octobre 2008. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Remerciements Je tiens d’abord à remercier Monsieur le Directeur de Recherche Dr. Vincent BRETON qui m’a dirigé mon mémoire de fin d’études.
Sans son initiative, ce stage n'aurait pas été achevé. Je tiens à lui exprimer toute ma reconnaissance pour son dévouement, la confiance qu'il m'a accordée, sa rigueur et la qualité des commentaires et des suggestions sur mes travaux. Je tiens également à remercier Jean SALZEMANN, Vincent BLOCH, Ana Lucia DA COSTA, Géraldine FÉTTAHI et Matthieu REICHSTADT pour m’avoir aidé, m’avoir donné des conseils, des encouragements importants ainsi que pour leur gentillesse. Je remercie infiniment Dr.
Johan MONTAGNAT, chercheur au laboratoire I3S (polytech'Nice Sophia Antipolis) pour ses conseils précieux, son soutien tout au long de mon stage de fin d’études. Ce travail n’aurait pu être accompli sans son aide. Je voudrais exprimer un amical merci à l'ensemble des membres de l'équipe PCSV et des amis au laboratoire I3S qui m’ont consacré du temps tout du long de mon stage à Clermont-Ferrand et de mon travail à Nice. Mes gratitudes s’adressent aussi aux professeurs à l’Institut de la Francophonie pour l'Informatique (IFI) pour m’avoir transmis de bonnes connaissances concernant le savoir et le savoir-faire qui sont utiles pour mon mémoire.
Finalement, j’exprime ma entière reconnaissance à ma famille, mes confrères, mes amis pour leurs soutiens, aides, encouragements et conseils sincères. Hanoi, le 24 Octobre 2008 TRAN Tuan Tu TRAN Tuan Tu, IFI-P12 1 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Résumé L'équipe Plate-forme de Calcul pour les Sciences du Vivant (PCSV) développe et déploie depuis 7 ans des applications biomédicales dans des environnements de grille. Au sein de la plate-forme bioinformatique de l'équipe, ces applications sont implémentées comme des services dont les tâches correspondantes sont exécutées sur la grille. Il est nécessaire d'intégrer un gestionnaire de workflow à la plate- forme de l'équipe pour permettre la création d'interconnexions entre ses différents services et d'en permettre une exécution et un enchaînement automatique.
Les objectifs de ce stage sont : (i) l'amélioration du moteur de workflow nommé MOTEUR pour qu'il puisse travailler avec les services de l'équipe; (ii) La création des workflows pour soumettre et pour exécuter les tâches; (iii) Le développement d'un service bioinformatique spécifique pour la soumission des tâches de l'application de recherche de nouveaux médicaments. Mots-clés : grille, PCSV, bioinformatique, MOTEUR, workflow, moteur de workflow Abstract For the past 7 years, the Computing Platform Group for the Life Sciences (PCSV) has been developing and deploying biomedical applications on grid envronment. In the computing platform of the group, these applications function as services whose correspoding tasks are executed in the grid. To perfom and link such services automatically and sequentially, an integration of a workflow management into this platform is needed.
This thesis is, therefore, dedicated on : (i) Improving MOTEUR, a workflow engine, so that it can work with the services of the group. (ii) Creating the workflows to submit and to perform the tasks. (III) Developing a bioinformatic service for submitting the tasks corresponding the application of drug discovery Keywords : grid, PCSV, bioinformatic, MOTEUR, workflow, workflow engine TRAN Tuan Tu, IFI-P12 2 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Sommaire Remerciements. 3 Liste des figures.
5 Liste des tables.1 La bioinformatique sur grille .2 Plateforme Bioinformatique de l'équipe PCSV .1 La couche des Services Bioinformatiques .2 La couche de gestion.3 L'Environnement de Production WISDOM.4 Les opérations de la plateforme .3 Interconnexion des services. 16 Chapitre-2 Gestion de workflow sur la plateforme.2 Sculf - un langage de spécification de workflow.3 Le moteur de workflow MOTEUR.2 Fichier de workflow.3 Fichier de données .4 La capacité de parallélisme des services et de parallélisme des données .5 MOTEUR et la grille .4 Le workflow de Découverte de Médicament d'équipe. 27 Chapitre-3 Implémentation d’un gestionnaire de workflow sur la plateforme.1 Lecture du fichier de description des services bioinformatiques.2 Le problème avec la plateforme actuelle .3 Amélioration de MOTEUR pour traiter les web services “doc/lit wrapped” .1 L'Amélioration de MOTEUR. 35 TRAN Tuan Tu, IFI-P12 3 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille 3.2 Examiner la possibilité d'utiliser les formats des fichiers de workflow et des fichiers de données avec la nouvelle version de MOTEUR.1 Les formats des fichiers de workflow.2 Le format des fichiers de données .4 Développement de docking_wf, le service bioinformatique pour les étapes du workflow de Découverte de Nouveaux Médicaments .5 Mise en oeuvre du workflow TaskSubmision .1 Le processeur submitDocking.2 Le processeur isFinished.3 Le processeur thresholder .4 Le problème d'interconnexion des processeurs .6 Le workflow AgentSubmission .1 Conception de workflow.2 Le fichier de workflow.3 Le fichier de données .4 Les scripts utilisés par le workflow .1 Le script correspond à l'opération de chaque agent : jobAgent_wf.2 Le script corespond à la simulation .3 Le script utilisé comme le fichier d'exécuter dans le fichier de description du grid-job.
52 Chapitre-4 Expériences et Résultats .1 Tester l'amélioration de MOTEUR.2 Évaluation le service docking_wf.3 Évaluation deux workflows TaskSubmision et AgentSubmision. 56 Chapitre-5 Conclusion et Perspectives. Les étapes du script docking_wf. Les résultats de tester deux workflow : TaskSubmision et AgentSubmision.
65 TRAN Tuan Tu, IFI-P12 4 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Liste des figures Figure 1-1 La plateforme d'équipe PCSV. 11 Figure 2-1: La souplesse de créer les workflow en interconnectant des services. 19 Figure 2-2 : L'utilisation de moteur de workflow avec la flatforme. 20 Figure 2-3 L'opérateur "dot" et l'opérateur "cross".
22 Figure 2-4 : Le workflow de faire la somme entre 2 chiffres. 24 Figure 2-5 : Les ports du service GASW. 26 Figure 2-6 : L'idée principale de docking moleculaire. 28 Figure 2-7: Le ligand lie avec le protéine.
28 Figure 3-1:L’opération du workflow Découverte de Médicament. 31 Figure 3-2 : Les étapes du workflow de soumission des agents. 31 Figure 3-3 Le workflow de soumission des agents fait le rôle d’environnement de production de flatforme. 32 Figure 3-4 :Le schéma des résultats d’Autodock dans l'Information System.
38 Figure 3-5 : Le workflow de soumission des tâches spécifié pour le Découverte de Médicament. 43 Figure 3-6 : De la conception de workflow AgentSubmission à la mise en oeuvre en utilisant le processeur de MOTEUR. 66 Figure (Annexe) 3 : Observer l'interface de MOTEUR pour vérifier les états des agents. 67 Figure (Annexe) 4 : Observer le Task Manager pour vérifier les éxecutions des tâches des agents.
68 Figure (Annexe) 5 : Observer la table “hits” d’Information System pour vérifier l’execution des agents. 69 Figure (Annexe) 6 : Observer l’interface de MOTEUR pour vérifier l’opération du workflow isFinishedTest_wf. 70 Figure (Annexe) 7 : Observer l’interface de MOTEUR pour vérifier la liste des simulations d’entrées. 73 TRAN Tuan Tu, IFI-P12 5 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Liste des tables Table 1 : Les correspondances entre les agents de platefome et les grid-job.
14 Table 2 : Comparaison de la description d'un message entre le type emballé et le type non-emballé. 33 Table 3 : Les entrées de l'opérations submitDocking. 39 Table 4 : Les entrées de l'opérations thresholder. 41 Table 5 : Les entrées du processeur AgentSubmission de workflow.
45 Table 6 : Les changements par rapport à la version actulle du script correspondant à la simulation d’Autodock. 52 Table 7 : :La liste des workflow de test du workflow TaskSubmission. 55 Table 8 : Les étapes des tests des deux workflows. 57 TRAN Tuan Tu, IFI-P12 6 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Avant-propos L'équipe Plate-forme de Calculs pour les Sciences du Vivant (PCSV) développe et déploie depuis 7 ans des applications biomédicales dans des environnements de grille.
L'équipe a montré l'impact des grilles pour la recherche de nouveau médicament in-silico mais les différentes étapes du criblage virtuel – docking et dynamique moléculaire – sont traitées pour l'instant de façon indépendante et découplée. La grille est aussi utilisée pour traiter des données de biologie moléculaire, mais le problème du temps de réponse de la grille pour les tâches courtes demeure un facteur limitant son impact aux sciences du vivant. Dans le cadre de plusieurs projets nationaux (ANR GWENDIA) et européens (Embrace, EGEE-II), l'équipe PCSV s'intéresse à améliorer la gestion des applications bioinformatiques sur la grille de calcul grâce à la mise en place de traitements en pipeline ou par le développement d'approches nouvelles de gestion des tâches. Dans le cadre de mon stage, j'ai étudié le déploiement d'une application bioinformatique avec des services de grille développés dans le cadre du projet GWENDIA et Embrace.
J'ai aussi étudié le moteur de workflow MOTEUR auquel j'ai apporté des améliorations pour intégrer des services web développées dans l'équipe PCSV. Ce mémoire se compose de 5 chapitres: 1. Introduction On présente dans ce chapitre la bioinformatique sur grille. On présente ensuite la plateforme de l'équipe PCSV et le problème de l'interconnexion des services de l'équipe.
Gestion de workflow sur la plateforme On décrit les besoins d'une gestion de workflow sur la plaforme. Ensuite, on étudie le langage de spécification de workflow Sculf et le moteur de workflow TRAN Tuan Tu, IFI-P12 7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille MOTEUR. A la fin de ce chapitre, on survole sur le docking moleculaire et le workflow de Découverte de Médicament d'équipe. Implémentation d’un gestionaire de workflow sur la plateforme Dans ce chapitre, tout d'abord, on présente l'objectif d'implémentation du moteur de workflow sur la plateforme et les problématiques.
Après, on présente profondément l'amélioration de la version actuelle de MOTEUR, le déploiement de service pour la découverte de médicaments. A la fin, ce sont la mise en œuvre d’un workflow de soumission des tâches spécifié pour la découverte de médicaments et le workflow de soumission des agents qui joue le rôle d'environnement de production de plateforme. Expériences et Résultats On illustre les expériences et présente les résultats.Conclusion et Perspectives On fait la conclusion et propose des idées à faire dans l'avenir. TRAN Tuan Tu, IFI-P12 8 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Chapitre-1 Introduction 1.1 La bioinformatique sur grille La bioinformatique est un champ de recherche multidisciplinaire où travaillent de concert biologistes, informaticiens, mathématiciens et physiciens, dans le but de résoudre un problème scientifique posé par la biologie.
Le terme bio-informatique peut également décrire toutes les applications informatiques résultant de ces recherches. Cette discipline constitue la « biologie in-silico » , par analogie avec « in-vitro » (dans le verre) ou « in-vivo » (au sein du vivant). La bioinformatique a pour but de produire de nouvelles connaissances sur le fonctionnement des cellules des organismes vivants, leur évolution, leur état sain ou pathologique. Pour faire cela, elle s'est tout d'abord limitée à la “génomique”, qui étudie la structure, le fonctionnement et l'évolution des génomes.