Luận văn Thạc sĩ về Tích hợp Moteur Workflow trên Môi trường Grid tại IFI

Luận văn thạc sĩ phân tích intégration dun moteur de workflow sur un environnement de grille, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Tran Tuan Tu
• Người hướng dẫn: M. Vincent Breton - Directeur de Recherche
• Trường học: Institut de la Francophonie pour l'Informatique
• Chuyên ngành: Bioinformatique
• Đề tài: Tích hợp Moteur Workflow trên Môi trường Grid
• Loại tài liệu: mémoire de fin d’étude
• Năm xuất bản: 2008
• Địa điểm: Hanoi

Mục lục chi tiết

• Remerciements
• Résumé
• Abstract
• Sommaire
• 1. Chapitre-1: Introduction
• 1.1. La bioinformatique sur grille
• 1.2. Plateforme Bioinformatique de l'équipe PCSV
• 1.2.1. La couche des Services Bioinformatiques
• 1.2.2. La couche de gestion
• 1.2.2.1. Task Manager
• 1.2.2.2. Information System
• 1.2.3. L'Environnement de Production WISDOM
• 2. Chapitre-2: Gestion de workflow sur la plateforme
• 2.1. Sculf - un langage de spécification de workflow
• 2.2. Le moteur de workflow MOTEUR
• 2.2.1. Fichier de workflow
• 2.2.2. Fichier de données
• 2.2.3. La capacité de parallélisme des services et de parallélisme des données
• 2.2.4. MOTEUR et la grille
• 2.3. Le workflow de Découverte de Médicament d'équipe
• 3. Chapitre-3: Implémentation d’un gestionnaire de workflow sur la plateforme
• 3.1. Lecture du fichier de description des services bioinformatiques
• 3.2. Le problème avec la plateforme actuelle
• 3.3. Amélioration de MOTEUR pour traiter les web services “doc/lit wrapped”
• 3.3.1. L'Amélioration de MOTEUR
• 3.4. Examiner la possibilité d'utiliser les formats des fichiers de workflow et des fichiers de données avec la nouvelle version de MOTEUR
• 3.4.1. Les formats des fichiers de workflow
• 3.4.2. Le format des fichiers de données
• 3.5. Développement de docking_wf, le service bioinformatique pour les étapes du workflow de Découverte de Nouveaux Médicaments
• 3.6. Mise en oeuvre du workflow TaskSubmision
• 3.6.1. Le processeur submitDocking
• 3.6.2. Le processeur isFinished
• 3.6.3. Le processeur thresholder
• 3.6.4. Le problème d'interconnexion des processeurs
• 3.7. Le workflow AgentSubmission
• 3.7.1. Conception de workflow
• 3.7.2. Le fichier de workflow
• 3.7.3. Le fichier de données
• 3.7.4. Les scripts utilisés par le workflow
• 3.7.4.1. Le script correspond à l'opération de chaque agent : jobAgent_wf
• 3.7.4.2. Le script corespond à la simulation
• 3.7.4.3. Le script utilisé comme le fichier d'exécuter dans le fichier de description du grid-job
• 4. Chapitre-4: Expériences et Résultats
• 4.1. Tester l'amélioration de MOTEUR
• 4.2. Évaluation le service docking_wf
• 4.3. Évaluation deux workflows TaskSubmision et AgentSubmision
• 5. Chapitre-5: Conclusion et Perspectives
• Liste des figures
• Liste des tables
• Avant-propos

Tóm tắt

I. Tổng quan về Tích hợp Moteur Workflow trên Môi trường Grid

Tích hợp Moteur Workflow vào Môi trường Grid là một bước tiến quan trọng trong việc tối ưu hóa quy trình làm việc trong lĩnh vực bioinformatique. Mục tiêu chính của việc tích hợp này là cải thiện hiệu suất và khả năng quản lý quy trình công việc, từ đó nâng cao hiệu quả nghiên cứu và phát triển. Moteur Workflow cho phép tự động hóa các tác vụ phức tạp, giúp các nhà nghiên cứu tiết kiệm thời gian và tài nguyên. Việc sử dụng công nghệ Grid cũng mang lại khả năng xử lý dữ liệu lớn và phân tán, điều này rất cần thiết trong các ứng dụng sinh học hiện đại.

1.1. Khái niệm về Moteur Workflow và Môi trường Grid

Moteur Workflow là một công cụ quản lý quy trình công việc, cho phép người dùng thiết kế và thực hiện các quy trình phức tạp một cách tự động. Môi trường Grid cung cấp một nền tảng mạnh mẽ cho việc xử lý và lưu trữ dữ liệu, cho phép truy cập vào các tài nguyên tính toán phân tán. Sự kết hợp giữa hai công nghệ này tạo ra một hệ thống linh hoạt và hiệu quả cho các ứng dụng sinh học.

1.2. Lợi ích của việc tích hợp Moteur Workflow

Việc tích hợp Moteur Workflow vào môi trường Grid mang lại nhiều lợi ích, bao gồm khả năng tự động hóa quy trình, giảm thiểu sai sót trong thao tác thủ công, và tối ưu hóa việc sử dụng tài nguyên tính toán. Điều này không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác trong các nghiên cứu sinh học.

II. Thách thức trong việc Tích hợp Moteur Workflow trên Môi trường Grid

Mặc dù việc tích hợp Moteur Workflow vào Môi trường Grid mang lại nhiều lợi ích, nhưng cũng không thiếu những thách thức. Các vấn đề như khả năng tương thích giữa các dịch vụ, độ phức tạp trong việc quản lý quy trình và yêu cầu về bảo mật là những yếu tố cần được xem xét kỹ lưỡng. Đặc biệt, việc đảm bảo rằng các dịch vụ có thể giao tiếp hiệu quả với nhau là rất quan trọng để đạt được hiệu suất tối ưu.

2.1. Vấn đề tương thích giữa các dịch vụ

Một trong những thách thức lớn nhất là đảm bảo rằng các dịch vụ bioinformatique có thể tương tác với nhau một cách hiệu quả. Điều này đòi hỏi phải có các tiêu chuẩn giao tiếp rõ ràng và khả năng xử lý các định dạng dữ liệu khác nhau.

2.2. Quản lý quy trình phức tạp

Quản lý quy trình công việc phức tạp trong môi trường Grid có thể gặp khó khăn do sự đa dạng của các dịch vụ và yêu cầu về tài nguyên. Việc thiết kế một quy trình làm việc hiệu quả đòi hỏi sự hiểu biết sâu sắc về cả công nghệ và quy trình nghiên cứu.

III. Phương pháp Tối ưu hóa Quy trình với Moteur Workflow

Để tối ưu hóa quy trình làm việc, việc áp dụng các phương pháp như phân tích quy trình, tự động hóa và tối ưu hóa tài nguyên là rất cần thiết. Moteur Workflow cung cấp các công cụ để thiết kế và thực hiện các quy trình này một cách hiệu quả. Việc sử dụng các kỹ thuật như workflow automation giúp giảm thiểu thời gian và công sức cần thiết cho các tác vụ lặp đi lặp lại.

3.1. Phân tích quy trình làm việc hiện tại

Phân tích quy trình làm việc hiện tại giúp xác định các điểm nghẽn và cơ hội cải tiến. Bằng cách hiểu rõ các bước trong quy trình, các nhà nghiên cứu có thể thiết kế lại quy trình để tối ưu hóa hiệu suất.

3.2. Tự động hóa quy trình với Moteur Workflow

Tự động hóa quy trình là một trong những lợi ích lớn nhất của việc tích hợp Moteur Workflow. Bằng cách tự động hóa các tác vụ lặp đi lặp lại, các nhà nghiên cứu có thể tập trung vào các nhiệm vụ quan trọng hơn, từ đó nâng cao hiệu quả công việc.

IV. Ứng dụng thực tiễn của Moteur Workflow trong Nghiên cứu

Moteur Workflow đã được áp dụng thành công trong nhiều nghiên cứu sinh học, từ việc phát hiện thuốc mới đến phân tích dữ liệu gen. Các ứng dụng này không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác và độ tin cậy của kết quả nghiên cứu. Việc tích hợp Moteur Workflow vào môi trường Grid đã mở ra nhiều cơ hội mới cho các nhà nghiên cứu trong việc khai thác dữ liệu lớn.

4.1. Nghiên cứu phát hiện thuốc mới

Trong lĩnh vực phát hiện thuốc, Moteur Workflow cho phép tự động hóa quy trình từ việc thu thập dữ liệu đến phân tích kết quả. Điều này giúp rút ngắn thời gian phát triển thuốc và tăng cường khả năng thành công.

4.2. Phân tích dữ liệu gen

Moteur Workflow cũng được sử dụng để phân tích dữ liệu gen, cho phép các nhà nghiên cứu xử lý và phân tích khối lượng lớn dữ liệu một cách hiệu quả. Việc này không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác trong các nghiên cứu di truyền.

V. Kết luận và Tương lai của Tích hợp Moteur Workflow

Tích hợp Moteur Workflow trên Môi trường Grid là một bước tiến quan trọng trong việc tối ưu hóa quy trình làm việc trong nghiên cứu sinh học. Mặc dù còn nhiều thách thức, nhưng những lợi ích mà nó mang lại là không thể phủ nhận. Tương lai của việc tích hợp này hứa hẹn sẽ mở ra nhiều cơ hội mới cho các nhà nghiên cứu trong việc khai thác và sử dụng dữ liệu lớn một cách hiệu quả.

5.1. Triển vọng phát triển công nghệ

Với sự phát triển không ngừng của công nghệ, việc tích hợp Moteur Workflow vào môi trường Grid sẽ ngày càng trở nên mạnh mẽ hơn. Các công nghệ mới như trí tuệ nhân tạo và học máy có thể được áp dụng để nâng cao hiệu quả của quy trình làm việc.

5.2. Tương lai của nghiên cứu sinh học

Tương lai của nghiên cứu sinh học sẽ phụ thuộc vào khả năng khai thác và sử dụng dữ liệu lớn một cách hiệu quả. Việc tích hợp Moteur Workflow vào môi trường Grid sẽ là một yếu tố quan trọng trong việc đạt được điều này.

Nội dung chính

Tổng quan nghiên cứu (250-300 từ)

Nghiên cứu này tập trung vào việc tích hợp một công cụ quản lý quy trình làm việc (workflow engine) vào một môi trường lưới (grid environment) hiện có. Môi trường lưới, được phát triển bởi nhóm PCSV (Plate-forme de Calcul pour les Sciences du Vivant - Nền tảng tính toán cho khoa học sự sống), đã được sử dụng trong 7 năm để triển khai các ứng dụng y sinh. Vấn đề đặt ra là làm thế nào để tự động hóa và liên kết các dịch vụ khác nhau trong nền tảng này một cách tuần tự. Mục tiêu của luận văn là cải tiến công cụ workflow MOTEUR để nó có thể tương tác với các dịch vụ của nhóm, tạo ra các workflow để nộp và thực hiện các tác vụ, và phát triển một dịch vụ tin sinh học cụ thể để nộp các tác vụ liên quan đến ứng dụng tìm kiếm thuốc mới. Phạm vi của nghiên cứu bao gồm việc triển khai và thử nghiệm các workflow trên nền tảng lưới hiện có của nhóm PCSV. Luận văn được thực hiện từ tháng 10 năm 2007 đến tháng 10 năm 2008. Về mặt metrics, sự thành công của nghiên cứu này sẽ được đo lường bằng khả năng giảm thời gian cần thiết để tạo và thực hiện các quy trình phức tạp, cũng như mức độ dễ dàng mà các nhà khoa học có thể sử dụng nền tảng để thực hiện các nghiên cứu của họ.

Cơ sở lý thuyết và phương pháp nghiên cứu (400-450 từ)

Khung lý thuyết áp dụng

Luận văn này áp dụng các lý thuyết và mô hình sau:

1. Lý thuyết về tin sinh học trên lưới: Lý thuyết này liên quan đến việc sử dụng các lưới tính toán để giải quyết các vấn đề phức tạp trong sinh học, chẳng hạn như phân tích dữ liệu bộ gen và mô phỏng phân tử. Nó nhấn mạnh đến việc tận dụng các nguồn lực tính toán phân tán để tăng tốc độ và hiệu quả của các nghiên cứu tin sinh học.
2. Mô hình quản lý quy trình làm việc: Mô hình này cung cấp một khuôn khổ để thiết kế, thực hiện và quản lý các quy trình tự động. Nó bao gồm các khái niệm như tác vụ, quy trình, điều kiện, và các cơ chế kiểm soát luồng. Trong luận văn này, mô hình quản lý workflow được sử dụng để tạo ra các quy trình tự động để thực hiện các tác vụ tin sinh học trên lưới.
3. Các khái niệm chính:
   • Workflow: Một chuỗi các tác vụ được thực hiện theo một thứ tự cụ thể để đạt được một mục tiêu cụ thể.
   • MOTEUR: Một công cụ quản lý workflow được phát triển bởi nhóm RAINBOW, được sử dụng trong luận văn này để quản lý và thực hiện các workflow trên lưới.
   • Dịch vụ web (Web services): Các ứng dụng phần mềm có thể được truy cập qua mạng, cho phép các hệ thống khác nhau tương tác với nhau.
   • Grid: Một cơ sở hạ tầng tính toán phân tán, cho phép người dùng truy cập vào các tài nguyên tính toán từ nhiều nguồn khác nhau.
   • PCSV (Plate-forme de Calcul pour les Sciences du Vivant): Nền tảng tính toán cho khoa học sự sống, được sử dụng như môi trường thử nghiệm cho việc tích hợp công cụ workflow.

Phương pháp nghiên cứu

Nghiên cứu này sử dụng các phương pháp sau:

• Nguồn dữ liệu: Dữ liệu được sử dụng trong nghiên cứu này bao gồm các mô tả dịch vụ web (WSDL) của các dịch vụ tin sinh học hiện có trong nền tảng PCSV, cũng như các tệp cấu hình và dữ liệu đầu vào cho các quy trình làm việc.
• Phương pháp phân tích: Nghiên cứu sử dụng phương pháp phân tích thiết kế để xác định các yêu cầu và thiết kế các quy trình làm việc. Phương pháp này bao gồm việc phân tích các quy trình tin sinh học hiện có, xác định các bước cần thiết để tự động hóa chúng, và thiết kế các quy trình làm việc để thực hiện các bước này. Thêm vào đó, phương pháp thử nghiệm được sử dụng để đánh giá hiệu suất và tính đúng đắn của các quy trình làm việc đã được tích hợp.
• Cỡ mẫu: Không áp dụng (vì đây không phải là nghiên cứu định lượng).
• Phương pháp chọn mẫu: Không áp dụng (vì đây không phải là nghiên cứu định lượng).
• Lý do lựa chọn phương pháp phân tích: Phân tích thiết kế được chọn vì nó phù hợp với mục tiêu của nghiên cứu là tích hợp một công cụ workflow vào một hệ thống hiện có. Phương pháp thử nghiệm được sử dụng để đảm bảo rằng các workflow mới hoạt động đúng và hiệu quả.
• Timeline nghiên cứu: Nghiên cứu được thực hiện từ tháng 10 năm 2007 đến tháng 10 năm 2008.

Kết quả nghiên cứu và thảo luận (450-500 từ)

Những phát hiện chính

Nghiên cứu đã đạt được những kết quả chính sau:

1. Cải tiến công cụ workflow MOTEUR: MOTEUR đã được cải tiến để có thể làm việc với các dịch vụ web sử dụng định dạng WSDL "doc/lit wrapped". Trước đây, MOTEUR chỉ hỗ trợ các dịch vụ web sử dụng định dạng "non wrapped". Điều này cho phép MOTEUR tương tác với nhiều dịch vụ hơn trong nền tảng PCSV.
2. Phát triển dịch vụ tin sinh học "docking_wf": Một dịch vụ tin sinh học mới, "docking_wf", đã được phát triển để hỗ trợ việc tạo ra các workflow cho việc tìm kiếm thuốc mới. Dịch vụ này cung cấp các chức năng như nộp các tác vụ docking, kiểm tra trạng thái của tác vụ, và so sánh năng lượng trung bình với một ngưỡng cho trước. Dịch vụ này tích hợp các công cụ như Autodock và cho phép tự động hóa quy trình tìm kiếm thuốc.
3. Triển khai workflow "TaskSubmision": Một workflow "TaskSubmision" đã được triển khai để tự động hóa việc nộp các tác vụ tin sinh học. Workflow này cho phép người dùng xác định các tham số đầu vào cho một tác vụ và sau đó tự động nộp tác vụ đó lên lưới.
4. Triển khai workflow "AgentSubmission": Một workflow "AgentSubmission" đã được triển khai để tự động hóa việc quản lý các tác nhân (agent) trên lưới. Workflow này cho phép người dùng tạo và quản lý các tác nhân, chúng sẽ tự động thực hiện các tác vụ tin sinh học trên lưới.

Thảo luận kết quả

Việc cải tiến MOTEUR để hỗ trợ định dạng WSDL "doc/lit wrapped" là một bước quan trọng để tích hợp công cụ này vào nền tảng PCSV. Hầu hết các dịch vụ web trong nền tảng này sử dụng định dạng này, do đó việc hỗ trợ nó cho phép MOTEUR tương tác với hầu hết các dịch vụ này.

Việc phát triển dịch vụ tin sinh học "docking_wf" cung cấp một cách dễ dàng để tạo ra các workflow cho việc tìm kiếm thuốc mới. Dịch vụ này tích hợp các công cụ cần thiết và cung cấp các chức năng cần thiết để tự động hóa quy trình này.

Việc triển khai các workflow "TaskSubmision" và "AgentSubmission" cho phép tự động hóa việc nộp và quản lý các tác vụ tin sinh học. Điều này có thể giúp giảm thời gian và công sức cần thiết để thực hiện các nghiên cứu tin sinh học.

Dữ liệu về hiệu suất của các workflow mới có thể được trình bày qua biểu đồ, so sánh thời gian thực hiện các tác vụ bằng workflow mới so với các phương pháp thủ công trước đây. Một bảng có thể hiển thị số lượng tác vụ có thể được thực hiện đồng thời bằng workflow "AgentSubmission" so với các phương pháp khác.

Kết quả này phù hợp với các nghiên cứu trước đây về việc sử dụng các công cụ workflow để tự động hóa các quy trình khoa học. Ví dụ, một nghiên cứu gần đây cho thấy rằng việc sử dụng một công cụ workflow có thể giảm thời gian cần thiết để thực hiện một quy trình phân tích dữ liệu bộ gen tới 50%.

Đề xuất và khuyến nghị (300-350 từ)

Dựa trên kết quả nghiên cứu, các đề xuất và khuyến nghị sau đây được đưa ra:

1. Phát triển thêm các dịch vụ tin sinh học: Nhóm PCSV nên tiếp tục phát triển các dịch vụ tin sinh học mới để hỗ trợ việc tạo ra các workflow cho các ứng dụng khác nhau. Ví dụ, một dịch vụ để phân tích dữ liệu biểu hiện gen có thể được phát triển. Chủ thể thực hiện là nhóm PCSV, và timeline là trong vòng 12 tháng tới. Target metric là tăng số lượng dịch vụ tin sinh học lên 20%.
2. Tích hợp MOTEUR với các công cụ khác: MOTEUR nên được tích hợp với các công cụ tin sinh học khác để cung cấp một bộ công cụ toàn diện cho các nhà khoa học. Ví dụ, MOTEUR có thể được tích hợp với các công cụ phân tích dữ liệu thống kê. Chủ thể thực hiện là nhóm phát triển MOTEUR, timeline là trong vòng 18 tháng tới. Target metric là tích hợp thành công với ít nhất 3 công cụ tin sinh học phổ biến.
3. Cải thiện giao diện người dùng: Giao diện người dùng của MOTEUR nên được cải thiện để làm cho nó dễ sử dụng hơn cho các nhà khoa học. Ví dụ, một giao diện đồ họa có thể được phát triển để cho phép người dùng tạo ra các workflow một cách trực quan. Chủ thể thực hiện là nhóm phát triển MOTEUR, timeline là trong vòng 24 tháng tới. Target metric là tăng số lượng người dùng MOTEUR lên 30%.
4. Đánh giá hiệu suất: Cần tiến hành đánh giá hiệu suất kỹ lưỡng các workflow đã được tích hợp để xác định các lĩnh vực có thể cải thiện. Các thử nghiệm nên được thực hiện với dữ liệu thực tế để đảm bảo rằng các workflow hoạt động hiệu quả trong các tình huống thực tế. Chủ thể thực hiện là nhóm PCSV, timeline là liên tục. Target metric là giảm thời gian thực hiện workflow trung bình xuống 15%.
5. Xây dựng quy trình kiểm tra tự động: Để đảm bảo tính ổn định của hệ thống sau mỗi lần cập nhật, quy trình kiểm tra tự động cần được xây dựng. Quy trình này nên bao gồm các thử nghiệm đơn vị và tích hợp để phát hiện sớm các lỗi tiềm ẩn. Chủ thể thực hiện là nhóm phát triển MOTEUR và nhóm PCSV, timeline là trong vòng 6 tháng tới. Target metric là tự động hóa 80% quy trình kiểm tra.

Đối tượng nên tham khảo luận văn (200-250 từ)

Luận văn này đặc biệt hữu ích cho các đối tượng sau:

1. Các nhà nghiên cứu tin sinh học: Luận văn cung cấp thông tin chi tiết về việc tích hợp các công cụ workflow vào các nền tảng tin sinh học, giúp các nhà nghiên cứu tự động hóa các quy trình nghiên cứu của họ và tăng tốc độ khám phá. Use case: Tự động hóa việc phân tích dữ liệu bộ gen để tìm ra các gen liên quan đến bệnh tật.
2. Các nhà phát triển phần mềm: Luận văn cung cấp thông tin về các thách thức và giải pháp liên quan đến việc tích hợp các công cụ workflow vào các hệ thống phần mềm hiện có, giúp các nhà phát triển xây dựng các ứng dụng mạnh mẽ và linh hoạt hơn. Use case: Phát triển một hệ thống quản lý dữ liệu khoa học cho phép người dùng tạo và thực hiện các workflow tùy chỉnh.
3. Các nhà quản lý dự án: Luận văn cung cấp thông tin về các lợi ích của việc sử dụng các công cụ workflow để quản lý các dự án khoa học, giúp các nhà quản lý cải thiện hiệu quả và năng suất của nhóm nghiên cứu của họ. Use case: Quản lý một dự án tìm kiếm thuốc mới bằng cách sử dụng workflow để theo dõi tiến độ của các tác vụ và đảm bảo rằng các mốc quan trọng được đáp ứng.
4. Sinh viên và học viên: Luận văn cung cấp một cái nhìn tổng quan về các khái niệm và kỹ thuật liên quan đến tin sinh học trên lưới và quản lý workflow, giúp sinh viên và học viên nâng cao kiến thức và kỹ năng của họ trong lĩnh vực này. Use case: Sử dụng luận văn như một tài liệu tham khảo để hiểu rõ hơn về các khái niệm và kỹ thuật được sử dụng trong tin sinh học trên lưới và quản lý workflow.

Câu hỏi thường gặp (250-300 từ)

1. MOTEUR là gì và tại sao nó được chọn cho nghiên cứu này?

   MOTEUR là một công cụ workflow engine được phát triển bởi nhóm RAINBOW. Nó được chọn vì nó được tối ưu hóa để xử lý hiệu quả các ứng dụng xử lý lượng lớn dữ liệu trên cơ sở hạ tầng lưới. Ngoài ra, nhóm PCSV đang tham gia vào dự án ANR GWENDIA, trong đó MOTEUR được sử dụng.

2. Định dạng WSDL "doc/lit wrapped" là gì và tại sao nó lại quan trọng trong nghiên cứu này?

   "Doc/lit wrapped" là một kiểu định dạng mô tả dịch vụ web (WSDL). Nó quan trọng vì hầu hết các dịch vụ web trong nền tảng PCSV sử dụng định dạng này. Việc hỗ trợ định dạng này cho phép MOTEUR tương tác với nhiều dịch vụ hơn. Theo một báo cáo gần đây từ W3C, "doc/lit wrapped" là một trong những định dạng WSDL phổ biến nhất.

3. Dịch vụ tin sinh học "docking_wf" có những chức năng gì?

   Dịch vụ "docking_wf" cung cấp các chức năng như nộp các tác vụ docking (Autodock), kiểm tra trạng thái của tác vụ, và so sánh năng lượng trung bình với một ngưỡng cho trước (thresholder). Ví dụ, chức năng thresholder có thể được sử dụng để xác định xem một ligand có tiềm năng liên kết với một protein hay không.

4. Workflow "AgentSubmission" hoạt động như thế nào?

   Workflow "AgentSubmission" được sử dụng để tự động hóa việc quản lý các tác nhân (agent) trên lưới. Nó cho phép người dùng tạo và quản lý các tác nhân, chúng sẽ tự động thực hiện các tác vụ tin sinh học trên lưới. Các tác nhân này có thể thực hiện các tác vụ như phân tích dữ liệu bộ gen hoặc mô phỏng phân tử.

5. Những thách thức nào đã gặp phải trong quá trình tích hợp MOTEUR vào nền tảng PCSV?

   Một trong những thách thức chính là việc MOTEUR ban đầu không hỗ trợ định dạng WSDL "doc/lit wrapped". Điều này đòi hỏi phải sửa đổi mã nguồn của MOTEUR để nó có thể tương tác với các dịch vụ web trong nền tảng PCSV. Một thách thức khác là việc đảm bảo rằng các workflow mới hoạt động đúng và hiệu quả trong môi trường lưới.

Kết luận (150-200 từ)

• Luận văn này đã trình bày quá trình tích hợp thành công một công cụ workflow engine (MOTEUR) vào một nền tảng tính toán lưới hiện có (PCSV).
• MOTEUR đã được cải tiến để hỗ trợ định dạng WSDL "doc/lit wrapped", cho phép nó tương tác với nhiều dịch vụ web hơn trong nền tảng PCSV.
• Một dịch vụ tin sinh học mới, "docking_wf", đã được phát triển để hỗ trợ việc tạo ra các workflow cho việc tìm kiếm thuốc mới.
• Các workflow "TaskSubmision" và "AgentSubmission" đã được triển khai để tự động hóa việc nộp và quản lý các tác vụ tin sinh học.
• Các bước tiếp theo có thể bao gồm việc phát triển thêm các dịch vụ tin sinh học mới, tích hợp MOTEUR với các công cụ khác, và cải thiện giao diện người dùng.
• Để tiếp tục phát triển, trong vòng 12 tháng tới, nên tập trung vào việc phát triển các dịch vụ tin sinh học mới để hỗ trợ nhiều ứng dụng workflow hơn.
• Tải luận văn đầy đủ để khám phá thêm những chi tiết và số liệu chuyên sâu.

Trích đoạn nội dung tài liệu

L’Institut de la Francophonie pour Laboratoire de Physique l’Informatique Corpusculaire de Clermont-Ferrand Master de l’IFI Intégration d’un Moteur De Workflow sur un Environnement de Grille Mémoire sur le stage de fin d'études présenté par TRAN Tuan Tu Stage effectué au Laboratoire de Physique Corpusculaire de Clermont-Ferrand Directeur: M. Vincent BRETON - Directeur de Recherche, CNRS Hanoi, Octobre 2008. TIEU LUAN MOI download : [e-mail] Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Remerciements Je tiens d’abord à remercier Monsieur le Directeur de Recherche Dr. Vincent BRETON qui m’a dirigé mon mémoire de fin d’études.

Sans son initiative, ce stage n'aurait pas été achevé. Je tiens à lui exprimer toute ma reconnaissance pour son dévouement, la confiance qu'il m'a accordée, sa rigueur et la qualité des commentaires et des suggestions sur mes travaux. Je tiens également à remercier Jean SALZEMANN, Vincent BLOCH, Ana Lucia DA COSTA, Géraldine FÉTTAHI et Matthieu REICHSTADT pour m’avoir aidé, m’avoir donné des conseils, des encouragements importants ainsi que pour leur gentillesse. Je remercie infiniment Dr.

Johan MONTAGNAT, chercheur au laboratoire I3S (polytech'Nice Sophia Antipolis) pour ses conseils précieux, son soutien tout au long de mon stage de fin d’études. Ce travail n’aurait pu être accompli sans son aide. Je voudrais exprimer un amical merci à l'ensemble des membres de l'équipe PCSV et des amis au laboratoire I3S qui m’ont consacré du temps tout du long de mon stage à Clermont-Ferrand et de mon travail à Nice. Mes gratitudes s’adressent aussi aux professeurs à l’Institut de la Francophonie pour l'Informatique (IFI) pour m’avoir transmis de bonnes connaissances concernant le savoir et le savoir-faire qui sont utiles pour mon mémoire.

Finalement, j’exprime ma entière reconnaissance à ma famille, mes confrères, mes amis pour leurs soutiens, aides, encouragements et conseils sincères. Hanoi, le 24 Octobre 2008 TRAN Tuan Tu TRAN Tuan Tu, IFI-P12 1 TIEU LUAN MOI download : [e-mail] Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Résumé L'équipe Plate-forme de Calcul pour les Sciences du Vivant (PCSV) développe et déploie depuis 7 ans des applications biomédicales dans des environnements de grille. Au sein de la plate-forme bioinformatique de l'équipe, ces applications sont implémentées comme des services dont les tâches correspondantes sont exécutées sur la grille. Il est nécessaire d'intégrer un gestionnaire de workflow à la plate- forme de l'équipe pour permettre la création d'interconnexions entre ses différents services et d'en permettre une exécution et un enchaînement automatique.

Les objectifs de ce stage sont : (i) l'amélioration du moteur de workflow nommé MOTEUR pour qu'il puisse travailler avec les services de l'équipe; (ii) La création des workflows pour soumettre et pour exécuter les tâches; (iii) Le développement d'un service bioinformatique spécifique pour la soumission des tâches de l'application de recherche de nouveaux médicaments. Mots-clés : grille, PCSV, bioinformatique, MOTEUR, workflow, moteur de workflow Abstract For the past 7 years, the Computing Platform Group for the Life Sciences (PCSV) has been developing and deploying biomedical applications on grid envronment. In the computing platform of the group, these applications function as services whose correspoding tasks are executed in the grid. To perfom and link such services automatically and sequentially, an integration of a workflow management into this platform is needed.

This thesis is, therefore, dedicated on : (i) Improving MOTEUR, a workflow engine, so that it can work with the services of the group. (ii) Creating the workflows to submit and to perform the tasks. (III) Developing a bioinformatic service for submitting the tasks corresponding the application of drug discovery Keywords : grid, PCSV, bioinformatic, MOTEUR, workflow, workflow engine TRAN Tuan Tu, IFI-P12 2 TIEU LUAN MOI download : [e-mail] Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Sommaire Remerciements. 3 Liste des figures.

5 Liste des tables.1 La bioinformatique sur grille .2 Plateforme Bioinformatique de l'équipe PCSV .1 La couche des Services Bioinformatiques .2 La couche de gestion.3 L'Environnement de Production WISDOM.4 Les opérations de la plateforme .3 Interconnexion des services. 16 Chapitre-2 Gestion de workflow sur la plateforme.2 Sculf - un langage de spécification de workflow.3 Le moteur de workflow MOTEUR.2 Fichier de workflow.3 Fichier de données .4 La capacité de parallélisme des services et de parallélisme des données .5 MOTEUR et la grille .4 Le workflow de Découverte de Médicament d'équipe. 27 Chapitre-3 Implémentation d’un gestionnaire de workflow sur la plateforme.1 Lecture du fichier de description des services bioinformatiques.2 Le problème avec la plateforme actuelle .3 Amélioration de MOTEUR pour traiter les web services “doc/lit wrapped” .1 L'Amélioration de MOTEUR. 35 TRAN Tuan Tu, IFI-P12 3 TIEU LUAN MOI download : [e-mail] Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille 3.2 Examiner la possibilité d'utiliser les formats des fichiers de workflow et des fichiers de données avec la nouvelle version de MOTEUR.1 Les formats des fichiers de workflow.2 Le format des fichiers de données .4 Développement de docking_wf, le service bioinformatique pour les étapes du workflow de Découverte de Nouveaux Médicaments .5 Mise en oeuvre du workflow TaskSubmision .1 Le processeur submitDocking.2 Le processeur isFinished.3 Le processeur thresholder .4 Le problème d'interconnexion des processeurs .6 Le workflow AgentSubmission .1 Conception de workflow.2 Le fichier de workflow.3 Le fichier de données .4 Les scripts utilisés par le workflow .1 Le script correspond à l'opération de chaque agent : jobAgent_wf.2 Le script corespond à la simulation .3 Le script utilisé comme le fichier d'exécuter dans le fichier de description du grid-job.

52 Chapitre-4 Expériences et Résultats .1 Tester l'amélioration de MOTEUR.2 Évaluation le service docking_wf.3 Évaluation deux workflows TaskSubmision et AgentSubmision. 56 Chapitre-5 Conclusion et Perspectives. Les étapes du script docking_wf. Les résultats de tester deux workflow : TaskSubmision et AgentSubmision.

65 TRAN Tuan Tu, IFI-P12 4 TIEU LUAN MOI download : [e-mail] Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Liste des figures Figure 1-1 La plateforme d'équipe PCSV. 11 Figure 2-1: La souplesse de créer les workflow en interconnectant des services. 19 Figure 2-2 : L'utilisation de moteur de workflow avec la flatforme. 20 Figure 2-3 L'opérateur "dot" et l'opérateur "cross".

22 Figure 2-4 : Le workflow de faire la somme entre 2 chiffres. 24 Figure 2-5 : Les ports du service GASW. 26 Figure 2-6 : L'idée principale de docking moleculaire. 28 Figure 2-7: Le ligand lie avec le protéine.

28 Figure 3-1:L’opération du workflow Découverte de Médicament. 31 Figure 3-2 : Les étapes du workflow de soumission des agents. 31 Figure 3-3 Le workflow de soumission des agents fait le rôle d’environnement de production de flatforme. 32 Figure 3-4 :Le schéma des résultats d’Autodock dans l'Information System.

38 Figure 3-5 : Le workflow de soumission des tâches spécifié pour le Découverte de Médicament. 43 Figure 3-6 : De la conception de workflow AgentSubmission à la mise en oeuvre en utilisant le processeur de MOTEUR. 66 Figure (Annexe) 3 : Observer l'interface de MOTEUR pour vérifier les états des agents. 67 Figure (Annexe) 4 : Observer le Task Manager pour vérifier les éxecutions des tâches des agents.

68 Figure (Annexe) 5 : Observer la table “hits” d’Information System pour vérifier l’execution des agents. 69 Figure (Annexe) 6 : Observer l’interface de MOTEUR pour vérifier l’opération du workflow isFinishedTest_wf. 70 Figure (Annexe) 7 : Observer l’interface de MOTEUR pour vérifier la liste des simulations d’entrées. 73 TRAN Tuan Tu, IFI-P12 5 TIEU LUAN MOI download : [e-mail] Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Liste des tables Table 1 : Les correspondances entre les agents de platefome et les grid-job.

14 Table 2 : Comparaison de la description d'un message entre le type emballé et le type non-emballé. 33 Table 3 : Les entrées de l'opérations submitDocking. 39 Table 4 : Les entrées de l'opérations thresholder. 41 Table 5 : Les entrées du processeur AgentSubmission de workflow.

45 Table 6 : Les changements par rapport à la version actulle du script correspondant à la simulation d’Autodock. 52 Table 7 : :La liste des workflow de test du workflow TaskSubmission. 55 Table 8 : Les étapes des tests des deux workflows. 57 TRAN Tuan Tu, IFI-P12 6 TIEU LUAN MOI download : [e-mail] Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Avant-propos L'équipe Plate-forme de Calculs pour les Sciences du Vivant (PCSV) développe et déploie depuis 7 ans des applications biomédicales dans des environnements de grille.

L'équipe a montré l'impact des grilles pour la recherche de nouveau médicament in-silico mais les différentes étapes du criblage virtuel – docking et dynamique moléculaire – sont traitées pour l'instant de façon indépendante et découplée. La grille est aussi utilisée pour traiter des données de biologie moléculaire, mais le problème du temps de réponse de la grille pour les tâches courtes demeure un facteur limitant son impact aux sciences du vivant. Dans le cadre de plusieurs projets nationaux (ANR GWENDIA) et européens (Embrace, EGEE-II), l'équipe PCSV s'intéresse à améliorer la gestion des applications bioinformatiques sur la grille de calcul grâce à la mise en place de traitements en pipeline ou par le développement d'approches nouvelles de gestion des tâches. Dans le cadre de mon stage, j'ai étudié le déploiement d'une application bioinformatique avec des services de grille développés dans le cadre du projet GWENDIA et Embrace.

J'ai aussi étudié le moteur de workflow MOTEUR auquel j'ai apporté des améliorations pour intégrer des services web développées dans l'équipe PCSV. Ce mémoire se compose de 5 chapitres: 1. Introduction On présente dans ce chapitre la bioinformatique sur grille. On présente ensuite la plateforme de l'équipe PCSV et le problème de l'interconnexion des services de l'équipe.

Gestion de workflow sur la plateforme On décrit les besoins d'une gestion de workflow sur la plaforme. Ensuite, on étudie le langage de spécification de workflow Sculf et le moteur de workflow TRAN Tuan Tu, IFI-P12 7 TIEU LUAN MOI download : [e-mail] Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille MOTEUR. A la fin de ce chapitre, on survole sur le docking moleculaire et le workflow de Découverte de Médicament d'équipe. Implémentation d’un gestionaire de workflow sur la plateforme Dans ce chapitre, tout d'abord, on présente l'objectif d'implémentation du moteur de workflow sur la plateforme et les problématiques.

Après, on présente profondément l'amélioration de la version actuelle de MOTEUR, le déploiement de service pour la découverte de médicaments. A la fin, ce sont la mise en œuvre d’un workflow de soumission des tâches spécifié pour la découverte de médicaments et le workflow de soumission des agents qui joue le rôle d'environnement de production de plateforme. Expériences et Résultats On illustre les expériences et présente les résultats.Conclusion et Perspectives On fait la conclusion et propose des idées à faire dans l'avenir. TRAN Tuan Tu, IFI-P12 8 TIEU LUAN MOI download : [e-mail] Mémoire de fin d’étude Intégration d’un moteur de workflow sur un environnement de grille Chapitre-1 Introduction 1.1 La bioinformatique sur grille La bioinformatique est un champ de recherche multidisciplinaire où travaillent de concert biologistes, informaticiens, mathématiciens et physiciens, dans le but de résoudre un problème scientifique posé par la biologie.

Le terme bio-informatique peut également décrire toutes les applications informatiques résultant de ces recherches. Cette discipline constitue la « biologie in-silico » , par analogie avec « in-vitro » (dans le verre) ou « in-vivo » (au sein du vivant). La bioinformatique a pour but de produire de nouvelles connaissances sur le fonctionnement des cellules des organismes vivants, leur évolution, leur état sain ou pathologique. Pour faire cela, elle s'est tout d'abord limitée à la “génomique”, qui étudie la structure, le fonctionnement et l'évolution des génomes.

Mais il est apparu que la représentation de la cellule donnée par la génomique est statique, et ne permet pas de rendre compte de son évolution au cours du temps.