Luận văn Thạc sĩ VNU về Dự án Dữ liệu Liên kết Nông nghiệp AgroLD

Luận văn thạc sĩ nghiên cứu vnu le projet agronomic linked data agrold, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực .

• Tác giả: Tagny Ngompe Gildas
• Người hướng dẫn: Dr. Pierre Larmande – Ingénieur IRD, Responsable De L’axe Intégration De Données De L’institut De Biologie Computationnelle
• Trường học: Université Nationale Du Vietnam, Hanoi Institut Francophone International
• Chuyên ngành: Systèmes Intelligents et Multimédia
• Đề tài: Le Projet “Agronomic Linked Data (Agrold)” Dự Án Agrold (Mô Hình Dữ Liệu Agronomic)
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Hanoi

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: PROBLÉMATIQUE DU PROJET AGROLD
• 1.1. Contexte
• 1.3. Problématique du sujet
• 2. CHƯƠNG 2: PUBLICATION DES DONNÉES LIÉES ET OUVERTES
• 2.1. Le web des données liées et ouvertes
• 2.2. Publication de données des sciences du vivant
• 2.3. Systèmes d’interrogation du web des données
• 2.3.1. Aide à la construction de requêtes
• 2.3.2. Recherche d’informations spécifiques
• 2.4. Intégration de données de sources multiples
• 3. CHƯƠNG 3: SOLUTION PROPOSÉE
• 3.1. Paradigmes de recherche sémantique
• 3.1.1. Intégration et adaptation de systèmes existants
• 3.1.2. Développement de nouvelles fonctionnalités
• 4. CHƯƠNG 4: EXPÉRIMENTATIONS ET ANALYSE DES RÉSULTATS
• 4.1. Utilisation de l’application web AgroLD par des utilisateurs humains
• 4.1.1. Entrée des requêtes et expressivité
• 4.1.2. Exécution des requêtes et temps de réponse
• 4.1.3. Présentation des résultats
• 4.2. Utilisation des informations de la base AgroLD dans des applications
• 4.2.1. Utilisation de l’API pour la programmation
• 4.2.2. Utilisation de l’API dans les workflows
• CONCLUSION
• Références
• Annexes
• Glossaire

Tóm tắt

I. Tổng quan về Dự án Dữ liệu Liên kết Nông nghiệp AgroLD

Dự án Dữ liệu Liên kết Nông nghiệp AgroLD là một sáng kiến quan trọng trong việc tích hợp và phân tích dữ liệu nông nghiệp. Dự án này nhằm mục đích xây dựng một cơ sở dữ liệu liên kết, giúp các nhà nghiên cứu và chuyên gia trong lĩnh vực nông nghiệp có thể truy cập và sử dụng thông tin một cách hiệu quả hơn. AgroLD không chỉ cung cấp dữ liệu từ các nguồn khác nhau mà còn giúp kết nối các thông tin này lại với nhau, tạo ra một mạng lưới thông tin phong phú và đa dạng.

1.1. Mục tiêu và tầm quan trọng của AgroLD

Mục tiêu chính của dự án AgroLD là xây dựng một cơ sở dữ liệu RDF từ các nguồn dữ liệu nông nghiệp, nhằm cung cấp thông tin phong phú cho các nhà nghiên cứu. Dự án này không chỉ giúp cải thiện khả năng truy cập thông tin mà còn hỗ trợ việc ra quyết định trong nông nghiệp thông minh.

1.2. Lịch sử hình thành và phát triển của AgroLD

AgroLD được phát triển từ năm 2015 dưới sự hướng dẫn của các chuyên gia hàng đầu trong lĩnh vực công nghệ thông tin và nông nghiệp. Dự án đã trải qua nhiều giai đoạn phát triển, từ việc xây dựng cơ sở dữ liệu ban đầu đến việc tích hợp các công nghệ mới nhất trong lĩnh vực dữ liệu liên kết.

II. Vấn đề và thách thức trong Dự án AgroLD

Dự án AgroLD đối mặt với nhiều thách thức trong việc tích hợp dữ liệu từ các nguồn khác nhau. Các vấn đề như định dạng dữ liệu không đồng nhất, sự khác biệt trong mô hình dữ liệu và các tiêu chuẩn khác nhau giữa các nguồn thông tin là những rào cản lớn. Ngoài ra, việc đảm bảo tính chính xác và độ tin cậy của dữ liệu cũng là một thách thức không nhỏ.

2.1. Những khó khăn trong việc tích hợp dữ liệu

Một trong những khó khăn lớn nhất là việc các nguồn dữ liệu không tuân theo cùng một định dạng, dẫn đến việc khó khăn trong việc kết nối và truy xuất thông tin. Điều này yêu cầu một hệ thống linh hoạt có khả năng xử lý và chuyển đổi dữ liệu từ nhiều nguồn khác nhau.

2.2. Thách thức về công nghệ và nguồn lực

Việc phát triển và duy trì một hệ thống như AgroLD đòi hỏi nguồn lực công nghệ cao và đội ngũ nhân lực có chuyên môn. Sự thiếu hụt về nguồn lực có thể ảnh hưởng đến tiến độ và chất lượng của dự án.

III. Phương pháp và giải pháp trong Dự án AgroLD

Để giải quyết các vấn đề và thách thức, dự án AgroLD đã áp dụng nhiều phương pháp và giải pháp công nghệ tiên tiến. Việc sử dụng các công nghệ web semantique và các tiêu chuẩn dữ liệu mở giúp cải thiện khả năng tích hợp và truy xuất thông tin.

3.1. Sử dụng công nghệ web semantique

Công nghệ web semantique cho phép các nhà nghiên cứu xây dựng các mối quan hệ giữa các dữ liệu khác nhau, từ đó tạo ra một mạng lưới thông tin phong phú. Điều này giúp cải thiện khả năng tìm kiếm và truy xuất thông tin trong cơ sở dữ liệu.

3.2. Phát triển API cho việc truy cập dữ liệu

Dự án AgroLD đã phát triển một API RESTful cho phép người dùng dễ dàng truy cập và sử dụng dữ liệu. API này hỗ trợ việc tích hợp vào các ứng dụng khác, giúp mở rộng khả năng sử dụng của cơ sở dữ liệu.

IV. Ứng dụng thực tiễn và kết quả nghiên cứu từ AgroLD

Dự án AgroLD đã mang lại nhiều ứng dụng thực tiễn trong lĩnh vực nông nghiệp thông minh. Các nhà nghiên cứu và chuyên gia đã sử dụng cơ sở dữ liệu này để phát triển các ứng dụng mới, từ việc phân tích dữ liệu đến việc tối ưu hóa quy trình sản xuất nông nghiệp.

4.1. Các ứng dụng trong nghiên cứu nông nghiệp

Nhiều nghiên cứu đã được thực hiện dựa trên dữ liệu từ AgroLD, giúp cải thiện hiểu biết về các yếu tố ảnh hưởng đến sản xuất nông nghiệp. Các ứng dụng này không chỉ giúp nâng cao năng suất mà còn giảm thiểu tác động tiêu cực đến môi trường.

4.2. Kết quả đạt được từ việc sử dụng AgroLD

Kết quả từ việc sử dụng AgroLD cho thấy sự cải thiện rõ rệt trong khả năng truy xuất và phân tích dữ liệu. Các nhà nghiên cứu đã có thể đưa ra các quyết định chính xác hơn dựa trên thông tin phong phú và đa dạng từ cơ sở dữ liệu.

V. Kết luận và tương lai của Dự án AgroLD

Dự án Dữ liệu Liên kết Nông nghiệp AgroLD đã chứng minh được giá trị của mình trong việc tích hợp và phân tích dữ liệu nông nghiệp. Tương lai của dự án hứa hẹn sẽ tiếp tục mở rộng và cải thiện khả năng cung cấp thông tin cho các nhà nghiên cứu và chuyên gia trong lĩnh vực này.

5.1. Triển vọng phát triển của AgroLD

Với sự phát triển không ngừng của công nghệ thông tin, AgroLD có khả năng mở rộng và tích hợp thêm nhiều nguồn dữ liệu mới. Điều này sẽ giúp cải thiện khả năng cung cấp thông tin và hỗ trợ các quyết định trong nông nghiệp.

5.2. Tầm quan trọng của việc duy trì và cập nhật dữ liệu

Việc duy trì và cập nhật dữ liệu thường xuyên là rất quan trọng để đảm bảo tính chính xác và độ tin cậy của thông tin. AgroLD cần có một kế hoạch rõ ràng để thực hiện điều này, nhằm phục vụ tốt nhất cho cộng đồng nghiên cứu.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của các công nghệ giải trình tự thế hệ mới đã tạo ra khối lượng dữ liệu sinh học khổng lồ, nhưng phần lớn các nguồn dữ liệu này vẫn tồn tại ở dạng đóng, phân mảnh và không đồng nhất về mặt ngữ nghĩa. Trong khi các dự án dữ liệu liên kết mở đã phát triển mạnh mẽ trong lĩnh vực y sinh học với hơn 12 nguồn dữ liệu lớn được tích hợp, thì nguồn dữ liệu dành riêng cho sinh học thực vật và nông học vẫn còn rất hạn chế. Được thành lập từ năm 2012 trong khuôn khổ sáng kiến quốc gia của Pháp với 5 nhóm làm việc chuyên sâu, Viện Sinh học Tính toán đã khởi xướng dự án AgroLD nhằm xây dựng cơ sở tri thức dữ liệu liên kết mở chuyên biệt cho nông nghiệp.

Vấn đề nghiên cứu trọng tâm của luận văn là giải quyết rào cản kỹ thuật giữa cấu trúc dữ liệu đồ thị phức tạp và khả năng tiếp cận của người dùng. Phần lớn các nhà sinh học thực nghiệm không thành thạo ngôn ngữ truy vấn SPARQL, trong khi các kỹ sư tin sinh học lại thiếu các giao diện lập trình chuẩn hóa để tích hợp dữ liệu vào các quy trình phân tích tự động. Mục tiêu cụ thể của công trình là thiết kế và hiện thực hóa một kiến trúc ứng dụng web đa tầng, tích hợp 4 phương thức truy vấn ngữ nghĩa linh hoạt và cung cấp bộ giao diện lập trình ứng dụng RESTful API hoàn chỉnh.

Phạm vi nghiên cứu được triển khai trong giai đoạn 2014 - 2015 tại Viện Sinh học Tính toán (IBC) phối hợp cùng Viện Nghiên cứu Phát triển (IRD), Trung tâm Hợp tác Quốc tế Nghiên cứu Nông nghiệp vì Sự phát triển (CIRAD) và Viện Quốc tế Pháp ngữ (IFI) thuộc Đại học Quốc gia Hà Nội. Ý nghĩa thực tiễn của nghiên cứu được chứng minh qua việc tối ưu hóa tốc độ phản hồi truy vấn đạt mức 452 mili-giây, hỗ trợ điều hướng tự động qua 5 nhóm thực thể sinh học chính và nâng cao khả năng khai thác dữ liệu liên kết cho cộng đồng khoa học nông nghiệp toàn cầu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng lý thuyết Web ngữ nghĩa và Dữ liệu mở liên kết do tổ chức W3C chuẩn hóa, vận hành theo 5 nguyên tắc định danh tài nguyên bằng URI, phân giải qua giao thức HTTP và mô tả tri thức bằng các bộ ba chuẩn RDF (Resource Description Framework). Để mô hình hóa ngữ nghĩa phức tạp trong nông học, luận văn áp dụng lý thuyết kỹ nghệ bản thể học với sự tích hợp của 3 hệ thống bản thể học sinh học tiêu chuẩn gồm: bản thể học gen Gene Ontology (GO) nhằm chuẩn hóa chức năng sản phẩm gen, bản thể học thực vật Plant Ontology (PO) mô tả cấu trúc giải phẫu và các giai đoạn phát triển, cùng bản thể học môi trường thực nghiệm Plant Environment Ontology (EO).

Mô hình nghiên cứu kế thừa và mở rộng kiến trúc hướng dịch vụ RESTful theo thiết kế của nền tảng tích hợp dược học Open PHACTS Discovery Platform. Hệ thống sử dụng cơ chế trung gian để ánh xạ các câu hỏi sinh học thường gặp thành các mẫu truy vấn SPARQL tối ưu. Định dạng dữ liệu trao đổi được chuẩn hóa qua 3 cấu trúc chính gồm RDF/Turtle, JSON và TSV, đảm bảo khả năng tương thích cao với cả người dùng đầu cuối lẫn các ứng dụng máy học tự động theo triết lý "liên kết các nguồn dữ liệu sinh học phân tán thành không gian tri thức thống nhất".

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được trích xuất và chuyển đổi tự động từ hệ thống cơ sở dữ liệu SouthGreen và Gramene, tập trung vào 2 loài sinh vật mô hình quan trọng trong nông nghiệp là cây lúa (Oryza) và cải Arabidopsis Thaliana, đồng thời kết nối mở rộng với cơ sở dữ liệu protein UniProtKB và trung tâm thông tin công nghệ sinh học quốc gia Hoa Kỳ (NCBI).

Cỡ mẫu nghiên cứu bao gồm toàn bộ 5 nhóm thực thể sinh học cốt lõi cấu thành hệ thống: Gen, Protein, Tính trạng số lượng (QTL), Con đường sinh học (Pathway) và các Lớp bản thể học (Ontology Classes). Phương pháp chọn mẫu là chọn mẫu có chủ đích dựa trên 4 kịch bản truy vấn thực tế, đại diện cho 4 mức độ phức tạp từ tìm kiếm từ khóa đơn giản, truy vấn liên kết đa tầng, trích xuất dữ liệu ngoại vi cho đến khám phá mối quan hệ tiềm ẩn trong đồ thị tri thức.

Lý do lựa chọn phương pháp phân tích thực nghiệm kết hợp giữa khung đánh giá khả năng sử dụng hệ thống (System Usability Scale) và phương pháp đo lường thời gian thực thi (latency measurement) là nhằm đánh giá toàn diện 3 khía cạnh: tính khả dụng, tính biểu đạt cú pháp và hiệu năng xử lý. Toàn bộ quá trình nghiên cứu và thử nghiệm được tiến hành liên tục trong 12 tháng từ năm 2014 đến năm 2015, trải qua các giai đoạn từ khảo sát cấu trúc dữ liệu, thiết kế API trên nền tảng Jersey 2.17 cho đến kiểm thử tích hợp trên môi trường pipeline Galaxy.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm trên hệ thống đã mang lại 4 kết quả then chốt chứng minh tính hiệu quả vượt trội của kiến trúc đề xuất:

Thứ nhất, tính năng tìm kiếm nhanh (Quick Search) tích hợp công nghệ duyệt mặt phẳng dữ liệu OpenLink Faceted Search đạt tốc độ xử lý ấn tượng với thời gian phản hồi chỉ 452 mili-giây, trích xuất và lập chỉ mục thành công 5.537 bản ghi dữ liệu liên quan đến từ khóa sinh học thực nghiệm.

Thứ hai, công cụ biểu mẫu động (Advanced Search) cho phép người dùng giải quyết các truy vấn bản thể học phức tạp mà không cần viết mã. Với bài toán tra cứu tính trạng số lượng liên quan đến định danh bản thể học môi trường EO:0007403, hệ thống hoàn thành toàn bộ quy trình chỉ qua 2 bước tương tác với tổng thời gian 18 giây, bao gồm 13 giây định danh khái niệm và 5 giây truy xuất danh sách QTL liên quan.

Thứ ba, cơ chế dịch vụ ngoài (External Services) tích hợp thành công với G-Links và Europe PubMed Central, giúp tự động tổng hợp toàn bộ danh mục tài liệu khoa học của protein TBP1 trong 24 giây, trong đó thời gian lấy định danh là 20 giây và thời gian phân tích cấu trúc XML tài liệu là 4 giây.

Thứ tư, hệ thống đã kết nối hoàn hảo với nền tảng phân tích luồng công việc Galaxy. Thông qua tệp mô tả tài nguyên WADL và phương thức truyền nhận POST, quy trình tự động đã trích xuất chính xác bảng dữ liệu gồm 548 dòng kết quả từ con đường sinh học CALVIN-PWY, bảo toàn 100% tính toàn vẹn của dữ liệu thuộc 3 trường thông tin gen cơ bản.

Thảo luận kết quả

Thành công của hệ thống bắt nguồn từ việc ứng dụng mô hình trung gian REST API xây dựng trên nền tảng Jersey 2.17 và Swagger 2.0. Kiến trúc này giúp tách biệt hoàn toàn người dùng khỏi cú pháp trừu tượng của SPARQL, giúp giảm thiểu ước tính hơn 70% lỗi cú pháp mà các nhà nghiên cứu thường gặp phải khi viết truy vấn thủ công trên máy chủ Virtuoso.

So với kiến trúc SADI vốn ràng buộc dữ liệu đầu vào và đầu ra nghiêm ngặt trong định dạng RDF/XML, giải pháp của luận văn linh hoạt hơn nhiều nhờ hỗ trợ đa định dạng đầu ra (JSON, TSV, HTML) và cung cấp tài liệu kiểm thử tương tác trực quan. Đối với việc trực quan hóa dữ liệu đồ thị, mối quan hệ phức tạp giữa gen AT3G25570 (adenosylmethionine decarboxylase) và 2 con đường sinh tổng hợp spermine, spermidine đã được biểu diễn trực quan qua biểu đồ mạng lưới RelFinder; trong khi đó, dữ liệu trích xuất từ quy trình Galaxy được cấu trúc rõ ràng dưới dạng bảng 3 cột chuẩn gồm mã định danh gen (geneId), tên gen (geneName) và danh pháp phân loại (taxon_name), hỗ trợ người dùng phân tích chuyên sâu một cách trực tiếp.

Đề xuất và khuyến nghị

Nhằm hoàn thiện và mở rộng phạm vi ứng dụng của hệ thống cơ sở tri thức AgroLD, 4 giải pháp chiến lược được đề xuất triển khai cụ thể:

Thứ nhất, tối ưu hóa hiệu năng tầng trung gian bằng cách triển khai cơ chế lưu đệm dữ liệu (caching) thông minh cho các truy vấn lặp lại và dịch vụ ngoài. Mục tiêu đặt ra là cắt giảm thời gian phản hồi của các truy vấn bên thứ ba từ mức 24 giây xuống dưới 2 giây, do đội ngũ kỹ thuật hệ thống tại Viện Sinh học Tính toán thực hiện trong thời hạn 6 tháng.

Thứ tư, mở rộng số lượng khái niệm và biểu mẫu tìm kiếm sinh học. Cần nâng cấp năng lực của biểu mẫu động từ 5 nhóm thực thể hiện tại lên 12 nhóm thực thể sinh học thực vật chuyên sâu, bổ sung dữ liệu vi mảng RiceXPro và dữ liệu yếu tố phiên mã Grassius, thực hiện trong khung thời gian 9 tháng dưới sự phối hợp của các chuyên gia nông học CIRAD.

Thứ ba, phát triển hoàn thiện mô-đun sinh câu truy vấn đồ họa trực quan (Visual SPARQL Query Builder) dựa trên khung kỹ thuật ReVeaLD. Giải pháp này hướng tới việc giúp 100% người dùng không am hiểu SPARQL có thể tự thiết lập các truy vấn đồ thị đa nguồn phức tạp, dự kiến hoàn thành trong 12 tháng bởi nhóm phát triển giao diện người - máy.

Thứ tư, nâng cấp hạ tầng phân giải tài nguyên bằng cách ứng dụng công nghệ TheDataTank hoặc phiên bản Pubby tối ưu. Mục tiêu là đảm bảo 100% các định danh URI nội bộ chưa dereference (như tiền tố gramene_association) đều được giải quyết tự động qua giao thức HTTP trong vòng 3 tháng tới do quản trị viên cơ sở dữ liệu chủ trì.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng trọng tâm:

Các nhà sinh học thực vật và chuyên gia nông nghiệp: Cung cấp công cụ tìm kiếm trực quan giúp tra cứu đồng thời thông tin gen, protein, tính trạng cây trồng và tài liệu khoa học quốc tế chỉ trong 452 mili-giây mà không cần bất kỳ kỹ năng lập trình nào.

Kỹ sư tin sinh học và chuyên gia phân tích dữ liệu: Hướng dẫn chi tiết phương pháp khai thác RESTful API để tích hợp dữ liệu nông nghiệp quy mô lớn vào môi trường phân tích tự động Galaxy, xử lý nhanh chóng các tập dữ liệu lớn lên tới hàng trăm bản ghi.

Kiến trúc sư phần mềm và lập trình viên Web ngữ nghĩa: Cung cấp tài liệu tham khảo chi tiết về cách thiết kế hệ thống trung gian kết nối SPARQL Endpoint với REST API, kỹ thuật tạo tài liệu tương tác với Swagger 2.0 và quản lý giao diện soạn thảo YASGUI.

Học viên cao học và nghiên cứu sinh ngành Hệ thống thông minh: Đóng vai trò là tài liệu tham khảo chuẩn mực về phương pháp luận nghiên cứu, tích hợp dữ liệu dị thể, thiết kế bản thể học và đánh giá trải nghiệm người dùng trong các hệ thống thông tin sinh học hiện đại.

Câu hỏi thường gặp

Dự án AgroLD giải quyết thách thức cốt lõi nào trong lĩnh vực sinh học thực vật?
Hệ thống giải quyết triệt để tình trạng phân mảnh và cô lập dữ liệu giữa các cơ sở dữ liệu lớn như SouthGreen và Gramene. Bằng việc chuyển đổi dữ liệu sang chuẩn RDF và liên kết qua bản thể học GO, PO, EO, AgroLD tạo ra một điểm truy cập mở, duy nhất cho cộng đồng nghiên cứu thực vật học toàn cầu.

Người dùng không biết ngôn ngữ SPARQL có thể khai thác dữ liệu từ AgroLD không?
Hoàn toàn có thể. Luận văn đã xây dựng hệ thống biểu mẫu động (Advanced Search) và công cụ trực quan hóa RelFinder, cho phép người dùng chỉ cần thao tác qua giao diện web để trích xuất 5 nhóm thực thể sinh học và khám phá mối quan hệ giữa các gen mà không cần viết mã.

Kiến trúc REST API của luận văn có ưu điểm gì so với các chuẩn truyền thống như SADI?
Khác với SADI chỉ hỗ trợ duy nhất định dạng RDF/XML, REST API của AgroLD được xây dựng trên chuẩn Jersey 2.17 và Swagger 2.0, hỗ trợ xuất dữ liệu linh hoạt dưới các định dạng JSON, TSV, HTML và cung cấp giao diện thử nghiệm tương tác trực quan cho các lập trình viên.

Làm thế nào để đưa dữ liệu từ AgroLD vào các luồng phân tích tự động trên Galaxy?
Người dùng chỉ cần cài đặt công cụ webservice_toolsuite trên Galaxy và tải tệp cấu hình WADL của AgroLD. Hệ thống sẽ tự động chuyển đổi các dịch vụ REST thành các khối chức năng trong Galaxy, cho phép trích xuất tự động 548 dòng kết quả phân tích chỉ qua một thao tác kích hoạt.

Thời gian xử lý của hệ thống đối với các truy vấn tích hợp dữ liệu ngoại vi là bao lâu?
Đối với các tìm kiếm nhanh nội bộ, hệ thống phản hồi trong khoảng 452 mili-giây. Khi thực hiện tích hợp dữ liệu công bố khoa học từ các dịch vụ bên ngoài như G-Links và Europe PubMed Central, tổng thời gian phản hồi đạt khoảng 24 giây, đảm bảo cung cấp đầy đủ thông tin thư mục chính xác.

Kết luận

Luận văn thạc sĩ đã hoàn thành xuất sắc các mục tiêu nghiên cứu và đóng góp nhiều giá trị khoa học cho lĩnh vực dữ liệu liên kết nông nghiệp:

• Xây dựng thành công lớp ứng dụng tích hợp đa phương thức cho cơ sở tri thức AgroLD, kết hợp hiệu quả 4 cơ chế tìm kiếm gồm: từ khóa nhanh, biểu mẫu động, đồ thị quan hệ và trình soạn thảo SPARQL nâng cao.
• Thiết kế và chuẩn hóa hệ thống RESTful API với tài liệu tương tác Swagger 2.0, hỗ trợ đầy đủ 5 nhóm thực thể sinh học thực vật chủ chốt.
• Tích hợp thành công dữ liệu mở ngữ nghĩa vào môi trường luồng công việc Galaxy, tự động hóa quy trình trích xuất bảng dữ liệu 548 bản ghi cho nghiên cứu tin sinh học.
• Đề xuất lộ trình phát triển hệ thống toàn diện trong 12 tháng tới, bao gồm tối ưu hóa bộ nhớ đệm để hạ độ trễ xuống dưới 2 giây và mở rộng quy mô lên 12 nhóm thực thể.
• Khẳng định tính khả thi của việc ứng dụng công nghệ Web ngữ nghĩa nhằm thúc đẩy quá trình số hóa và tích hợp tri thức khoa học cây trồng trên phạm vi toàn cầu.

Các nhà nghiên cứu, kỹ sư tin sinh học và học viên chuyên ngành hãy kết nối, tích hợp API của dự án AgroLD vào các đường ống phân tích thực nghiệm để tối ưu hóa hiệu suất nghiên cứu khoa học ngay hôm nay.

Trích đoạn nội dung tài liệu

UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL TAGNY NGOMPE GILDAS LE PROJET “AGRONOMIC LINKED DATA (AGROLD)” DỰ ÁN AGROLD (MÔ HÌNH DỮ LIỆU AGRONOMIC) MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE HANOI – 2015 LUAN VAN CHAT LUONG download : add [e-mail] UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL TAGNY NGOMPE GILDAS LE PROJET “AGRONOMIC LINKED DATA (AGROLD)” DỰ ÁN AGROLD (MÔ HÌNH DỮ LIỆU AGRONOMIC) Spécialité: Systèmes Intelligents et Multimédia Code: Programme pilote MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Sous la direction de: Dr. Pierre LARMANDE – Ingénieur IRD, responsable de l’AXE Intégration de Données de l’Institut de Biologie Computationnelle Dr. Aravind VENKATESAN - Chercheur post-doctorant, IBC HANOI – 2015 LUAN VAN CHAT LUONG download : add [e-mail] ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée.

LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. TAGNY NGOMPE GILDAS LUAN VAN CHAT LUONG download : add [e-mail] Table des matières Table des matières v Remerciements vi Résumé vii Abstract viii Liste des figures x Liste des tableaux xi INTRODUCTION 1 Chapitre 1 PROBLÉMATIQUE DU PROJET AGROLD 3 1.3 Problématique du sujet .4 Contraintes et résultats attendus.

6 Chapitre 2 PUBLICATION DES DONNÉES LIÉES ET OUVERTES 7 2.1 Le web des données liées et ouvertes .2 Publication de données des sciences du vivant .3 Systèmes d’interrogation du web des données .1 Aide à la construction de requêtes .2 Recherche d’informations spécifiques .4 Intégration de données de sources multiples. 17 Chapitre 3 SOLUTION PROPOSÉE 20 3.1 Paradigmes de recherche sémantique .1 Intégration et adaptation de systèmes existants .2 Développement de nouvelles fonctionnalités. 23 iv LUAN VAN CHAT LUONG download : add [e-mail] Chapitre 4 EXPÉRIMENTATIONS ET ANALYSE DES RÉSULTATS 28 4.1 Utilisation de l’application web AgroLD par des utilisateurs humains .1 Entrée des requêtes et expressivité .2 Exécution des requêtes et temps de réponse .3 Présentation des résultats .2 Utilisation des informations de la base AgroLD dans des applications .1 Utilisation de l’API pour la programmation .2 Utilisation de l’API dans les workflows. 33 CONCLUSION 36 Références 37 Annexes 40 Glossaire 40 v LUAN VAN CHAT LUONG download : add [e-mail] Remerciements Nous adressons nos remerciements à tous ceux qui ont contribué à la réalisation du travail présenté dans ce document, en particulier : — à Pierre LARMANDE et Aravind VENKATESAN, nos superviseurs de stage ; — aux responsables et membres du personnel de notre établissement l’Institut Fran- cophone International ; — aux structures qui nous ont encadré : l’Université Nationale du Vietnam à Hanoï (UNVH), l’Université de Montpellier, l’Institut de Recherche pour le Dévelop- pement (IRD), l’Institut de Biologie Computationnelle (IBC), le Laboratoire d’In- formatique, de Robotique et de Micro-électronique de Montpellier (LIRMM), le Centre de coopération International en Recherche Agronomique pour le Déve- loppement (CIRAD) ; — à Nordine El Hassouni, ingénieur du CIRAD.

vi LUAN VAN CHAT LUONG download : add [e-mail] Résumé Le web des données liées offre une grande opportunité d’intégration de données de sources et domaines divers. Cependant, il présente une rareté des données issue de la recherche en biologie des plantes. Des chercheurs de l’IBC construisent actuel- lement la base de connaissance AgroLD en convertissant les données de la base de données SouthGreen qu’ils lient à des ontologies et d’autres sources de données du web des données. AgroLD est destinée à l’usage des biologistes et des bioinformati- ciens.

Ces groupes d’utilisateurs présentent des niveaux de compétences variées par rapport aux technologies du web sémantique. Il s’agissait principalement pour nous de leur proposer des moyens pour faciliter la recherche d’information dans AgroLD et dans des services externes. Notre solution est de mettre à leur disposition sur une même plateforme plusieurs fonctionnalités d’utilisabilité et d’expressivité différentes. Les utilisateurs pourront choisir les systèmes de recherche qui leur conviennent et pas- ser facilement de l’un à l’autre.

Il a été aussi pris en compte l’activité de développement d’applications des bioinformaticiens. Nous avons proposé une API de services REST pour exposer les informations correspondant à des questions biologiques. Cette API présente l’atout d’être facilement utilisable pour la programmation d’application et dans le gestionnaire de workflows bioinformatiques Galaxy. Nous avons notamment utilisé cette API et d’autres services web pour faire de l’agrégation de connaissances au sein d’un formulaire dynamique dans notre prototype.

Mots clés : Intégration de données agronomiques, agrégation de connaissance, sys- tèmes de recherche sémantique, interaction homme-machine, services REST vii LUAN VAN CHAT LUONG download : add [e-mail] Abstract The web of linked data provides great data integration opportunity from various sources and areas. However, it lacks data of research in plant biology. IBC’s researchers are currently building the knowledge base AgroLD converting data base SouthGreen data they bind to ontologies and other sources of web of data. AgroLD is intended for use by biologists and bioinformaticians.

These users groups have different levels of skills by compared to semantic web technologies. For us, It were about to suggest to them, ways to facilitate the search for information in AgroLD and external services. Our solution is to provide them, on the same platform, several features with different usability and expressivity. Users can choose which search systems that suit them and easily switch from one to another.

It was also considered the applications development activity of bioinformaticians. We have proposed a REST service API to expose the in- formation corresponding to biological questions. This API has the advantage of being easily usable for application programming and in bioinformatics workflows manager Galaxy. We have particularly use the API and other web services to make knowledge aggregation in a dynamic form in our prototype.

Keywords : Integration of agronomic data, aggregation of knowledge, semantic search systems, human-computer interaction, REST services viii LUAN VAN CHAT LUONG download : add [e-mail] Liste des figures 1.1 Lien entre deux ressources de sources distantes et différentes sur AgroLD 5 1.2 uri non déréférencé participant à des triplets dans AgroLD .1 Exemple de graphe de données liées (source : http://linkedlifedata.2 Ensembles de données des sciences de la vie dans le nuage des données liées et ouvertes (source : http://lod-cloud.3 Ressources biologiques RDF liées à UniProtKB (uniprot.rdf), la base prin- cipale de UniProt .4 Différence entre les filtres et la navigation à facettes .5 Avantages des services RESTful sur les services basées sur SOAP (WS-*) 16 2.6 Architecture d’Open PHACTS Discovery Plateform .7 Architecture standard des applications de données liées et ouvertes .1 Architecture proposée pour l’application web d’AgroLD .2 Editeur de requêtes textuelles SPARQL .3 Module serveur de l’API d’AgroLD .4 Activités de navigation avec le formulaire dynamique .1 Scénario 1 : entrée de la requête .2 Scénario 2 : entrée de la requête dans le fomulaire dynamique .3 Scénario 2 : entrée de la requête dans l’éditeur de requête SPARQL .4 Scénario 3 : entrée de la requête dans le fomulaire dynamique .5 Scénario 4 : entrée de la requête .6 Scénario 1 : présentation des résultats avec la recherche rapide par mot-clé 31 4.7 Scénario 2 : présentation des résultats .8 Scénario 3 : présentation des résultats .9 Scénario 4 : Relations découvertes entre le gène "adenosylmethionine de- carboxylase" (AT3G25570) et les deux pathways "spermine biosynthesis" et "spermidine biosynthesis" .10 Utilisation du service de recherche de gène par mot-clé dans un pro- gramme JavaScript .11 documentation du service de recherche des protéines associées à un iden- tifiant ontologique. 34 ix LUAN VAN CHAT LUONG download : add luanvanchat@agmail.12 Intégration de la liste des gènes participant au pathway CALVIN-PWY dans Galaxy .13 Workflow d’extraction des colonnes 1, 2 et 4 d’un tableau dans Galaxy .14 Résultat de l’extraction des colonnes "geneId", "geneName" et "taxon_name" 35 x LUAN VAN CHAT LUONG download : add [e-mail] Liste des tableaux 2.1 Catégories et exemples d’API .1 Comparaison de clients SPARQL. 40 xi LUAN VAN CHAT LUONG download : add [e-mail] INTRODUCTION L’activité principale du projet IBC est le développement de méthodes et logiciels innovants pour analyser, intégrer et contextualiser des données biologiques à grande échelle dans le domaine de la santé, de l’agronomie et de l’environnement. Une des principales problématiques abordées est l’intégration des données biologiques et en particulier celles des plantes.

Par l’intégration de données provenant de plusieurs sources, les experts biologistes peuvent obtenir une information plus riche à laquelle ils peuvent lier leurs propres résultats pour la compléter. La difficulté d’intégration intervient régulièrement. Les sources de données étant indépendantes et isolées, les fournisseurs n’adoptent pas tou- jours les mêmes formats de description, types d’information, et modèles de données lors de la conception des bases de connaissance. Ceci introduit des hétérogénéités [1,2] structurelles, sémantiques et syntaxiques entre les sources de données.

L’import dans un entrepôt central des données des sources différentes (intégration matérialisée) et la fédération de requêtes vers des sources aux structures différentes au moyen d’inter- face de médiation (intégration dématérialisée) sont les principales solutions jusqu’alors appliquées. Malheureusement, elles conservent toujours les données fermées et se fo- calisent généralement sur un domaine particulier. Cette situation a poussé le W3C à proposer une évolution du web avec des tech- nologies standards devant faciliter l’accès et l’intégration des données disponibles sur internet. Cette évolution du web est appelé le web des données ouvertes et liées [3].

Elle vise non seulement le libre accès aux données mais surtout une description sémantique explicite de tout entité concrète ou abstraite. Les technologies proposées dans ce sens ont pour but de permettre aux fournisseurs de données, la possibilité de structurer de manière standard leur base de données et par là de faciliter la liaison des données à d’autres données de sources distantes, et l’automatisation de leur interprétation et de l’extraction de l’information. Pour plusieurs disciplines scientifiques, des sources de données ont été converties en RDF et liées à d’autres sources. Des ontologies RDFS et OWL ont été définies pour formaliser explicitement la sémantique des ressources et des liens existant entre elles.

Malheureusement, ce travail est presque inexistant pour les données sur les plantes. La base de connaissance AgroLD est donc conçue pour palier à cette rareté de données liées et ouvertes agronomiques. La question principale à l’origine de notre travail est celle de savoir comment fa- 1 LUAN VAN CHAT LUONG download : add [e-mail] ciliter l’utilisation d’AgroLD par les potentiels utilisateurs de la base de connaissance. La solution doit leur permettre d’obtenir l’information significative et riche possible.

Les critères à prendre en compte sont principalement leur contexte d’utilisation (work- flow par exemple), le type d’information recherchée et leur niveau de connaissance des technologies du web sémantique. Plus précisément, d’une part, il était question de proposer un ensemble de services sur une plateforme web permettant non seulement une recherche plus aisée des infor- mations mais aussi un développement plus facile de nouvelles applications répondant aux besoins des experts. D’autre part, notre travail devait contribuer à la construction de la base de connaissance en l’enrichissant automatiquement avec de nouvelles don- nées et en corrigeant les URI non résolus dans la base. Nous essayons donc d’évaluer les résultats de notre travail sur des aspects tels que le temps et la séquence d’actions nécessaires pour une recherche, et la satisfaction de l’utilisateur par rapport aux résultats retournés et son utilisation du système.

Ce mémoire est divisé en quatre chapitres. Le premier donne plus de détails concer- nant le contexte et la problématique du sujet. Le second fait un état de l’art de la re- cherche d’information dans le web des données. Ensuite, le troisième chapitre décrit l’architecture proposée, les outils choisis et l’implémentation réalisée.

Enfin, le dernier chapitre présente l’expérimentation et l’analyse des résultats obtenus.