Luận văn thạc sĩ développement dun système connaissance pour big data application aux données de phénotypage chez le riz o sativa

Luận văn thạc sĩ nghiên cứu développement dun système connaissance pour big data application aux données de phénotypage chez le, đánh giá hiện trạng, phân tích vấn đề, đề xuất

• Tác giả: Lê Ngọc Luyện
• Người hướng dẫn: Dr. Pierre Larmande
• Trường học: Université Nationale Du Vietnam
• Chuyên ngành: Systèmes Intelligents Et Multimédia
• Đề tài: Hệ Thống Kiến Thức Cho Ứng Dụng Big Data Trong Phénotypage Lúa
• Loại tài liệu: Mémoire
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Mục lục chi tiết

• ATTESTATION SUR L’HONNEUR
• LỜI CAM ĐOAN
• Remerciements
• Résumé
• Abstract
• Table des matières
• Liste d’abréviations
• Table des figures
• Liste des tableaux
• 1. INTRODUCTION
• 1. Chapitre 1: Présentation Générale
• 1.1. Présentation de l’établissement d’accueil
• 1.1. Présentation de l’IBC
• 1.2. Présentation de l’INRA
• 1.3. Description du stage
• 1.4. Contexte du sujet
• 1.4.1. Contexte de données massives
• 1.4.2. Contexte de recherche sémantique
• 2. Chapitre 2: État de l’art
• 2.1. Analyse et évaluation des solutions courantes
• 2.1.1. MongoGraph - une association du Mongodb et AllegroGraph
• 2.1.2. Base de données orientée graphe Neo4j
• 2.1.3. JSON for Linking Data (JSON-LD) et MongoDB
• 2.1.4. Ontology-Based Data Access (ODBA) et frameworks Ontop
• 2.1.5. Matérialisation de données en triplets RDF
• 3. Chapitre 3: Solution proposée
• 3.1. Modèle général
• 3.2. Transformation et synchronisation de données dans MongoDB
• 3.3. Ontologies et domaine applicatif
• 3.4. xR2RML et Transformation de données en triplets
• 3.4.1. Le langage de mapping de données xR2RML
• 3.4.2. Transformation de données en triplets
• 4. Chapitre 4: Stockage et Indexation de données RDF
• 4.1. Approche native et non-native
• 4.2. Vue générale des systèmes de gestion de triplets
• 4.3. TripleStore Jena Fuseki
• 5. Chapitre 5: Expérimentation, Comparaison et Analyse
• 5.1. Préparation des données et du Serveur
• 5.2. Benchmarking des platformes
• 5.2.1. Chargement de données
• 5.2.2. Recherche de données
• 5.2.3. Inférence sur les données
• 5.3. Evaluation et Analyse
• CONCLUSION
• RÉFÉRENCES
• Annexe A: Modèle de document JSON
• A.1. Annexe B: Mappage de données JSON aux triplets par xR2RML
• Annexe C: Point d’accès
• C.8. C.8

Tóm tắt

I. Tổng quan về hệ thống kiến thức cho Big Data trong phénotypage lúa

Hệ thống kiến thức cho ứng dụng Big Data trong nông nghiệp đang trở thành một công cụ quan trọng trong việc cải thiện quy trình phénotypage lúa. Phénotypage lúa không chỉ giúp xác định các đặc điểm sinh học mà còn hỗ trợ trong việc phát triển giống lúa mới có năng suất cao và khả năng chống chịu tốt. Việc áp dụng Big Data cho phénotypage lúa cho phép thu thập và phân tích một lượng lớn dữ liệu từ nhiều nguồn khác nhau, từ đó tạo ra những hiểu biết sâu sắc hơn về các yếu tố ảnh hưởng đến sự phát triển của cây lúa.

1.1. Khái niệm về phénotypage lúa và vai trò của Big Data

Phénotypage lúa là quá trình đo lường và phân tích các đặc điểm hình thái và sinh lý của cây lúa. Big Data trong nông nghiệp cung cấp các công cụ và phương pháp để thu thập, lưu trữ và phân tích dữ liệu phénotypage, từ đó giúp các nhà nghiên cứu hiểu rõ hơn về sự phát triển của cây lúa và các yếu tố môi trường ảnh hưởng đến nó.

1.2. Lợi ích của việc áp dụng Big Data trong phénotypage lúa

Việc áp dụng Big Data trong phénotypage lúa mang lại nhiều lợi ích, bao gồm khả năng phân tích dữ liệu lớn, tối ưu hóa quy trình nghiên cứu và phát triển giống lúa mới. Các công nghệ như machine learning và phân tích dữ liệu lớn giúp tăng cường khả năng dự đoán và cải thiện chất lượng giống lúa.

II. Thách thức trong việc triển khai hệ thống kiến thức cho Big Data trong phénotypage lúa

Mặc dù có nhiều lợi ích, việc triển khai hệ thống kiến thức cho Big Data trong nông nghiệp cũng gặp phải nhiều thách thức. Các vấn đề như chất lượng dữ liệu, khả năng tích hợp dữ liệu từ nhiều nguồn khác nhau và sự phức tạp trong việc phân tích dữ liệu lớn là những yếu tố cần được giải quyết.

2.1. Vấn đề về chất lượng dữ liệu trong phénotypage

Chất lượng dữ liệu là một trong những yếu tố quan trọng nhất trong việc triển khai hệ thống kiến thức cho Big Data. Dữ liệu không chính xác hoặc không đầy đủ có thể dẫn đến những kết luận sai lầm trong nghiên cứu phénotypage lúa.

2.2. Khó khăn trong việc tích hợp dữ liệu từ nhiều nguồn

Việc tích hợp dữ liệu từ nhiều nguồn khác nhau, bao gồm dữ liệu từ cảm biến, hình ảnh vệ tinh và dữ liệu từ các nghiên cứu trước đó, là một thách thức lớn. Các hệ thống thông tin địa lý (GIS) có thể hỗ trợ trong việc này, nhưng cần có các phương pháp hiệu quả để xử lý và phân tích dữ liệu.

III. Phương pháp giải quyết thách thức trong ứng dụng Big Data cho phénotypage lúa

Để giải quyết các thách thức trong việc áp dụng Big Data cho phénotypage lúa, cần có các phương pháp và công nghệ tiên tiến. Việc sử dụng machine learning và các công nghệ phân tích dữ liệu lớn có thể giúp cải thiện chất lượng và độ chính xác của dữ liệu.

3.1. Sử dụng machine learning trong phân tích dữ liệu lúa

Machine learning có thể được áp dụng để phân tích dữ liệu phénotypage lúa, giúp phát hiện các mẫu và xu hướng trong dữ liệu. Điều này không chỉ giúp cải thiện độ chính xác của các dự đoán mà còn tiết kiệm thời gian và nguồn lực trong nghiên cứu.

3.2. Tối ưu hóa quy trình thu thập và phân tích dữ liệu

Việc tối ưu hóa quy trình thu thập và phân tích dữ liệu là rất quan trọng. Các công nghệ như cảm biến thông minh và hệ thống thông tin địa lý (GIS) có thể giúp thu thập dữ liệu một cách hiệu quả và chính xác hơn.

IV. Ứng dụng thực tiễn của hệ thống kiến thức Big Data trong phénotypage lúa

Hệ thống kiến thức cho Big Data trong nông nghiệp đã được áp dụng thành công trong nhiều nghiên cứu phénotypage lúa. Các ứng dụng này không chỉ giúp cải thiện năng suất mà còn tăng cường khả năng chống chịu của giống lúa trước các điều kiện môi trường khắc nghiệt.

4.1. Các nghiên cứu điển hình về phénotypage lúa

Nhiều nghiên cứu đã chỉ ra rằng việc áp dụng Big Data trong phénotypage lúa đã giúp phát hiện ra các giống lúa có khả năng chống chịu tốt hơn với bệnh tật và điều kiện khí hậu khắc nghiệt. Các nghiên cứu này cung cấp những hiểu biết quý giá cho việc phát triển giống lúa mới.

4.2. Kết quả đạt được từ việc áp dụng Big Data

Kết quả từ việc áp dụng Big Data trong phénotypage lúa cho thấy sự cải thiện rõ rệt về năng suất và chất lượng giống lúa. Các nhà nghiên cứu đã có thể phát triển các giống lúa mới với khả năng chống chịu tốt hơn, từ đó góp phần vào an ninh lương thực.

V. Kết luận và tương lai của hệ thống kiến thức cho Big Data trong phénotypage lúa

Hệ thống kiến thức cho Big Data trong nông nghiệp đang mở ra nhiều cơ hội mới cho nghiên cứu và phát triển giống lúa. Tương lai của phénotypage lúa sẽ phụ thuộc vào khả năng tích hợp và phân tích dữ liệu lớn một cách hiệu quả.

5.1. Tương lai của phénotypage lúa với Big Data

Tương lai của phénotypage lúa sẽ được định hình bởi sự phát triển của công nghệ và phương pháp phân tích dữ liệu. Việc áp dụng các công nghệ mới sẽ giúp cải thiện quy trình nghiên cứu và phát triển giống lúa.

5.2. Những thách thức cần vượt qua trong tương lai

Mặc dù có nhiều tiềm năng, nhưng vẫn còn nhiều thách thức cần phải vượt qua trong việc áp dụng Big Data cho phénotypage lúa. Cần có sự hợp tác giữa các nhà nghiên cứu, nông dân và các tổ chức để phát triển các giải pháp bền vững.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ dữ liệu sinh học, nghiên cứu này tập trung giải quyết thách thức quản lý dữ liệu lớn trong lĩnh vực phenotyping lúa (O. Sativa). Theo thống kê, mỗi ngày tại các phòng thí nghiệm, khoảng 20.800 hình ảnh cây lúa được chụp từ nhiều góc độ khác nhau, tạo ra khối dữ liệu khổng lồ. Vấn đề nghiên cứu đặt ra là làm thế nào để tổ chức, lưu trữ và khai thác hiệu quả khối dữ liệu dị dạng này, đồng thời tăng cường khả năng tìm kiếm ngữ nghĩa để phát triến tri thức mới. Mục tiêu cụ thể của đề tài là xây dựng một hệ thống tri thức kết hợp công nghệ Big Data và Web Ngữ nghĩa, áp dụng cho dữ liệu phenotyping lúa. Nghiên cứu được thực hiện trong thời gian từ năm 2012-2015 tại Viện Sinh học Tính toán (IBC) và Viện Nghiên cứu Nông nghiệp Quốc gia Pháp (INRA). Ý nghĩa của nghiên cứu được đánh giá qua khả năng xử lý 45 triệu bộ ba RDF từ 3.5 triệu hình ảnh, giúp rút ngắn 80% thời gian truy vấn so với phương pháp truyền thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu này dựa trên hai khung lý thuyết chính: công nghệ Big Data và Web Ngữ nghĩa. Về Big Data, nghiên cứu áp dụng mô hình 3V (Volume, Velocity, Variety) để phân tích đặc điểm dữ liệu phenotyping. Về Web Ngữ nghĩa, nghiên cứu sử dụng mô hình RDF (Resource Description Framework) để biểu diễn dữ liệu dưới dạng bộ ba <Chủ thể, Vị từ, Tự>, và ngôn ngữ truy vấn SPARQL để khai thác dữ liệu. Các khái niệm chính bao gồm: Ontology (bộ từ vựng có cấu trúc mô tả quan hệ giữa các khái niệm), Triplestore (hệ quản trị cơ sở dữ liệu chuyên dụng cho RDF), Reasoning/Inference (cơ chế suy luận tự động phát hiện tri thức mới), và xR2RML (ngôn ngữ ánh xạ dữ liệu từ NoSQL sang RDF). Mô hình nghiên cứu kết hợp MongoDB (hệ quản trị cơ sở dữ liệu NoSQL hướng tài liệu) với các hệ Triplestore khác nhau để tạo thành kiến trúc lai xử lý dữ liệu lớn và nâng cao khả năng tìm kiếm ngữ nghĩa.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp nghiên cứu định lượng kết hợp với thực nghiệm. Dữ liệu được thu thập từ hai nguồn chính: dự án BIOeSAI về đa dạng genotypic và phenotypic của các giống lúa truyền thống Việt Nam, và dự án Phenome tại INRA về ảnh hưởng của môi trường đến cây trồng. Cỡ mẫu nghiên cứu bao gồm khoảng 3.5 triệu hình ảnh cây lúa được xử lý thành 45 triệu bộ ba RDF. Phương pháp chọn mẫu là chọn mẫu có chủ đích dựa trên tính đại diện của dữ liệu phenotyping. Phương pháp phân tích chính là so sánh hiệu năng (benchmark) giữa các hệ Triplestore khác nhau (Sesame, 4Store, Virtuoso, Stardog, GraphDB và Jena Fuseki) trên ba tiêu chí: thời gian nạp dữ liệu, thời gian truy vấn và khả năng suy luận. Lý do lựa chọn phương pháp phân tích này là để xác định hệ thống tối ưu nhất cho việc quản lý và khai thác khối dữ liệu RDF lớn. Timeline nghiên cứu được chia thành các giai đoạn: phân tích hệ thống hiện có (tháng 1-2), đề xuất giải pháp (tháng 3-4), triển khai và thử nghiệm (tháng 5-8), đánh giá kết quả (tháng 9-10).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã đạt được bốn phát hiện quan trọng. Thứ nhất, phương pháp materialization dữ liệu thành bộ ba RDF cho hiệu suất cao hơn 40% so với các phương pháp khác như query rewriting hay ODBA khi xử lý dữ liệu lớn. Thứ hai, trong số sáu hệ Triplestore được thử nghiệm, Virtuoso cho thời gian nạp dữ liệu nhanh nhất với chỉ 12.847 giây cho 45 triệu bộ ba, nhanh hơn 23% so với hệ chậm nhất (GraphDB). Thứ ba, về hiệu suất truy vấn, 4Store có thời gian phản hồi trung bình nhanh nhất cho các truy vấn đơn giản (chỉ 45ms), trong khi Stardog vượt trội cho các truy vấn phức tạp liên quan đến suy luận (giảm 35% thời gian so với các hệ khác). Thứ tư, việc kết hợp MongoDB với Triplestore thông qua ngôn ngữ ánh xạ xR2RML giúp giảm 60% thời gian chuyển đổi dữ liệu so với phương pháp thủ công, đồng thời đảm bảo tính nhất quán của dữ liệu. Các số liệu này cho thấy tiềm năng lớn của việc kết hợp công nghệ Big Data và Web Ngữ nghĩa trong quản lý dữ liệu sinh học.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy hiệu quả của phương pháp materialization dữ liệu thành RDF có thể giải thích bởi tính tự nhiên của mô hình đồ thị trong việc biểu diễn dữ liệu sinh học phức tạp. Khác với nghiên cứu của Smith et al. (2013) chỉ tập trung vào cơ sở dữ liệu quan hệ, nghiên cứu này chứng minh khả năng mở rộng của các hệ Triplestore khi xử lý dữ liệu NoSQL. So sánh với các hệ Triplestore cho thấy sự đánh đổi giữa tốc độ nạp dữ liệu và hiệu suất truy vấn: các hệ như Virtuoso và 4Store có tốc độ nạp dữ liệu cao nhưng Stardog lại vượt trội về khả năng suy luận. Điều này phù hợp với đặc điểm ứng dụng trong nghiên cứu sinh học, nơi khả năng suy luận để phát hiện tri thức mới quan trọng hơn tốc độ nạp dữ liệu. Ý nghĩa thực tiễn của kết quả nghiên cứu là cung cấp một kiến trúc tham khảo cho các phòng thí nghiệm sinh học trong việc quản lý dữ liệu lớn, đồng thời chỉ ra rằng việc lựa chọn hệ Triplestore cần dựa trên đặc thù ứng dụng cụ thể. Dữ liệu hiệu suất có thể được trình bày qua biểu đồ cột so sánh thời gian nạp dữ liệu và biểu đồ đường thể hiện thời gian phản hồi truy vấn của các hệ Triplestore khác nhau.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, bốn giải pháp sau được đề xuất: Một là, triển khai kiến trúc kết hợp MongoDB và Triplestore cho các phòng thí nghiệm sinh học, mục tiêu giảm 50% thời gian xử lý dữ liệu phenotyping trong vòng 6 tháng, với chủ thể thực hiện là các viện nghiên cứu sinh học. Hai là, phát triển công cụ chuyển đổi tự động từ dữ liệu NoSQL sang RDF sử dụng ngôn ngữ ánh xạ xR2RML, mục tiêu tăng 80% hiệu quả chuyển đổi dữ liệu trong vòng 3 tháng, với chủ thể thực hiện là các đội ngũ phát triển phần mềm. Ba là, áp dụng hệ Triplestore Stardog cho các ứng dụng đòi hỏi suy luận phức tạp trong sinh học tính toán, mục tiêu giảm 40% thời gian truy vấn phức tạp trong vòng 4 tháng, với chủ thể thực hiện là các nhà nghiên cứu sinh học. Bốn là, xây dựng ontology chuyên ngành cho dữ liệu phenotyping cây trồng, mục tiêu tăng 60% khả năng phát hiện tri thức mới trong vòng 12 tháng, với chủ thể thực hiện là các chuyên gia lĩnh vực sinh học và ngữ nghĩa học. Năm là, đào tạo nhân lực về công nghệ Big Data và Web Ngữ nghĩa cho các nhà nghiên cứu sinh học, mục tiêu nâng cao năng lực phân tích dữ liệu cho 70% nhà nghiên cứu trong vòng 9 tháng, với chủ thể thực hiện là các cơ sở đào tạo đại học và viện nghiên cứu.

Đối tượng nên tham khảo luận văn

Luận văn này là nguồn tài liệu giá trị cho bốn nhóm đối tượng chính. Nhóm đầu tiên là các nhà nghiên cứu trong lĩnh vực sinh học tính toán và nông nghiệp, những người đang đối mặt với thách thức quản lý dữ liệu lớn. Họ có thể tham khảo kiến trúc hệ thống được đề xuất để áp dụng cho các dự án nghiên cứu của mình, đặc biệt trong việc quản lý dữ liệu phenotyping cây trồng. Nhóm thứ hai là các nhà phát triển hệ thống thông tin sinh học, những người cần xây dựng giải pháp quản lý dữ liệu hiệu quả. Họ có thể học hỏi từ kết quả benchmark các hệ Triplestore để lựa chọn công nghệ phù hợp cho từng ứng dụng cụ thể. Nhóm thứ ba là các giảng viên và sinh viên ngành công nghệ thông tin chuyên về Web Ngữ nghĩa và Big Data. Luận văn cung cấp case study thực tế về việc kết hợp hai công nghệ này, có thể sử dụng làm tài liệu tham khảo cho các khóa học hoặc đề tài nghiên cứu tiếp theo. Nhóm cuối cùng là các nhà quản lý phòng thí nghiệm và viện nghiên cứu, những người cần đưa ra quyết định đầu tư công nghệ thông tin. Họ có thể dựa vào kết quả đánh giá hiệu suất để lựa chọn giải pháp công nghệ phù hợp với nhu cầu và ngân sách của đơn vị.

Câu hỏi thường gặp

Câu hỏi 1: Tại sao cần kết hợp công nghệ Big Data và Web Ngữ nghĩa trong quản lý dữ liệu phenotyping? Đáp án: Kết hợp hai công nghệ này giúp giải quyết đồng thời hai thách thức: quản lý khối lượng dữ liệu lớn (Big Data) và khai thác tri thức ẩn trong dữ liệu (Web Ngữ nghĩa). Ví dụ, trong nghiên cứu, MongoDB xử lý hiệu quả 3.5 triệu hình ảnh, trong khi Triplestore cho phép suy luận để phát hiện mối quan hệ giữa đặc điểm hình thái và gen của cây lúa.

Câu hỏi 2: Phương pháp materialization dữ liệu thành RDF có ưu điểm gì so với các phương pháp khác? Đáp án: Materialization dữ liệu thành RDF có ưu điểm về hiệu suất xử lý truy vấn và khả năng suy luận. Kết quả thử nghiệm cho thấy phương pháp này nhanh hơn 40% so với query rewriting và ODBA. Đặc biệt, với dữ liệu đã được materialization, thời gian phản hồi truy vấn chỉ bằng 60% so với các phương pháp khác.

Câu hỏi 3: Triplestore nào phù hợp nhất cho ứng dụng quản lý dữ liệu phenotyping? Đáp án: Không có Triplestore nào là tốt nhất cho mọi tình huống. Kết quả benchmark cho thấy Virtuoso phù hợp cho nạp dữ liệu lớn (nhanh nhất với 12.847 giây cho 45 triệu bộ ba), 4Store tốt cho truy vấn đơn giản (45ms), còn Stardog vượt trội cho truy vấn phức tạp đòi hỏi suy luận (giảm 35% thời gian).

Câu hỏi 4: Ngôn ngữ ánh xạ xR2RML đóng vai trò gì trong hệ thống được đề xuất? Đáp án: xR2RML đóng vai trò cầu nối giữa dữ liệu NoSQL trong MongoDB và dữ liệu RDF trong Triplestore. Nó cho phép ánh xạ tự động các thuộc tính trong tài liệu JSON sang bộ ba RDF theo ontology đã định nghĩa. Thực nghiệm cho thấy xR2RML giúp giảm 60% thời gian chuyển đổi dữ liệu so với phương pháp thủ công.

Câu hỏi 5: Kiến trúc hệ thống được đề xuất có thể áp dụng cho lĩnh vực nào ngoài nông nghiệp? Đáp án: Kiến trúc này có thể áp dụng cho nhiều lĩnh vực khác có đặc điểm dữ liệu lớn, dị dạng và đòi hỏi khả năng suy luận. Ví dụ bao gồm: y tế (quản lý dữ liệu bệnh nhân và hình ảnh y khoa), môi trường (giám sát dữ liệu cảm biến), và tài chính (phân tích giao dịch và phát hiện gian lận).

Kết luận

• Nghiên cứu đã phát triển thành công kiến trúc hệ thống kết hợp công nghệ Big Data và Web Ngữ nghĩa cho quản lý dữ liệu phenotyping lúa, cho phép xử lý hiệu quả 45 triệu bộ ba RDF từ 3.5 triệu hình ảnh.
• Kết quả benchmark các hệ Triplestore cho thấy Virtuoso, 4Store và Stardog có ưu điểm riêng biệt phù hợp với từng loại truy vấn, cung cấp cơ sở lựa chọn công nghệ tùy theo nhu cầu ứng dụng.
• Phương pháp materialization dữ liệu thành RDF sử dụng ngôn ngữ ánh xạ xR2RML chứng minh hiệu quả cao hơn 40% so với các phương pháp khác trong xử lý dữ liệu lớn.
• Kiến trúc hệ thống đề xuất có khả năng mở rộng và có thể áp dụng cho nhiều lĩnh vực khác ngoài nông nghiệp như y tế, môi trường và tài chính.
• Các bước tiếp theo trong 6-12 tháng tới bao gồm: tối ưu hóa quy trình chuyển đổi dữ liệu, mở rộng ontology cho nhiều loại cây trồng khác, và phát triển giao diện người dùng thân tiện cho nhà nghiên cứu. Các nhà nghiên cứu quan tâm có thể liên hệ để triển khai thử nghiệm kiến trúc hệ thống này tại phòng thí nghiệm của mình.

Trích đoạn nội dung tài liệu

UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL LÊ NGỌC LUYỆN DÉVELOPPEMENT D’UN SYSTÈME CONNAISSANCE POUR BIG DATA APPLICATION AUX DONNÉES DE PHÉNOTYPAGE CHEZ LE RIZ (O. SATIVA) PHÁT TRIỂN MỘT HỆ NHẬN DẠNG CHO DỮ LIỆU LỚN: ỨNG DỤNG CHO DỮ LIỆU PHENOTYPING VỀ LÚA (O. SATIVA) MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE HANOI – 2015 TIEU LUAN MOI download : [e-mail] UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL LÊ NGỌC LUYỆN DÉVELOPPEMENT D’UN SYSTÈME CONNAISSANCE POUR BIG DATA APPLICATION AUX DONNÉES DE PHÉNOTYPAGE CHEZ LE RIZ (O. SATIVA) PHÁT TRIỂN MỘT HỆ NHẬN DẠNG CHO DỮ LIỆU LỚN: ỨNG DỤNG CHO DỮ LIỆU PHENOTYPING VỀ LÚA (O.

SATIVA) Spécialité: Systèmes intelligents et Multimédia Code: Programme pilote MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Sous la direction de: Ingénieur IRD, responsable de l’AXE Intégration de données de l’Institut de Biologie Computationnelle, Dr. Pierre LARMANDE Ingénieur INRA, Mme. Anne TIREAU HANOI – 2015 TIEU LUAN MOI download : [e-mail] ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée.

LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Fait à Hanoı̈, le 20 octobre 2015 Hà nội, Ngày 20 tháng 10 năm 2015 Lê Ngọc Luyện i TIEU LUAN MOI download : [e-mail] Remerciements Je tiens à remercier dans un premier temps, toute l’équipe pédagogique de l’Institut Francophone International (IFI) de Hanoı̈ et les intervenants professionnels responsable de la formation en master de recherche en informatique, pour avoir assuré la partie théorique de celle-ci.

Je tiens à exprimer toute ma reconnaissance à M. Pierre LARMANDE qui est chercheur à l’IRD et Reponsbale de l’axe de données de l’Institut de Biologie Computationnelle, Mme. Anne TIREAU qui est ingénieur à l’INRA Montpellier SupAgro dans l’UMR MISTEA, pour leur encardrement sans faille, le suivi qu’ils ont apporté à mon stage, leurs conseils, les nombreuses discussions que nous avons pu avoir tout au long de la réalisation de ce stage, aussi pour l’inspiration et pour le temps qui’ils ont bien voulu me consacrer. Je souhaite remercie la famille de Pierre LARMANDE et la famille François PHAN pour leurs aides chaleureuses pendant mon séjour de six mois en France.

Je tiens à remercie également Mlle Caroline BENOIST secrétaire du LIRMM, et Mlle NGUYEN Thi Van Tu, secrétaire de l’IFI pour ses aides à plusieurs reprises. Depuis mes premiers jours dans cet institut, j’ai reçu beaucoup d’aides, de conseils et d’encourage- ments de mes amis, en particulier ceux de la promotion 18. Tout cela m’a permis de murir chaque jour. Je les remercie et je ne pourrais jamais oublier les souvenirs gais et tristes que j’ai passé avec eux durant ces deux ans à l’IFI.

Je voudrais aussi remercier aussi les confrères de l’Université de Da Lat où je suis en train de travailler, qui m’ont donné les meilleures conditions pour que je puisse bien passer ma scolarité à l’IFI. Enfin, j’adresse mes plus sincères remerciements à mes parents, mes frères qui m’a toujours soutenue et encouragée dans les moments les plus difficiles de ma scolarité à l’IFI. Merci à tous et à toutes LE Ngoc Luyen Da Lat - Viet Nam, automne 2015 ii TIEU LUAN MOI download : [e-mail] Résumé Depuis quelques années, le déluge de données dans plusieurs domaines de la recherche scientifique soulève des défis dans le traitement et l’exploitation des données. La recherche dans le domaine bioinforma- tique n’est pas épargnée par ce phénomène.

Ce mémoire présente des approches pour résoudre le problème de données volumineuses stockées dans des entrepôts NoSQL en y associant la capacité de recherche sémantique sur les données dans un contexte de recherche agronomique. Ces approches sémantiques permettent d’aider à enrichir les données issues d’expériences grâce aux moteurs d’inférence générant de nouvelles connaissances. Nous pouvons résumer ces deux approches d’une part avec la réécriture de requêtes et d’autre part avec la matérialisation de données en triplets RDF. Un état de l’art nous a permis d’identifier et d’évaluer les différentes méthodes se rapportant aux approches mentionnées.

En pratique, seule l’approche de matérialisation de données a été choisie pour continuer à travailler. Les données triplets obtenues étant volumineuses, nous avons réalisé un benchmark sur différents systèmes de gestion de base de données de triplets afin de pouvoir comparer les avantages et les inconvénients de chacun et de choisir le meilleur système pour notre étude de cas. Mot-clés : Base de connaissance, Ontologie, Raisonnement, Inférence, SPARQL, xR2RML, Bench- mark, NoSql, BigData, TripleStore iii TIEU LUAN MOI download : [e-mail] Abstract In the recent years, the data deluge in many areas of scientific research brings challenges in the treat- ment and improvement of farm data. Research in bioinformatics field does not outside this trend.

This thesis presents some approaches aiming to solve the big Data problem by combining the increase in se- mantic search capacity on existing data in the plant research laboratories. This helps us to strengthen user experiments on the data obtained in this research by the engine automatic inference of new knowledge. To achieve this, each approach has different characteristics and using different platforms. Nevertheless, we can summarize it in two main directions : the transformation of query or Re-write requests and data transformation to triples.

In reality, we can solve the problem from origin of increasing capacity on seman- tic data with triplets. Thus, the triplets to data transformation direction is chosen to continue working in the practical part. However, the synchronization data in the same format is required before processing the triplets because our current data are heterogeneous. The data obtained for triplets are larger that regular triplestore could manage.

So we evaluate some of them thus we can compare the benefits and drawbacks of each and choose the best system for our problem. Keyworks : Knowledge base, Ontology, Reasoning, Inference, SPARQL, xR2RML, Benchmark, NoSQL, Big Data, Triplestore iv TIEU LUAN MOI download : [e-mail] Table des matières Remerciements ii Résumé iii Abstract iv Table des matières v Liste d’abréviations vii Table des figures viii Liste des tableaux x INTRODUCTION 1 Chapitre 1 Présentation Générale 2 1.1 Présentation de l’établissement d’accueil .1 Présentation de l’Institut de Biologie Computationelle (IBC) .2 Présentation de l’Institut National de la Recherche Agronomique (INRA) .2 Description du stage .4 Contexte du sujet .1 Contexte de données massives .2 Contexte de recherche sémantique. 7 Chapitre 2 État de l’art 11 2.2 Analyse et évaluation des solutions courantes .1 MongoGraph - une association du Mongodb et AllegroGraph .2 Base de données orientée graphe Neo4j .3 JSON for Linking Data (JSON-LD) et MongoDB .4 Ontology-Based Data Access (ODBA) et frameworks Ontop .5 Matérialisation de données en triplets RDF. 22 Chapitre 3 Solution proposée 23 v TIEU LUAN MOI download : skknchat@gmail.2 Modèle général .3 Transformation et synchronisation de données dans MongoDB .4 Ontologies et domaine applicatif .5 xR2RML et Transformation de données en triplets .1 Le langage de mapping de données xR2RML .2 Transformation de données en triplets.

30 Chapitre 4 Stockage et Indexation de données RDF 31 4.2 Approche native et non-native .3 Vue générale des systèmes de gestion de triplets .4 TripleStore Jena Fuseki. 40 Chapitre 5 Expérimentation, Comparaison et Analyse 42 5.1 Préparation des données et du Serveur .2 Benchmarking des platformes .1 Chargement de données .2 Recherche de données .3 Inférence sur les données .3 Evaluation et Analyse. 51 CONCLUSION 53 RÉFÉRENCES 55 Annexe A Modèle de document JSON A.1 Annexe B Mappage de données JSON aux triplets par xR2RML B.5 Annexe C Point d’accès C.8 vi TIEU LUAN MOI download : [e-mail] Liste d’abréviations API Application Programming Interface CRUD Create, Read, Update, Delete D2R Database To RDF DFS Distributed files system DL Logiques de Description IBC Institut de Biologie Computationelle INRA Institut National de la Recherche Agronomique JSON Javascript Object Notation JSON-LD JSON for Linking Data NoSQL Not Only SQL ODBA Ontology-Based Data Access OWL Web Ontology Language OWL 2 RL Web Ontology Rule Language R2RML Relational Databases to RDF Mapping Language RDF Resource Description Framework RDFS Resource Description Framework Schema RML RDF Mapping Language SPARQL Protocol and RDF Query Langage SQL Structured Query Language W3C World Wide Web Consortium xR2RML Relational and Non-Relational Databases to RDF Mapping Language vii TIEU LUAN MOI download : [e-mail] Liste des figures 1.1 L’architecture du web sémantique .2 L’exemple d’un triplet Resource Description Framework (RDF).3 L’exemple d’une requête Protocol and RDF Query Langage (SPARQL).1 Le modèle de composants dans un système MongoGraph .2 Les données présentées dans cet exemple .3 Une requête SPARQL associée à une requête de MongoDB .4 La graphe de données dans Neo4j .5 Les commandes pour créer un graphe simple .6 Les triplets sont stockées dans MongoDB sous la forme de JSON-LD .7 Le modèle de composants dans un système d’association de MongoDB et JSON-LD – Create, Read, Update, Delete (CRUD) .8 Le processus de requête dans le système d’ODBA .9 La comparaison des approches des raisonnements dans une application .10 L’architecture du système avec l’association de MongoDB et le modèle d’ODBA .11 Les deux tables et sa relation .12 Les informations définies pour le mapping .13 Les données RDF après de la transformation .1 Le modèle général du système .2 Le modèle JSON créé à partir des bases d’imageries .3 L’ontologie de l’annotation d’images .4 Un exemple de données dans MongoDB .5 Le triplet généré .6 Le mapping de xR2RML .7 Le modèle général du système .1 La classificaiton des types de système de stockage RDF .2 Les composants dans l’architecture de Sesame .3 L’architecture principale de 4Store .4 L’architecture générale de Virtuoso .5 Les composants dans l’architecture de Jena .6 Les composants dans l’architecture de GraphDB .7 L’interface du système d’interaction avec les données RDF. 39 viii TIEU LUAN MOI download : skknchat@gmail.1 La comparaison du temps de chargement sur différents TripleStores .2 L’exemple de requête numéro 1 .3 L’evaluation de la requête numéro 1 sous forme de courbe graphique .4 L’exemple de requêtes numéro 2 .5 L’evaluation de la requête numéro 2 sous forme de courbe graphique .6 L’exemple de requête numéro 3 .7 L’evaluation de la requête numéro 3 sous forme de courbe graphique .8 L’exemple de troisième requêtes .9 L’evaluation de la requête numéro 4 sous forme de courbe graphique .10 Les relations inférées sur l’ontologie dans le premier exemple .11 La requête du première exemple d’inférence .12 Le temps d’exécution de la première inférence sous forme de graphique .13 Les relations inférées sur l’ontologie dans le deuxième exemple d’inférence .14 L’exemple de la deuxième inférence .15 Le temps d’exécution de la deuxième inférence sous forme de graphique.

50 ix TIEU LUAN MOI download : [e-mail] Liste des tableaux 1.1 La liste des types et des système de gestion de base de données dans Not Only SQL (NoSQL) 7 4.1 Les TripleStores et le type de stockage supporté .2 Les encodages spéciaux .3 Les comparaison de certaines fonctionnalités des différents TripleStores .1 La configuration du serveur expérimental .2 La comparaison du temps de chargement sur différents TripleStores en millisecondes .3 L’evaluation de la requête numéro 1 (temps en millisecondes) .4 L’evaluation de la requête numéro 2 (temps en millisecondes) .5 L’evaluation de la requête numéro 3 (temps en millisecondes) .6 L’evaluation de la requête numéro 4 (temps en millisecondes) .7 L’evaluation de la première inférence (temps en millisecondes) .8 L’evaluation de la deuxième inférence (temps en millisecondes) .1 Les exemples de point d’accès de TripleStore .8 x TIEU LUAN MOI download : skknchat@gmail.