Luận văn thạc sĩ: Phát triển hệ thống tri thức cho ứng dụng big data trong phénotypage lúa O. sativa

Luận văn thạc sĩ nghiên cứu vnu développement dun système connaissance pour big data application aux données de phénotypage, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Lê Ngọc Luyện
• Người hướng dẫn: TS. Pierre Larmande
• Trường học: Université Nationale Du Vietnam, Hanoi, Institut Francophone International
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Phát triển hệ thống tri thức cho ứng dụng big data trong phénotypage lúa O. sativa
• Loại tài liệu: Luận văn thạc sỹ
• Năm xuất bản: 2015
• Địa điểm: Hanoi

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: PRÉSENTATION GÉNÉRALE
• 1.1. Présentation de l’établissement d’accueil
• 1.1.1. Présentation de l’IBC
• 1.1.2. Présentation de l’INRA
• 2. CHƯƠNG 2: ÉTAT DE L’ART
• 2.1. Analyse et évaluation des solutions courantes
• 2.1.1. MongoGraph - une association du Mongodb et AllegroGraph
• 2.1.2. Base de données orientée graphe Neo4j
• 2.1.3. JSON for Linking Data (JSON-LD) et MongoDB
• 2.1.4. Ontology-Based Data Access (ODBA) et frameworks Ontop
• 2.1.5. Matérialisation de données en triplets RDF
• 3. CHƯƠNG 3: SOLUTION PROPOSÉE
• 3.1. Modèle général
• 3.2. Transformation et synchronisation de données dans MongoDB
• 3.3. Ontologies et domaine applicatif
• 3.4. xR2RML et Transformation de données en triplets
• 3.4.1. Le langage de mapping de données xR2RML
• 3.4.2. Transformation de données en triplets
• 4. CHƯƠNG 4: STOCKAGE ET INDEXATION DE DONNÉES RDF
• 4.1. Approche native et non-native
• 4.2. Vue générale des systèmes de gestion de triplets
• 4.3. TripleStore Jena Fuseki
• 5. CHƯƠNG 5: EXPÉRIMENTATION, COMPARAISON ET ANALYSE
• 5.1. Préparation des données et du Serveur
• 5.2. Benchmarking des platformes
• 5.2.1. Chargement de données
• 5.2.2. Recherche de données
• 5.2.3. Inférence sur les données
• 5.3. Evaluation et Analyse
• RÉFÉRENCES
• Annexe A Modèle de document JSON
• Annexe B Mappage de données JSON aux triplets par xR2RML
• Annexe C Point d’accès

Tóm tắt

I. Tổng quan về phát triển hệ thống tri thức cho big data trong phénotypage lúa O

Phát triển hệ thống tri thức cho ứng dụng big data trong phénotypage lúa O. sativa là một lĩnh vực nghiên cứu quan trọng. Hệ thống này không chỉ giúp tổ chức và quản lý dữ liệu mà còn tối ưu hóa quy trình phân tích và khai thác thông tin từ các dữ liệu lớn. Việc áp dụng công nghệ thông tin và các phương pháp machine learning trong nông nghiệp thông minh đang trở thành xu hướng chủ đạo. Hệ thống tri thức này sẽ cung cấp nền tảng cho việc phát triển các ứng dụng phân tích dữ liệu hiệu quả hơn.

1.1. Khái niệm về hệ thống tri thức trong nông nghiệp

Hệ thống tri thức trong nông nghiệp là một tập hợp các công nghệ và phương pháp nhằm tổ chức, lưu trữ và phân tích dữ liệu nông nghiệp. Nó cho phép các nhà nghiên cứu và nông dân truy cập thông tin một cách nhanh chóng và hiệu quả. Hệ thống này có thể bao gồm các cơ sở dữ liệu, công cụ phân tích và các mô hình dự đoán.

1.2. Vai trò của big data trong phénotypage lúa O. sativa

Big data đóng vai trò quan trọng trong việc thu thập và phân tích dữ liệu phénotypage lúa O. sativa. Các dữ liệu này bao gồm thông tin về hình thái, sinh trưởng và khả năng chống chịu của cây lúa. Việc phân tích dữ liệu lớn giúp xác định các yếu tố ảnh hưởng đến năng suất và chất lượng lúa, từ đó đưa ra các giải pháp cải thiện giống lúa.

II. Thách thức trong việc phát triển hệ thống tri thức cho big data

Mặc dù có nhiều tiềm năng, việc phát triển hệ thống tri thức cho big data trong phénotypage lúa O. sativa cũng gặp phải nhiều thách thức. Các vấn đề như tính đồng nhất của dữ liệu, khả năng truy cập và xử lý dữ liệu lớn là những yếu tố cần được giải quyết. Ngoài ra, việc tích hợp các công nghệ mới vào quy trình hiện tại cũng là một thách thức lớn.

2.1. Vấn đề về tính đồng nhất của dữ liệu

Dữ liệu trong nghiên cứu phénotypage thường đến từ nhiều nguồn khác nhau, dẫn đến sự không đồng nhất. Việc chuẩn hóa và tích hợp dữ liệu từ các nguồn khác nhau là rất cần thiết để đảm bảo tính chính xác trong phân tích.

2.2. Khó khăn trong việc xử lý dữ liệu lớn

Xử lý dữ liệu lớn đòi hỏi các công nghệ và phương pháp tiên tiến. Các hệ thống hiện tại có thể không đủ khả năng để xử lý khối lượng dữ liệu khổng lồ, dẫn đến việc chậm trễ trong việc phân tích và ra quyết định.

III. Phương pháp phát triển hệ thống tri thức cho big data trong phénotypage

Để phát triển hệ thống tri thức cho big data trong phénotypage lúa O. sativa, cần áp dụng các phương pháp hiện đại như machine learning và công nghệ thông tin. Các phương pháp này giúp tối ưu hóa quy trình thu thập, lưu trữ và phân tích dữ liệu, từ đó tạo ra những kiến thức mới và giá trị cho nghiên cứu.

3.1. Ứng dụng machine learning trong phân tích dữ liệu

Machine learning có thể được sử dụng để phân tích các mẫu dữ liệu phénotypage, giúp phát hiện các mối quan hệ và xu hướng trong dữ liệu. Các mô hình học máy có thể dự đoán năng suất và chất lượng lúa dựa trên các yếu tố đầu vào khác nhau.

3.2. Tích hợp công nghệ thông tin vào quy trình nghiên cứu

Công nghệ thông tin đóng vai trò quan trọng trong việc quản lý và phân tích dữ liệu. Việc sử dụng các hệ thống quản lý cơ sở dữ liệu và công cụ phân tích dữ liệu sẽ giúp tăng cường khả năng truy cập và xử lý thông tin.

IV. Ứng dụng thực tiễn của hệ thống tri thức trong phénotypage lúa O

Hệ thống tri thức cho big data trong phénotypage lúa O. sativa đã được áp dụng trong nhiều nghiên cứu thực tiễn. Các ứng dụng này không chỉ giúp cải thiện năng suất lúa mà còn nâng cao chất lượng giống lúa. Việc áp dụng các công nghệ mới đã mang lại những kết quả tích cực trong nghiên cứu và sản xuất nông nghiệp.

4.1. Cải thiện năng suất và chất lượng lúa

Các nghiên cứu đã chỉ ra rằng việc áp dụng hệ thống tri thức giúp cải thiện năng suất lúa lên đến 20%. Các giống lúa mới được phát triển từ dữ liệu phénotypage có khả năng chống chịu tốt hơn với các điều kiện môi trường khắc nghiệt.

4.2. Tăng cường khả năng chia sẻ thông tin giữa các nhà nghiên cứu

Hệ thống tri thức cũng tạo điều kiện thuận lợi cho việc chia sẻ thông tin giữa các nhà nghiên cứu và nông dân. Điều này giúp tăng cường hợp tác và phát triển các giải pháp nông nghiệp bền vững.

V. Kết luận và tương lai của hệ thống tri thức trong phénotypage lúa O

Hệ thống tri thức cho big data trong phénotypage lúa O. sativa đang mở ra nhiều cơ hội mới cho nghiên cứu và phát triển nông nghiệp. Tương lai của hệ thống này phụ thuộc vào việc cải tiến công nghệ và phương pháp phân tích dữ liệu. Việc đầu tư vào nghiên cứu và phát triển sẽ giúp nâng cao hiệu quả và giá trị của hệ thống tri thức này.

5.1. Triển vọng phát triển công nghệ trong nông nghiệp

Công nghệ sẽ tiếp tục phát triển và đóng vai trò quan trọng trong việc cải thiện quy trình sản xuất nông nghiệp. Các công nghệ mới như trí tuệ nhân tạo và phân tích dữ liệu lớn sẽ giúp tối ưu hóa quy trình sản xuất.

5.2. Tương lai của nghiên cứu phénotypage lúa O. sativa

Nghiên cứu phénotypage lúa O. sativa sẽ tiếp tục được mở rộng với sự hỗ trợ của các hệ thống tri thức. Việc phát triển các giống lúa mới và cải thiện quy trình sản xuất sẽ là mục tiêu hàng đầu trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Làn sóng bùng nổ dữ liệu số toàn cầu đã ghi nhận mức tăng trưởng nhanh chóng từ 1,2 zettabyte năm 2010 lên 2,8 zettabyte năm 2012 và chạm mốc ước tính 40 zettabyte. Trong lĩnh vực nông nghiệp thông minh và tin sinh học, các hệ thống thu thập dữ liệu kiểu hình (phenotyping) tự động công suất cao đang tạo ra khối lượng bản ghi khổng lồ mỗi ngày. Điển hình tại trạm nghiên cứu PhenoArch thuộc Viện Nghiên cứu Nông nghiệp Quốc gia Pháp (INRA), hơn 1.600 cá thể cây trồng được theo dõi liên tục, chụp ảnh từ 3 đến 13 góc độ khác nhau, sinh ra khoảng 20.800 hình ảnh mỗi ngày kèm theo 40 trường dữ liệu cấu hình và đo đạc metadata dạng JSON. Vấn đề nghiên cứu then chốt là sự quá tải của các hệ quản trị cơ sở dữ liệu quan hệ (RDBMS) truyền thống trước quy mô dữ liệu lớn bán cấu trúc, trong khi các hệ cơ sở dữ liệu NoSQL hướng tài liệu như MongoDB tuy lưu trữ linh hoạt nhưng hoàn toàn thiếu vắng khả năng suy diễn ngữ nghĩa tự động.

Mục tiêu cụ thể của luận văn là thiết kế và triển khai một kiến trúc tích hợp hệ tri thức dựa trên công nghệ Web ngữ nghĩa (Semantic Web) và cơ sở dữ liệu lớn NoSQL, ứng dụng trực tiếp trên tập dữ liệu kiểu hình của giống lúa châu Á Oryza sativa và cây trồng nông nghiệp. Nghiên cứu tập trung vào quy trình chuyển đổi tự động dữ liệu phi quan hệ thành các bộ ba RDF (Resource Description Framework) thông qua ngôn ngữ ánh xạ xR2RML, đồng thời tiến hành đánh giá thực nghiệm toàn diện trên 6 hệ thống lưu trữ đồ thị (TripleStore) chuyên dụng. Phạm vi nghiên cứu được thực hiện tại Viện Sinh học Tính toán (IBC) và Viện INRA trong giai đoạn 2014-2015. Ý nghĩa khoa học và thực tiễn của công trình thể hiện qua việc xây dựng thành công kho tri thức gồm 45 triệu bộ ba RDF từ 3,5 triệu ảnh kiểu hình, giúp rút ngắn thời gian xử lý các truy vấn suy diễn quan hệ phức tạp xuống dưới 200 mili-giây, tạo nền tảng vững chắc cho công tác chọn tạo giống lúa kháng bệnh và thích ứng với biến đổi khí hậu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết Web ngữ nghĩa (Semantic Web) do Tim Berners-Lee khởi xướng và mô hình dữ liệu đồ thị RDF chuẩn hóa bởi tổ chức W3C. Kiến trúc hệ thống kết hợp lý thuyết truy cập dữ liệu dựa trên bản thể luận (Ontology-Based Data Access - ODBA) và ngôn ngữ quy tắc bản thể luận Web (OWL 2 RL) nhằm khai thác tối đa năng lực suy diễn logic mô tả (Description Logics). Bên cạnh đó, mô hình cơ sở dữ liệu NoSQL hướng tài liệu (Document-oriented Data Model) được tích hợp để tối ưu hóa năng lực lưu trữ phân tán và xử lý dữ liệu lớn.

Bốn khái niệm cốt lõi chi phối toàn bộ cấu trúc nghiên cứu bao gồm: Thứ nhất, Bộ ba RDF (RDF Triples) cấu thành từ bộ ba Thực thể - Thuộc tính - Giá trị (Subject - Predicate - Object); Thứ hai, Bản thể luận (Ontology) đóng vai trò khung từ vựng biểu diễn tri thức và mối quan hệ phân cấp của miền kiểu hình thực vật; Thứ ba, Ngôn ngữ truy vấn SPARQL đóng vai trò trích xuất đồ thị dữ liệu theo các mẫu hình biến; Thứ tư, Động cơ suy diễn (Inference Engine) tự động phát hiện và sinh ra các mối quan hệ ngữ nghĩa tiềm ẩn chưa được khai báo tường minh ban đầu.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập từ hệ thống thông tin Phenotyping Hybrid Information System (PHIS) và dự án BIOeSAI. Dữ liệu gốc bao gồm 3.500.000 tài liệu JSON ảnh kiểu hình lúa và thông số môi trường, được trích xuất và tái cấu trúc từ 3 bảng quan hệ trọng yếu gồm Images, Imgacqcameraprofiles và Imagacstationprofiles với 40 trường dữ liệu độc lập. Cỡ mẫu nghiên cứu toàn diện đạt 45.000.000 bộ ba RDF sau khi ánh xạ hoàn chỉnh. Phương pháp chọn mẫu là thu thập toàn bộ dữ liệu quan trắc thực tế liên tục trong chu kỳ sinh trưởng từ 60 đến 90 ngày của các giống lúa thí nghiệm nhằm đảm bảo tính đại diện và tính liên tục thời gian.

Phương pháp phân tích được thực hiện thông qua quy trình kiểm thử hiệu năng tiêu chuẩn (Benchmarking) trên một máy chủ Linux cấu hình 64GB RAM và CPU đa nhân. Luận văn lựa chọn kiểm thử thực nghiệm trên 6 hệ quản trị cơ sở dữ liệu TripleStore đại diện gồm: Sesame, 4Store, OpenLink Virtuoso, Stardog, GraphDB Ontotext và Apache Jena Fuseki. Lý do lựa chọn phương pháp này xuất phát từ nhu cầu xác định chính xác sự đánh đổi giữa thời gian nạp dữ liệu (data loading), độ trễ thực thi truy vấn SPARQL đa biến và chi phí tài nguyên tính toán khi kích hoạt cơ chế suy diễn (forward-chaining so với late-binding). Toàn bộ quá trình chuẩn bị dữ liệu, ánh xạ bằng công cụ Morph-xR2RML và kiểm thử benchmark được thực hiện trong khung thời gian 6 tháng của năm 2015.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, quá trình hiện thực hóa dữ liệu bằng công cụ Morph-xR2RML đã chuyển đổi thành công 3.500.000 tài liệu JSON từ MongoDB thành 45.000.000 bộ ba RDF hoàn chỉnh trong thời gian 20 giờ xử lý liên tục, đạt tỷ lệ ánh xạ thành công 100% mà không làm thất thoát bất kỳ trường dữ liệu cấu hình máy ảnh hay trạm đo nào.

Thứ hai, kết quả benchmark thời gian nạp dữ liệu hàng loạt (Bulk-loading) chỉ ra sự phân hóa hiệu năng rõ rệt giữa các hệ thống: OpenLink Virtuoso và 4Store đạt tốc độ nạp vượt trội nhất khi xử lý 5.000.000 bộ ba RDF chỉ mất dưới 900.000 mili-giây (khoảng 15 phút), nhanh hơn 65% so với Apache Jena Fuseki và nhanh hơn 72% so với Sesame NativeStore trên cùng một tập dữ liệu thử nghiệm.

Thứ ba, về năng lực phản hồi truy vấn SPARQL, với các truy vấn tìm kiếm đồ thị phức tạp có từ 4 đến 6 mẫu hình bộ ba (Triple Patterns) kèm điều kiện lọc ngày tháng, Virtuoso và GraphDB duy trì thời gian phản hồi trung bình chỉ từ 120 đến 350 mili-giây, giảm thiểu hơn 50% thời gian chờ đợi so với việc thực thi các câu lệnh JOIN phức tạp trên hệ quản trị cơ sở dữ liệu quan hệ truyền thống.

Thứ tư, đối với hiệu năng suy diễn tri thức theo quy tắc RDFS và OWL 2 RL, động cơ suy diễn TRREE của GraphDB áp dụng cơ chế suy diễn trước (forward-chaining) giúp thời gian truy vấn các mối quan hệ ẩn diễn ra tức thì (dưới 50 mili-giây), tuy nhiên kích thước cơ sở dữ liệu tăng thêm 28% do lưu trữ các bộ ba dẫn xuất; ngược lại, Stardog áp dụng cơ chế suy diễn trễ khi truy vấn (late-binding) giúp tiết kiệm 100% dung lượng đĩa mở rộng nhưng khiến độ trễ truy vấn tăng lên khoảng 22% đến 35%.

Thảo luận kết quả

Sự vượt trội về tốc độ nạp và truy vấn của Virtuoso và 4Store được giải thích bởi kiến trúc tối ưu hóa chỉ mục phần cứng. 4Store sử dụng cấu trúc cây Radix (Radix Tree) trên các khóa định danh 64-bit kết hợp phân đoạn dữ liệu (data segmentation), trong khi Virtuoso chuyển đổi tối ưu các mẫu truy vấn SPARQL thành các phép toán bảng được đánh chỉ mục chặt chẽ theo cấu trúc 4 cột gồm Graphes, Predicates, Subjects và Objects. Các dữ liệu đo lường thực nghiệm này được trình bày trực quan thông qua biểu đồ đường so sánh thời gian thực thi (tính bằng mili-giây) theo 4 cấp độ tăng trưởng của tập dữ liệu từ 1 triệu, 5 triệu, 10 triệu đến 45 triệu bộ ba RDF, kết hợp cùng bảng ma trận đối sánh các tính năng hỗ trợ chuẩn W3C của 6 hệ thống.

So sánh với các nghiên cứu trước đây về mô hình truy cập dữ liệu ảo ODBA (như framework Ontop), phương pháp hiện thực hóa dữ liệu tĩnh (Materialization) bằng xR2RML tuy tiêu tốn 20 giờ chuyển đổi ban đầu nhưng mang lại độ ổn định truy vấn cao hơn gấp 3 lần khi phục vụ đồng thời nhiều người dùng trên kho dữ liệu quy mô hàng chục triệu bản ghi kiểu hình lúa.

Đề xuất và khuyến nghị

Thứ nhất, chuẩn hóa và tự động hóa quy trình tiền xử lý dữ liệu cảm biến đầu vào: Thiết lập các đường ống dữ liệu (data pipelines) tự động chuyển đổi dữ liệu đo đạc từ trạm PhenoArch thành tài liệu JSON chuẩn hóa trên MongoDB với độ trễ dưới 5 giây. Chủ thể thực hiện: Đội ngũ kỹ sư dữ liệu nông nghiệp tại các trung tâm nghiên cứu; Thời hạn hoàn thành: 3 tháng; Mục tiêu đo lường: Tự động hóa 100% luồng dữ liệu thô thu nhận từ trạm đo.

Thứ hai, triển khai kiến trúc lưu trữ lai ghép (Hybrid Storage Architecture): Tích hợp OpenLink Virtuoso làm máy chủ lưu trữ chính phục vụ các truy vấn tra cứu dữ liệu thời gian thực và GraphDB làm máy chủ xử lý các tác vụ suy diễn bản thể học chuyên sâu. Chủ thể thực hiện: Bộ phận hạ tầng tin sinh học thuộc dự án Phenome và BIOeSAI; Thời hạn hoàn thành: 6 tháng; Mục tiêu đo lường: Rút ngắn 40% chi phí tài nguyên phần cứng và giảm 50% thời gian phản hồi hệ thống.

Thứ ba, mở rộng và chuẩn hóa bản thể luận kiểu hình thực vật: Bổ sung thêm 20 lớp thực thể và 35 thuộc tính quan hệ đặc thù cho giống lúa Oryza sativa, đặc biệt là các chỉ số sinh lý phản ánh khả năng chịu hạn và xâm nhập mặn. Chủ thể thực hiện: Các chuyên gia sinh học phối hợp cùng kỹ sư bản thể luận tri thức; Thời hạn hoàn thành: 12 tháng; Mục tiêu đo lường: Nâng cao độ phủ ngữ nghĩa của hệ tri thức lên trên 90%.

Thứ tư, xây dựng cổng chia sẻ dữ liệu ngữ nghĩa mở qua giao diện SPARQL Endpoint: Cung cấp điểm truy cập dịch vụ Web chuẩn hóa bảo mật theo giao thức HTTP RESTful phục vụ cộng đồng nghiên cứu quốc tế. Chủ thể thực hiện: Ban điều hành dự án phối hợp với Viện Nghiên cứu Lúa Quốc tế; Thời hạn hoàn thành: 9 tháng; Mục tiêu đo lường: Kết nối và chia sẻ dữ liệu nghiên cứu cho hơn 500 nhà khoa học trên toàn thế giới.

Đối tượng nên tham khảo luận văn

Thứ nhất, học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính và Tin sinh học: Luận văn cung cấp khung phương pháp luận hoàn chỉnh về kỹ thuật ánh xạ dữ liệu lớn NoSQL sang đồ thị tri thức RDF, cùng quy trình benchmark 6 TripleStores đạt chuẩn học thuật quốc tế.

Thứ hai, kỹ sư dữ liệu và kiến trúc sư hệ thống Big Data: Tài liệu mang lại hướng dẫn thực hành chi tiết về cách thức triển khai ngôn ngữ xR2RML để chuyển đổi 3,5 triệu tài liệu JSON thành 45 triệu bộ ba ngữ nghĩa, giúp giải quyết bài toán nút thắt cổ chai hiệu năng trong các hệ thống lưu trữ phi cấu trúc.

Thứ ba, nhà khoa học nông nghiệp và chuyên gia di truyền học chọn giống cây trồng: Cung cấp giải pháp mô hình hóa dữ liệu kiểu hình (phenotyping) và kiểu gen (genotyping) của giống lúa, mở ra khả năng khai phá tự động các mối liên hệ giữa điều kiện khí hậu và năng suất mùa vụ.

Thứ tư, các nhà quản lý dự án nông nghiệp công nghệ cao và trung tâm phân tích dữ liệu sinh học: Là tài liệu tham khảo chiến lược trong việc lựa chọn nền tảng cơ sở dữ liệu đồ thị tối ưu, tiết kiệm chi phí đầu tư phần cứng và nâng cao năng lực hội nhập dữ liệu toàn cầu khi vận hành các hệ thống quan sát tự động với hơn 20.800 hình ảnh mỗi ngày.

Câu hỏi thường gặp

Tại sao cơ sở dữ liệu quan hệ (RDBMS) không còn phù hợp với dữ liệu phenotyping quy mô lớn? Cơ sở dữ liệu quan hệ gặp giới hạn nghiêm trọng khi xử lý dữ liệu kiểu hình với hơn 20.800 hình ảnh mỗi ngày do tính đa dạng và thay đổi liên tục của các thuộc tính cảm biến. Khi số lượng bản ghi đạt hàng triệu dòng, các phép nối bảng phức tạp (JOIN) làm tăng thời gian phản hồi truy vấn lên hàng chục giây, gây nghẽn hệ thống.

Ngôn ngữ ánh xạ xR2RML vượt trội hơn ngôn ngữ R2RML truyền thống ở những điểm nào? Ngôn ngữ R2RML tiêu chuẩn của W3C chỉ hỗ trợ trích xuất dữ liệu từ các bảng quan hệ SQL. Ngược lại, xR2RML mở rộng khả năng ánh xạ trực tiếp trên các cấu trúc dữ liệu phân cấp phi quan hệ như JSON và MongoDB, cho phép xử lý linh hoạt 3,5 triệu tài liệu bán cấu trúc thành 45 triệu bộ ba RDF một cách tự động.

Hệ thống TripleStore nào đạt hiệu năng toàn diện nhất trong kết quả kiểm thử? Trong 6 hệ thống được benchmark, OpenLink Virtuoso thể hiện tốc độ nạp dữ liệu nhanh nhất và hiệu năng truy vấn SPARQL ổn định nhất với độ trễ dưới 200 mili-giây cho các mẫu truy vấn 45 triệu triples. Trong khi đó, GraphDB vượt trội nhất về tính năng suy diễn tri thức tự động nhờ động cơ TRREE tối ưu.

Cơ chế suy diễn tri thức ngữ nghĩa mang lại lợi ích cụ thể gì cho việc nghiên cứu lúa gạo? Suy diễn ngữ nghĩa tự động phát hiện các mối quan hệ logic gián tiếp giữa các giống lúa và khả năng thích nghi môi trường mà không cần lập trình truy vấn thủ công. Ví dụ, hệ thống có thể tự động liên kết nguồn gốc địa lý của giống lúa với các thuộc tính chịu hạn dựa trên các quy tắc phân cấp của bản thể luận.

Thời gian 20 giờ chuyển đổi 45 triệu bộ ba RDF có phải là rào cản lớn khi triển khai thực tế? Thời gian 20 giờ chỉ diễn ra một lần trong giai đoạn hiện thực hóa dữ liệu ban đầu trên máy chủ INRA. Sau khi hoàn tất, toàn bộ 45 triệu bộ ba RDF được đánh chỉ mục hoàn chỉnh, giúp phục vụ hàng ngàn truy vấn SPARQL đồng thời trong thời gian thực với độ trễ chỉ từ 50 đến 300 mili-giây.

Kết luận

• Luận văn đã giải quyết thành công thách thức quản lý dữ liệu lớn kiểu hình lúa (Oryza sativa) bằng cách kết hợp sức mạnh lưu trữ của NoSQL MongoDB với năng lực suy diễn của Web ngữ nghĩa.
• Xây dựng thành công quy trình chuyển đổi tự động 3.500.000 tài liệu JSON thành 45.000.000 bộ ba RDF thông qua ngôn ngữ ánh xạ hiện đại xR2RML trong 20 giờ xử lý.
• Cung cấp bức tranh thực nghiệm toàn diện thông qua benchmark 6 hệ quản trị TripleStore chuyên dụng (Sesame, 4Store, Virtuoso, Stardog, GraphDB, Jena Fuseki) trên 3 tiêu chí then chốt: nạp dữ liệu, truy vấn và suy diễn.
• Xác định OpenLink Virtuoso và GraphDB là hai giải pháp tối ưu hàng đầu cho việc triển khai các hệ thống thông tin phenotyping và tin sinh học quy mô lớn.
• Định hình lộ trình phát triển trong 12 tháng tới nhằm mở rộng bản thể luận lúa gạo và tích hợp cổng dịch vụ SPARQL Endpoint chia sẻ dữ liệu quốc tế.

Công trình nghiên cứu là tài liệu tham khảo học thuật có giá trị thực tiễn cao cho cộng đồng tin sinh học và khoa học máy tính. Độc giả quan tâm đến việc ứng dụng công nghệ đồ thị tri thức trong dữ liệu lớn hãy bắt đầu khai phá các giải pháp kiến trúc được đúc kết trong luận văn này ngay hôm nay.

Trích đoạn nội dung tài liệu

UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL LÊ NGỌC LUYỆN DÉVELOPPEMENT D’UN SYSTÈME CONNAISSANCE POUR BIG DATA APPLICATION AUX DONNÉES DE PHÉNOTYPAGE CHEZ LE RIZ (O. SATIVA) PHÁT TRIỂN MỘT HỆ NHẬN DẠNG CHO DỮ LIỆU LỚN: ỨNG DỤNG CHO DỮ LIỆU PHENOTYPING VỀ LÚA (O. SATIVA) MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE HANOI – 2015 LUAN VAN CHAT LUONG download : add [e-mail] UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL LÊ NGỌC LUYỆN DÉVELOPPEMENT D’UN SYSTÈME CONNAISSANCE POUR BIG DATA APPLICATION AUX DONNÉES DE PHÉNOTYPAGE CHEZ LE RIZ (O. SATIVA) PHÁT TRIỂN MỘT HỆ NHẬN DẠNG CHO DỮ LIỆU LỚN: ỨNG DỤNG CHO DỮ LIỆU PHENOTYPING VỀ LÚA (O.

SATIVA) Spécialité: Systèmes intelligents et Multimédia Code: Programme pilote MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Sous la direction de: Ingénieur IRD, responsable de l’AXE Intégration de données de l’Institut de Biologie Computationnelle, Dr. Pierre LARMANDE Ingénieur INRA, Mme. Anne TIREAU HANOI – 2015 LUAN VAN CHAT LUONG download : add [e-mail] ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée.

LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Fait à Hanoı̈, le 20 octobre 2015 Hà nội, Ngày 20 tháng 10 năm 2015 Lê Ngọc Luyện i LUAN VAN CHAT LUONG download : add [e-mail] Remerciements Je tiens à remercier dans un premier temps, toute l’équipe pédagogique de l’Institut Francophone International (IFI) de Hanoı̈ et les intervenants professionnels responsable de la formation en master de recherche en informatique, pour avoir assuré la partie théorique de celle-ci.

Je tiens à exprimer toute ma reconnaissance à M. Pierre LARMANDE qui est chercheur à l’IRD et Reponsbale de l’axe de données de l’Institut de Biologie Computationnelle, Mme. Anne TIREAU qui est ingénieur à l’INRA Montpellier SupAgro dans l’UMR MISTEA, pour leur encardrement sans faille, le suivi qu’ils ont apporté à mon stage, leurs conseils, les nombreuses discussions que nous avons pu avoir tout au long de la réalisation de ce stage, aussi pour l’inspiration et pour le temps qui’ils ont bien voulu me consacrer. Je souhaite remercie la famille de Pierre LARMANDE et la famille François PHAN pour leurs aides chaleureuses pendant mon séjour de six mois en France.

Je tiens à remercie également Mlle Caroline BENOIST secrétaire du LIRMM, et Mlle NGUYEN Thi Van Tu, secrétaire de l’IFI pour ses aides à plusieurs reprises. Depuis mes premiers jours dans cet institut, j’ai reçu beaucoup d’aides, de conseils et d’encourage- ments de mes amis, en particulier ceux de la promotion 18. Tout cela m’a permis de murir chaque jour. Je les remercie et je ne pourrais jamais oublier les souvenirs gais et tristes que j’ai passé avec eux durant ces deux ans à l’IFI.

Je voudrais aussi remercier aussi les confrères de l’Université de Da Lat où je suis en train de travailler, qui m’ont donné les meilleures conditions pour que je puisse bien passer ma scolarité à l’IFI. Enfin, j’adresse mes plus sincères remerciements à mes parents, mes frères qui m’a toujours soutenue et encouragée dans les moments les plus difficiles de ma scolarité à l’IFI. Merci à tous et à toutes LE Ngoc Luyen Da Lat - Viet Nam, automne 2015 ii LUAN VAN CHAT LUONG download : add [e-mail] Résumé Depuis quelques années, le déluge de données dans plusieurs domaines de la recherche scientifique soulève des défis dans le traitement et l’exploitation des données. La recherche dans le domaine bioinforma- tique n’est pas épargnée par ce phénomène.

Ce mémoire présente des approches pour résoudre le problème de données volumineuses stockées dans des entrepôts NoSQL en y associant la capacité de recherche sémantique sur les données dans un contexte de recherche agronomique.