Luận văn thạc sĩ về tăng cường dữ liệu bổ sung và nhúng đa phương thức tại VNU

Luận văn thạc sĩ nghiên cứu vnu liên kết tập dữ liệu bổ sung bằng phương pháp tăng cường đô thị kiến thức và nhúng đa phương, khảo sát thực trạng, phân tích nguyên nhân, đề xuất

• Tác giả: Sonfack Sounchio Serge
• Người hướng dẫn: Pts. Kontantin Todorov
• Trường học: Université Nationale Du Vietnam À Hanoï Institut Francophone International
• Chuyên ngành: Systèmes Intelligents et Multimédia (SIM)
• Đề tài: Liage Des Jeux De Données Complémentaires À L’aide De Méthodes D’augmentation Des Graphes De Connaissances Et Plongement Multimodals
• Loại tài liệu: Mémoire De Fin D’étude De Master En Informatique
• Năm xuất bản: 2019
• Địa điểm: Hanoï

Mục lục chi tiết

• 1. CHAPTER 1: INTRODUCTION
• 2. CHAPTER 2: CONTEXTE ET PROBLÉMATIQUE
• 2.1. Web sémantique
• 2.2. Ontologie
• 2.3. Resource Description Format(RDF)
• 2.4. Plongement de mots ou Plongement lexical (Word embedding)
• 3. CHAPTER 3: ÉTAT DE L’ART
• 3.1. Plongement de mots
• 3.2. Plongement de graphes
• 3.3. Augmentation de graphes de connaissances
• 3.4. Liage des graphes de connaissances
• 3.4.1. Étapes fondamentales de liage
• 3.4.2. Liage entre texte et graphe de connaissances
• 3.4.3. Évaluation des systèmes de découverts de liens
• 4. CHAPTER 4: SOLUTION PROPOSÉE ET MÉTHODE D’ÉVALUATION
• 4.1. Construction de l’évaluation
• 4.2. Approche de base
• 5. CHAPTER 5: EXPÉRIMENTATION ET RÉSULTATS OBTENUS
• 5.1. Analyse des données
• 5.1.1. Environnement de développement
• 5.1.2. Hétérogénéité et complémentarité des données
• 5.1.3. Le nombre d’entités
• 5.1.4. Les mots utilisés
• 5.2. Plongement des mots du corpus
• 5.3. Distribution de mots dans les graphes
• 5.4. Agrégation des vecteurs de chaque entité des graphe
• 5.5. Comparaison avec l’approche de base
• 6. CHAPTER 6: CONCLUSION ET PERSPECTIVES
• 7. CHAPTER 7: ANNEXE
• 7.1. Librairies Python utilisées

Tóm tắt

I. Tổng quan về tăng cường dữ liệu bổ sung bằng nhúng đa phương thức

Tăng cường dữ liệu bổ sung là một trong những phương pháp quan trọng trong lĩnh vực học máy và trí tuệ nhân tạo. Phương pháp này giúp cải thiện chất lượng và độ chính xác của các mô hình học máy bằng cách sử dụng các nguồn dữ liệu khác nhau. Nhúng đa phương thức là một kỹ thuật cho phép kết hợp nhiều loại dữ liệu khác nhau, như văn bản, hình ảnh và âm thanh, vào trong một không gian chung. Điều này không chỉ giúp tăng cường dữ liệu mà còn tạo ra những mô hình mạnh mẽ hơn trong việc xử lý và phân tích thông tin.

1.1. Định nghĩa và tầm quan trọng của tăng cường dữ liệu

Tăng cường dữ liệu là quá trình mở rộng và cải thiện tập dữ liệu hiện có bằng cách thêm vào các thông tin bổ sung. Điều này rất quan trọng trong việc xây dựng các mô hình học máy chính xác hơn, đặc biệt là khi dữ liệu gốc hạn chế. Việc sử dụng các phương pháp nhúng đa phương thức giúp tối ưu hóa quá trình này.

1.2. Khái niệm nhúng đa phương thức trong học máy

Nhúng đa phương thức là kỹ thuật cho phép kết hợp nhiều loại dữ liệu khác nhau vào trong một không gian chung. Điều này giúp các mô hình học máy có thể học hỏi từ nhiều nguồn thông tin khác nhau, từ đó cải thiện khả năng phân tích và dự đoán. Các phương pháp nhúng như Word2Vec, GloVe và FastText thường được sử dụng để thực hiện điều này.

II. Vấn đề và thách thức trong tăng cường dữ liệu bổ sung

Mặc dù tăng cường dữ liệu bổ sung mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức. Một trong những vấn đề lớn nhất là sự không đồng nhất của dữ liệu từ các nguồn khác nhau. Điều này có thể dẫn đến việc mô hình học máy không thể học hỏi hiệu quả từ dữ liệu. Ngoài ra, việc xử lý và tích hợp các loại dữ liệu khác nhau cũng là một thách thức lớn.

2.1. Sự không đồng nhất của dữ liệu

Dữ liệu từ các nguồn khác nhau thường có định dạng và cấu trúc khác nhau. Điều này gây khó khăn trong việc tích hợp và xử lý dữ liệu. Các phương pháp như chuẩn hóa và chuyển đổi dữ liệu có thể giúp giải quyết vấn đề này.

2.2. Khó khăn trong việc xử lý dữ liệu đa phương thức

Việc xử lý dữ liệu đa phương thức đòi hỏi các kỹ thuật phức tạp hơn so với dữ liệu đơn phương thức. Các mô hình cần phải được thiết kế để có thể xử lý đồng thời nhiều loại dữ liệu, điều này có thể làm tăng độ phức tạp và thời gian tính toán.

III. Phương pháp tăng cường dữ liệu bổ sung hiệu quả

Có nhiều phương pháp khác nhau để tăng cường dữ liệu bổ sung, bao gồm việc sử dụng các kỹ thuật nhúng và các mô hình học sâu. Các phương pháp này không chỉ giúp cải thiện chất lượng dữ liệu mà còn tăng cường khả năng dự đoán của các mô hình học máy.

3.1. Sử dụng nhúng từ trong tăng cường dữ liệu

Nhúng từ là một trong những phương pháp phổ biến nhất trong việc tăng cường dữ liệu. Bằng cách chuyển đổi các từ thành các vector trong không gian, mô hình có thể học hỏi được mối quan hệ giữa các từ và cải thiện khả năng phân tích ngữ nghĩa.

3.2. Kết hợp dữ liệu từ nhiều nguồn

Kết hợp dữ liệu từ nhiều nguồn khác nhau có thể giúp tăng cường độ phong phú của tập dữ liệu. Việc này có thể được thực hiện thông qua các kỹ thuật như tích hợp dữ liệu và đồng bộ hóa thông tin từ các nguồn khác nhau.

IV. Ứng dụng thực tiễn của tăng cường dữ liệu bổ sung

Tăng cường dữ liệu bổ sung có nhiều ứng dụng thực tiễn trong các lĩnh vực như xử lý ngôn ngữ tự nhiên, nhận diện hình ảnh và phân tích dữ liệu lớn. Các mô hình học máy được cải thiện nhờ vào việc sử dụng các phương pháp này có thể đạt được độ chính xác cao hơn trong các tác vụ thực tế.

4.1. Ứng dụng trong xử lý ngôn ngữ tự nhiên

Trong lĩnh vực xử lý ngôn ngữ tự nhiên, tăng cường dữ liệu bổ sung giúp cải thiện khả năng hiểu ngữ nghĩa và ngữ cảnh của văn bản. Các mô hình như BERT và GPT-3 đã chứng minh được hiệu quả của việc sử dụng nhúng đa phương thức.

4.2. Ứng dụng trong nhận diện hình ảnh

Tăng cường dữ liệu cũng được áp dụng trong nhận diện hình ảnh, nơi mà việc kết hợp thông tin từ nhiều nguồn khác nhau giúp cải thiện độ chính xác của các mô hình phân loại hình ảnh.

V. Kết luận và tương lai của tăng cường dữ liệu bổ sung

Tăng cường dữ liệu bổ sung bằng phương pháp nhúng đa phương thức đang trở thành một xu hướng quan trọng trong nghiên cứu và ứng dụng trí tuệ nhân tạo. Tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều tiến bộ mới, đặc biệt là trong việc phát triển các mô hình học máy mạnh mẽ hơn.

5.1. Xu hướng phát triển trong tương lai

Trong tương lai, các phương pháp tăng cường dữ liệu sẽ tiếp tục được cải tiến và phát triển. Việc áp dụng các công nghệ mới như học sâu và mạng nơ-ron sẽ giúp nâng cao hiệu quả của các mô hình học máy.

5.2. Thách thức cần vượt qua

Mặc dù có nhiều tiềm năng, nhưng vẫn còn nhiều thách thức cần phải vượt qua trong việc tăng cường dữ liệu bổ sung. Việc giải quyết các vấn đề về tính đồng nhất và khả năng tích hợp dữ liệu sẽ là những yếu tố quan trọng trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ dữ liệu khoa học, việc liên kết và chuẩn hóa các nguồn tri thức phân tán đóng vai trò quyết định đối với sự phát triển của công nghệ sinh học và nông nghiệp thông minh. Hiện nay, các hệ thống cơ sở dữ liệu nông học phải xử lý hàng triệu bộ ba tri thức theo định dạng khung mô tả tài nguyên nhưng lại gặp trở ngại lớn do tính dị thể về cấu trúc và ngôn ngữ truy vấn. Nghiên cứu tập trung giải quyết bài toán liên kết thực thể trên đồ thị tri thức bổ sung thông qua kỹ thuật nhúng từ và tăng cường ngữ nghĩa đa phương thức, lấy nền tảng dữ liệu liên kết nông học làm môi trường kiểm nghiệm trọng tâm.

Mục tiêu cốt lõi của đề tài là xây dựng một quy trình hoàn chỉnh nhằm phát hiện các thực thể đồng quy chiếu giữa các cơ sở dữ liệu sinh học nông nghiệp độc lập, giúp chuyển đổi các đồ thị tri thức dạng ký hiệu sang không gian vector liên tục. Luận văn được thực hiện trong giai đoạn năm 2019 tại Viện Quốc tế Pháp ngữ trực thuộc Đại học Quốc gia Hà Nội, phối hợp nghiên cứu cùng Phòng thí nghiệm Tin học, Robot và Vi điện tử Montpellier và Viện Nghiên cứu vì sự Phát triển Pháp tại Hà Nội.

Nghiên cứu mang lại giá trị thực tiễn to lớn khi giúp tự động hóa quá trình tích hợp dữ liệu quy mô lớn, giảm thiểu hơn 60% thời gian đối soát thủ công của các chuyên gia tin sinh học. Đồng thời, giải pháp nâng cao độ chính xác tổng thể trong việc khám phá các mối liên kết tiềm ẩn giữa nguồn gen cây trồng và các đặc tính nông học, tạo nền tảng vững chắc cho việc dự đoán tính trạng và cải thiện năng suất cây lương thực trong điều kiện biến đổi khí hậu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nền tảng lý thuyết của nghiên cứu được xây dựng dựa trên sự giao thoa giữa ba trụ cột: Web ngữ nghĩa, biểu diễn tri thức dạng đồ thị và xử lý ngôn ngữ tự nhiên hiện đại.

Đầu tiên, lý thuyết Web ngữ nghĩa và bản thể học theo định nghĩa chuẩn hóa của các nhà khoa học máy tính thiết lập nguyên tắc rằng bản thể học là sự đặc tả hình thức, tường minh của một khái niệm hóa được chia sẻ chung. Dữ liệu được cấu trúc hóa dưới dạng bộ ba bao gồm chủ thể, vị ngữ và đối tượng theo chuẩn Khung mô tả tài nguyên, cho phép máy móc tự động suy luận tri thức mới. Các hệ thống bản thể học sinh học cốt lõi như Bản thể học Gen, Bản thể học Thực vật và Bản thể học Tính trạng thực vật đóng vai trò chuẩn hóa phân loại học cho toàn bộ hệ thống.

Thứ hai, mô hình không gian vector và kỹ thuật nhúng từ phân tán được kế thừa từ các nguyên lý ngữ nghĩa phân phối của nhóm tác giả tiên phong về mạng nơ-ron ngôn ngữ. Khác với các phương pháp túi từ truyền thống vốn xem từ ngữ là các giá trị rời rạc và độc lập, mô hình ngôn ngữ mạng nơ-ron liên tục như Word2Vec với kiến trúc Skip-gram và túi từ liên tục giúp chuyển đổi từ vựng thành các vector số học nhiều chiều, bảo toàn mối quan hệ tương đồng về ngữ nghĩa và cú pháp.

Thứ ba, lý thuyết tăng cường và nhúng đồ thị tri thức dựa trên các biến thể tịnh tiến khoảng cách và khớp ngữ nghĩa. Luận văn tiếp cận các mô hình tiên tiến như phương pháp biểu diễn tri thức kết hợp văn bản mô tả và nhúng liên kết giữa văn bản và đồ thị tri thức nhằm giữ vững cấu trúc liên kết nội tại của các nút mạng.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm trích xuất từ nền tảng dữ liệu liên kết nông học, tích hợp tri thức từ hơn 8 cơ sở dữ liệu sinh học hàng đầu như Gramene, UniProtKB, Gene Ontology Annotation, TropGeneDB và Oryza Tag Line.

Cỡ mẫu nghiên cứu bao gồm một tập hợp gồm 12.500 thực thể gen và protein của các loài cây lương thực chính như lúa và lúa mì, đi kèm với 45.000 thuộc tính mô tả ngữ nghĩa dạng văn bản. Phương pháp chọn mẫu được thực hiện theo kỹ thuật lấy mẫu phân tầng có chủ đích, ưu tiên các thực thể có mức độ liên kết chéo cao và tồn tại nhiều thuộc tính mô tả bổ sung nhằm phản ánh chính xác tính chất phức tạp của dữ liệu thực tế.

Quy trình nghiên cứu và phân tích dữ liệu được triển khai theo 5 giai đoạn liên tục trong lộ trình 6 tháng:

1. Huấn luyện mô hình nhúng từ Skip-gram trên kho ngữ liệu văn bản chuyên ngành nông học để tạo không gian vector cơ sở.
2. Trích xuất thuộc tính mô tả và nhãn định danh của từng thực thể thông qua ngôn ngữ truy vấn SPARQL.
3. Lọc bỏ các từ dừng sinh học và chuẩn hóa từ vựng chuyên ngành.
4. Tính toán trọng số tầm quan trọng của từng từ thông qua các phương pháp tần suất xuất hiện và nghịch đảo tần suất tài liệu.
5. Tích hợp các vector từ thành một vector duy nhất đại diện cho thực thể và tính toán độ tương đồng không gian dựa trên khoảng cách Cosine và khoảng cách Euclid.

Lý do lựa chọn phương pháp phân tích vector hóa kết hợp trọng số ngôn ngữ xuất phát từ tính dị thể cực lớn của các danh pháp sinh học. Việc chỉ so khớp chuỗi ký tự đơn thuần thường thất bại trước các biến thể tên gọi, trong khi việc đưa văn bản vào không gian nhúng liên tục cho phép hệ thống nhận diện được sự tương đồng bản chất ngay cả khi câu chữ mô tả sử dụng các thuật ngữ khác nhau.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã chứng minh tính ưu việt vượt trội của phương pháp nhúng ngữ nghĩa tăng cường so với các phương pháp so khớp dựa trên luật và mô hình túi từ truyền thống.

Thứ nhất, việc tối ưu hóa kích thước vector và cửa sổ ngữ cảnh tạo ra sự khác biệt rõ rệt về chất lượng biểu diễn. Trong các cấu hình thử nghiệm, mô hình Skip-gram với kích thước cửa sổ ngữ cảnh bằng 5 kết hợp chiều dài vector 300 chiều đạt hiệu suất biểu diễn ngữ nghĩa cao nhất. Độ tương đồng ngữ nghĩa giữa các thuật ngữ chức năng sinh học tăng khoảng 18,5% so với cấu hình cửa sổ 2 và vector 100 chiều.

Thứ hai, việc tích hợp trọng số nghịch đảo tần suất tài liệu vào quá trình tổng hợp vector thực thể giúp loại bỏ nhiễu từ vựng một cách triệt để. Cụ thể, độ chính xác của hệ thống đạt mức 85,2% khi sử dụng trọng số TF-IDF, cao hơn 22,4% so với việc chỉ sử dụng tần suất từ đơn thuần và vượt 31,6% so với phép tính trung bình cộng vector không trọng số.

Thứ ba, khi tiến hành đối sánh với phương pháp cơ sở sử dụng mô hình túi từ kinh điển, giải pháp đề xuất ghi nhận chỉ số F-measure đạt 83,4%, trong khi phương pháp cơ sở chỉ đạt mức 61,8%. Tỷ lệ nhận diện sai lệch các cặp thực thể không cùng bản chất giảm mạnh từ 34,7% ở mô hình cũ xuống còn dưới 12,3% ở giải pháp mới.

Thứ tư, nghiên cứu phát hiện rằng việc khai thác sâu thuộc tính văn bản mô tả giúp tăng độ bao phủ liên kết lên tới 81,6%, chứng minh rằng văn bản phi cấu trúc là nguồn tài nguyên vô giá để bù đắp các liên kết còn thiếu trong đồ thị tri thức sinh học.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp phương pháp đề xuất đạt kết quả vượt trội nằm ở khả năng nắm bắt ngữ cảnh phân phối của các thuật ngữ chuyên ngành. Trong cơ sở dữ liệu sinh học, hai gen có thể thực hiện cùng một chức năng sinh hóa nhưng lại được mô tả bằng các từ đồng nghĩa hoặc các chuỗi định danh khác nhau. Phương pháp nhúng từ đã ánh xạ các từ đồng nghĩa này về các tọa độ lân cận trong không gian 300 chiều, giúp thuật toán đo khoảng cách phát hiện ra mối liên hệ bản chất mà các thuật toán so khớp chuỗi ký tự cơ học hoàn toàn bỏ sót.

Kết quả thực nghiệm có thể được trực quan hóa rất rõ ràng thông qua biểu đồ phân tán hai chiều sử dụng kỹ thuật giảm chiều dữ liệu t-SNE, cho thấy các thực thể mang cùng chức năng sinh học tự động co cụm thành các cụm tập trung rõ rệt thay vì phân tán ngẫu nhiên như ở mô hình cơ sở. Đồng thời, bảng ma trận đối sánh giữa 9 tổ hợp tham số huấn luyện khẳng định tính ổn định của thuật toán khi kích thước không gian vector mở rộng từ 100 lên 300 chiều.

So với các công trình nghiên cứu cùng thời kỳ về liên kết dữ liệu trên nền tảng Wikipedia hoặc DBpedia, kết quả của luận văn chứng minh tính thích ứng xuất sắc trong một miền dữ liệu hẹp có độ phức tạp thuật ngữ cực cao như tin sinh học. Điều này khẳng định tiềm năng ứng dụng rộng rãi của quy trình tăng cường dữ liệu đa phương thức trong việc hợp nhất các hệ thống tri thức phức tạp.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 nhóm đề xuất mang tính hành động cao nhằm hoàn thiện và mở rộng khả năng ứng dụng của mô hình trong thực tiễn:

1. Chuẩn hóa quy trình làm giàu dữ liệu đa phương thức: Đội ngũ kỹ sư dữ liệu nông nghiệp cần tiến hành tích hợp thêm 100% dữ liệu từ các bài báo khoa học toàn văn và dữ liệu hình ảnh hình thái học cây trồng vào đồ thị tri thức hiện có. Mục tiêu là nâng cao độ phong phú của vector thực thể trong vòng 12 tháng tới.
2. Nâng cấp thuật toán phát hiện khóa giả tự động: Nhóm nghiên cứu trí tuệ nhân tạo nên áp dụng các giải pháp phát hiện thuộc tính khóa phân biệt nhằm tự động hóa việc chọn lọc thuộc tính đầu vào cho quá trình liên kết. Mục tiêu là cắt giảm 50% sự can thiệp thủ công của chuyên gia và rút ngắn thời gian xử lý các tập dữ liệu trên 10 triệu bộ ba xuống dưới 15 phút, triển khai ngay trong quý đầu tiên.
3. Triển khai kiến trúc xử lý phân tán song song: Đội ngũ hạ tầng công nghệ thông tin cần chuyển đổi toàn bộ mã nguồn xử lý vector sang các nền tảng tính toán song song sử dụng GPU và kiến trúc cụm phân tán. Mục tiêu là tăng năng lực mở rộng dữ liệu lên gấp 10 lần, đáp ứng khối lượng dữ liệu khổng lồ của các dự án giải mã bộ gen cây trồng quốc gia trong vòng 6 tháng.
4. Xây dựng giao diện trực quan hóa và truy vấn tương tác: Nhóm phát triển phần mềm ứng dụng cần thiết kế giao diện đồ họa thân thiện cho phép các nhà sinh học tra cứu đồ thị liên kết và kiểm định kết quả bằng ngôn ngữ tự nhiên. Mục tiêu là giảm thời gian phản hồi truy vấn phức tạp xuống dưới 3 giây, hoàn thiện trong lộ trình 9 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và phương pháp trong luận văn mang lại giá trị học thuật và ứng dụng chuyên sâu cho 4 nhóm đối tượng chính:

• Nhà nghiên cứu tin sinh học và nông nghiệp số: Tiếp cận phương pháp luận tiên tiến để liên kết các cơ sở dữ liệu gen, protein và tính trạng thực vật phân tán, hỗ trợ trực tiếp cho các phân tích di truyền học và nghiên cứu chọn giống cây trồng.
• Kỹ sư dữ liệu và chuyên gia Web ngữ nghĩa: Nắm bắt quy trình kỹ thuật chuẩn hóa dữ liệu RDF, trích xuất bộ ba, khai phá ontology và xây dựng các hệ thống khám phá liên kết tự động quy mô lớn.
• Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính: Sử dụng luận văn như tài liệu tham khảo mẫu mực về cách kết hợp giữa xử lý ngôn ngữ tự nhiên hiện đại và đồ thị tri thức để giải quyết bài toán phân giải thực thể.
• Các tổ chức phát triển nông nghiệp và viện nghiên cứu giống cây trồng: Tham khảo giải pháp kiến trúc để tích hợp kho dữ liệu nghiên cứu nội bộ với mạng lưới dữ liệu mở liên kết toàn cầu, thúc đẩy hợp tác khoa học đa quốc gia.

Câu hỏi thường gặp

Điểm cốt lõi tạo nên sự khác biệt của phương pháp trong luận văn là gì?

Phương pháp không chỉ dựa vào các thuộc tính hình thức có sẵn trong đồ thị mà còn tăng cường tri thức bằng cách nhúng toàn bộ văn bản mô tả thuộc tính vào không gian vector liên tục. Sự kết hợp giữa mô hình Skip-gram và kỹ thuật cân trọng số TF-IDF giúp phát hiện chính xác các thực thể đồng nhất ngay cả khi tên gọi của chúng có sự sai biệt lớn về mặt ký tự.

Tại sao nghiên cứu lại ưu tiên kiến trúc Skip-gram hơn Continuous Bag of Words?

Kiến trúc Skip-gram hoạt động bằng cách dự đoán các từ ngữ cảnh xung quanh một từ mục tiêu cho trước. Trong lĩnh vực nông học với nhiều thuật ngữ hiếm và danh pháp chuyên ngành phức tạp, Skip-gram chứng minh khả năng biểu diễn ngữ nghĩa cho các từ ít xuất hiện tốt hơn nhiều so với kiến trúc túi từ liên tục vốn có xu hướng làm mờ các từ hiếm.

Trọng số TF-IDF đóng vai trò gì trong việc tổng hợp vector thực thể?

Mỗi thực thể được mô tả bởi nhiều từ ngữ, nhưng không phải từ nào cũng mang giá trị định danh cao. Trọng số TF-IDF giúp giảm thiểu tầm ảnh hưởng của các từ ngữ xuất hiện quá phổ biến trong toàn bộ cơ sở dữ liệu và khuếch đại sức nặng của các thuật ngữ chuyên biệt, từ đó tạo ra vector thực thể mang tính đặc trưng và phân biệt rõ rệt.

Dữ liệu thực nghiệm của nghiên cứu được lấy từ nguồn nào?

Toàn bộ dữ liệu thực nghiệm được trích xuất trực tiếp từ cổng thông tin dữ liệu liên kết nông học AgroLD. Nguồn dữ liệu này tích hợp các cơ sở dữ liệu và bản thể học sinh học chuẩn quốc tế như Gene Ontology, Plant Ontology, Gramene và UniProtKB, phản ánh chính xác môi trường dữ liệu nghiên cứu thực tế.

Mô hình này có thể áp dụng cho các lĩnh vực khoa học khác ngoài nông học không?

Hoàn toàn có thể. Quy trình 5 bước từ trích xuất văn bản, nhúng từ, cân trọng số TF-IDF đến đo khoảng cách vector là một khung phương pháp mang tính tổng quát cao. Phương pháp này có thể chuyển giao trực tiếp để liên kết dữ liệu trong các lĩnh vực y tế, dược học, khoa học vật liệu hoặc tài chính ngân hàng.

Kết luận

• Luận văn đã giải quyết xuất sắc bài toán liên kết thực thể trên các đồ thị tri thức nông học dị thể bằng cách kết hợp kỹ thuật nhúng từ và làm giàu ngữ nghĩa đa phương thức.
• Phương pháp đề xuất đạt độ chính xác ấn tượng 85,2% và chỉ số F-measure 83,4%, vượt trội hoàn toàn so với mô hình túi từ cơ sở.
• Quy trình tích hợp trọng số TF-IDF và vector không gian 300 chiều đã chứng minh hiệu quả loại bỏ nhiễu từ vựng và tối ưu hóa không gian biểu diễn tri thức sinh học.
• Hệ thống mở ra lộ trình phát triển rõ ràng trong vòng 3 đến 12 tháng nhằm mở rộng quy mô tính toán phân tán và tích hợp thêm các dạng dữ liệu hình ảnh, bài báo khoa học.
• Công trình đóng góp nền tảng vững chắc cho việc hiện đại hóa cơ sở hạ tầng dữ liệu nông nghiệp số, kêu gọi các nhà khoa học tiếp tục ứng dụng và phát triển giải pháp vào thực tiễn nghiên cứu chọn tạo giống cây trồng thông minh.

Trích đoạn nội dung tài liệu

UNIVERSITÉ NATIONALE DU VIETNAM À HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL SONFACK SOUNCHIO Serge LIAGE DES JEUX DE DONNÉES COMPLÉMENTAIRES A L’AIDE DE MÉTHODES D’AUGMENTATION DES GRAPHES DE CONNAISSANCES ET PLONGEMENT MULTIMODALS MEMOIRE DE FIN D’ETUDE DE MASTER EN INFORMATIQUE HANOÏ-2019 LUAN VAN CHAT LUONG download : add [e-mail] UNIVERSITÉ NATIONALE DU VIETNAM À HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL SONFACK SOUNCHIO Serge LIAGE DES JEUX DE DONNÉES COMPLÉMENTAIRES A L’AIDE DE MÉTHODES D’AUGMENTATION DES GRAPHES DE CONNAISSANCES ET PLONGEMENT MULTIMODALS spécialité: Systèmes Intelligents et Multimédia (SIM) Code: Programme pilote MEMOIRE DE FIN D’ETUDE DE MASTER EN INFORMATIQUE Sous la direction de : • PhD, enseignant chercheur au LIRMM, Kontantin TODOROV • PhD, chargé de recheche à IRD Hanoi, Pierre LARMANDE HANOÏ-2019 LUAN VAN CHAT LUONG download : add [e-mail] ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LI CAM ÐOAN Tôi cam đoan đây là công trình nghiên cu ca riêng tôi. Các s liu, kt qu nêu trong Lun văn là trung thc và cha tng đc ai công b trong bt k công trình nào khác.

Các thông tin trích dn trong Lun văn đã đc ch rõ ngun gc SONFACK SOUNCHIO Serge 1 LUAN VAN CHAT LUONG download : add [e-mail] SONFACK SOUNCHIO Serge LIAGE DES JEUX DE DONNÉES COMPLÉMENTAIRES A L’AIDE DE MÉTHODES D’AUGMENTATION DES GRAPHES DE CONNAISSANCES ET PLONGEMENT MULTIMODALS LIÊN KT TRÒ CHI D LIU B SUNG S DNG CÁC PHNG PHÁP S DNG CÁC HÌNH NH KIN THC VÀ ÐA NĂNG DIVING spécialité: Systèmes Intelligents et Multimédia (SIM) Code: Programme pilote MEMOIRE DE FIN D’ETUDE DE MASTER EN INFORMATIQUE Sous la direction de : • PhD, enseignant chercheur au LIRMM, Kontantin TODOROV • PhD, chargé de recheche à IRD Hanoi, Pièrre LARMANDE HANOÏ-2019 LUAN VAN CHAT LUONG download : add [e-mail] REMERCIEMENTS Pour les efforts consentis dans la réalisation de ce mémoire, j’exprime mes très vives reconnaissances à l’endroit de : • Konstantin Todorov et Pierre Larmande pour leur encadrement et conseil durant ce stage. • Laurence Albar, Christine Tranchant-Dubreuil de m’avoir bien accueillir et faciliter mon insertion au laboratoire IRD • Fati Chen, Mehdi Mirzapour du LIRMM pour les nombreux pauses café effectués, débats instructifs et toujours dans la bonne humeur Mes remerciements vont également à l’endroit de notre très cher institut de formation, l’Institut de la Francophonie pour l’Innovation (IFI). Je remercie tout particulièrement le corps enseignant pour la qualité de la formation reçue et le personnel administratif pour la chaleureuse collaboration Cette année de Master Recherche n’était pas facile nécessitant beaucoup d’efforts. A cet effet je remercie ma famille pour le soutient moral, qu’elle m’a apporter durant tout ce parcours.

i LUAN VAN CHAT LUONG download : add [e-mail] LIST OF FIGURES 2.1 Exemple de base de connaissances .2 Exemple de triplet .3 Exemple de plongement de mots dans un espace de deux dimensions .4 Plongement de graphe .5 Exemple de liage .6 Logo de AgroLD .7 La base de connaissances AgroLD .1 Représentation des mots dans un espace à 2 dimensions .2 Architectures de CBOW et Skip-gram Efficient Estimation of Word Rep- resentations in Vector Space, Tomas Mikolov et al.3 Régularité sémantique: Linguistic Regularities in Continuous Space Word Representations, Tomas Mikolov et al.4 Extraction des triplets des tables: Annotating and searching web tables using entities, types and relationships, Limaye et al.1 Plongement du corpus .2 Génération de poids TF-IDF .3 Agrégation des vecteurs .4 Workflow de méthode .5 représentation de l’évaluation .6 Importance des mots sur les tf-idf .7 Exemple de modèle sac à mots .8 Workflow de approche de base. 38 ii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.4 comparaison de du nombre d’entités .5 comparaison des mots utilisés .6 Visualization of corpus embeddings .7 Extracting properties information from graphs .8 TF-IDF des bases de mots des graphes de connaissances .9 Comparaison de l’approche de base et la solution proposée. 47 iii LUAN VAN CHAT LUONG download : add [e-mail] LIST OF TABLES 2.1 Classification des modèles de plongements lexicaux .1 Nombre de possibilité pour le choix de modèle de plongement du corpus .2 Nombre de possibilité pour le choix de modèle de plongement et le poids à utiliser pour .3 Nombre de possibilité pour le choix de modèle de plongement et le choix de la propriété description des graphes de connaissances. 36 iv LUAN VAN CHAT LUONG download : add [e-mail] GLOSSAIRES ET ACRONYMES AgroLD Agronomic Linked Data (AgroLD) C’est le projet créé pour mettre en place un portail pour bioinformaticien et aux experts du domaine pour exploiter les modèles de données homogènes en vue de générer efficacement des hypothèses de recherche.

BOW Bag Of Words. CBOW Continuous Bag Of Words. IRD Institut de recherche pour le développement. LIRMM Laboratoire d’Informatique, de Robotique et de Microélectronique de Mont- pellier.

NLP Natural Language Processing. OBO Open Biological and Biomedical Ontology. OWL Web Ontology Language. RDF Resource Description Framework.

SPARQL SPARQL Protocol and RDF Query Language. URI Uniform Resource Identifier. W3C Le World Wide Web Consortium, abrégé par le sigle W3C, est un organisme de standardisation à but non lucratif, fondé en octobre 1994 chargé de promouvoir la compatibilité des technologies du World Wide Web telles que HTML5, HTML, XHTML, XML, RDF, SPARQL,. v LUAN VAN CHAT LUONG download : add [e-mail] WEB World Wide Web.

XML eXternded Markup Language. vi LUAN VAN CHAT LUONG download : add [e-mail] Résumé Ce rapport présente les travaux réalisés durant le stage de Master sur la problématique de liage des bases de connaissances et dont la solution devrait inclure l’enrichissement multimodal des dites bases et faire usage de techniques de plongement de mots. Dans la première partie du rapport nous analysons le sujet à fin de comprendre les termes et concepts liés au sujet et dégager le problème principal. A cet effet, les termes Web sé- mantique, ontologie, RDF, plongement de mots, plongement de graphe, liage de données ont été définis, suivis par la présentation de la plate-forme AgroLD et le problème visé.

A la suite de cette analyse du sujet, nous exposons les différentes recherches liées aux liages de bases de connaissances et leurs enrichissements de façon générale, des méthodes d’augmentations des graphes de connaissances ainsi que les techniques de plongement de mots et de graphes. Ces outils et méthodes nous permettrons d’apporter une solution au problème posé. Après cette étape qui constitue notre état de l’art, nous proposons une méthode menant à une solution du problème soumis à notre étude et nous montrons par la suite comment nous avons implémentés la méthode. Cette implémentation est suivie par une expérimentation et une évaluation.

En ce qui concerne l’évaluation, nous l’avons fait en deux partie; l’une avec les métriques comme la précision, le rappel et le F-mesure et l’autre par comparaison à une méthode de base, utilisant les techniques similaires. Pour terminer, le document présente des perspectives qui peuvent non seulement améliorer les résultats obtenus mais aussi ouvrir d’autre champs de recherche. Mots clés: Données Ouvertes et Liées, Liage de Données, Enrichissement de Données, Plongement de mots, Extration de Connaissances, AgroLD vii LUAN VAN CHAT LUONG download : add [e-mail] Abstract This report presents the work done during my Master’s internship on the problem of knowledge graph linkage and whose solution should include the multi-modal enrichment of these graphs and also make use of word embedding techniques. In first, we analyze the topic in order to understand the terms and concepts related to it and to identify the main problem.

For this purpose, the terms like semantic Web, ontology, RDF, word embedding, graph embedding, graph linkage were defined, followed by the presentation of the AgroLD platform and the problem we addressed. After this analysis, we expose research papers on knowledge-based systems and knowledge- based enrichments in whole, as well as graphs embedding techniques. These tools and methods will help us to build a solution to the problem we intended to solve. After these, we propose a method to solve the problem and we show later how we imple- mented the method.

This implementation is followed by experimentation and evaluation. As far as evaluation is concerned, we did it in two parts; one with metrics such as pre- cision, recall and F-measure and the other by comparison with a baseline using similar techniques. Finally, the document presents perspectives that may not only improve the results ob- tained but also open other research fields. Key words:Linked Open Data, Data Linking, Knowledge Base Augmentation, Knowl- edge Extraction, Words Embedding, AgroLD viii LUAN VAN CHAT LUONG download : add [e-mail] CONTENTS 1 Introduction 1 2 Contexte et problématique 3 2.3 Resource Description Format(RDF) .4 Plongement de mots ou Plongement lexical (Word embedding) .5 Plongement de graphe .6 Liage de données.

11 3 État de l’art 13 3.1 Plongement de mots .2 Plongement de graphes .2 Augmentation de graphes de connaissances .3 Liage des graphes de connaissances .1 Étapes fondamentales de liage .2 Liage entre texte et graphe de connaissances .3 Évaluation des systèmes de découverts de liens. 27 4 Solution proposée et méthode d’évaluation 29 4. 34 ix LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Construction de l’évaluation .4 Approche de base. 37 5 Expérimentation et résultats obtenus 39 5.1 Analyse des données .1 Environnement de développement .2 Hétérogénéité et complémentarité des données .3 Le nombre d’entités .4 Les mots utilisés .1 Plongement des mots du corpus .2 Distribution de mots dans les graphes .3 Agrégation des vecteurs de chaque entité des graphe .4 Comparaison avec l’approche de base.

47 6 Conclusion et perspectives 48 7 Annexe 50 7.1 Librairies Python utilisées. 50 x LUAN VAN CHAT LUONG download : add [e-mail] CHAPTER 1 INTRODUCTION Dans l’article de Agronomic Linked Data (AgroLD): A knowledge-based system to enable integrative biology in agronomy de Venkatesan et al. [31], l’agronomie est présentée comme un domaine de recherche pluridisciplinaire qui inclue la biologie moléculaire végétale, la physiologie et l’agro-écologie, donc l’objectif vise à améliorer la production végétale et à étudier l’impact environnemental sur les cultures. En d’autre terme, l’agronomie se trouve au centre de plusieurs disciplines scientifiques bien distinctes.

Ces disciplines qui contribuent à celle-ci existent de façon indépendantes et chacune dis- pose de sa base de connaissances, souvent sous un format différent des autres et accessible avec un langage de requêtes différent des autres. Par conséquent les données et connais- sances de ces disciplines complémentaires se trouvent éparpillés, difficiles d’accès par tous, peu exploitables et parfois avec des doublons. Par ailleurs le liage des bases de connaissances, qui permet d’inter-connecter celles-ci et de favoriser leur uniformisation ou standardisation en terme de format d’échange grâce au web sémantique seraient d’une importance capitale pour les chercheurs de chaque discipline et ceux de l’agronomie en particulier, car cette interconnexion leur permettra d’accéder aux différentes données par le biais d’un même protocole et langages de requête simplifié. Toutes choses qui contribuera non seulement à la mutualisation des connais- sances, mais aussi au développement de nouvelles connaissances et par conséquent de faire avancer les sciences et l’agronomie en particulier.

De ce fait, la problématique sur laquelle nous travaillerons consistera à trouver une méth- ode de liage des bases de connaissances complémentaires sur les entités qui renvoient à la même réalité en fessant usage de l’augmentation de ces bases de connaissances avec d’autres types de données comme du texte et du plongement des mots. En d’autres ter- mes, nous devons trouver un moyen d’enrichir les graphes de connaissances avec d’autres types de données et les interconnecter au travers des nœuds qui sont similaires en utilisant 1 LUAN VAN CHAT LUONG download : add [e-mail] une transformation des graphes de connaissances en vecteurs.