Phương Pháp Xây Dựng Đồ Thị Tri Thức Theo Miền Dựa Trên Nguồn Dữ Liệu Từ Wikipedia

Khám phá phương pháp xây dựng đồ thị tri thức theo miền từ nguồn dữ liệu Wikipedia, nâng cao khả năng truy xuất thông tin hiệu quả.

• Tác giả: Nguyễn Thanh Hải
• Người hướng dẫn: TS. Đoàn Duy Trung
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Toán Tin
• Đề tài: Phương Pháp Xây Dựng Đồ Thị Tri Thức Từ Wikipedia
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: ĐỒ THỊ TRI THỨC VÀ ĐỒ THỊ TRI THỨC THEO MIỀN
• 1.1. Khái quát về đồ thị tri thức
• 1.2. Một số lĩnh vực ứng dụng của đồ thị tri thức theo miền
• 1.2.1. Công nghệ thông tin và truyền thông
• 1.2.2. Y tế
• 1.2.3. Giáo dục
• 1.2.4. Khoa học kĩ thuật
• 1.2.5. Tài chính
• 2. CHƯƠNG 2: XÂY DỰNG ĐỒ THỊ TRI THỨC THEO MIỀN DỰA TRÊN DỮ LIỆU TỪ WIKIPEDIA
• 2.1. Phương pháp chung xây dựng đồ thị tri thức
• 2.1.1. Thu thập và tiền xử lý dữ liệu
• 2.1.2. Xác định thực thể và mối quan hệ
• 2.1.3. Biểu diễn đồ thị
• 2.1.4. Trích xuất thông tin, đánh giá và triển khai
• 2.2. Nhúng đồ thị tri thức
• 2.2.1. Thuật toán chung
• 2.2.2. Mô hình nhúng TransE
• 2.2.3. Đánh giá chất lượng
• 2.2.4. Sự phù hợp
• 2.2.5. Nguồn dữ liệu Wikipedia
• 2.2.6. Đồ thị tri thức dựa trên dữ liệu từ Wikipedia
• 3. CHƯƠNG 3: XÂY DỰNG ĐỒ THỊ TRI THỨC THEO MIỀN TỪ WIKIPEDIA TIẾNG VIỆT
• 3.1. API Wikipedia và danh sách tiêu đề đầu vào
• 3.2. Trích xuất thông tin cấu trúc dạng bảng sử dụng thư viện Beautiful Soup
• 3.3. Xử lý ngôn ngữ tự nhiên (NLP) - Vi_spacy và VNCoreNLP
• 3.3.1. Vi_spacy và VNCoreNLP
• 3.3.2. Trích xuất thông tin bộ ba (h,r,t) sử dụng VNCoreNLP
• 3.4. Biểu diễn đồ thị
• 3.5. Triển khai và kết quả
• 3.6. Một số vấn đề gặp phải
• KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Đồ Thị Tri Thức và Wikipedia 50 60 ký tự

Đồ thị tri thức là cấu trúc dữ liệu biểu diễn các đối tượng và quan hệ giữa chúng. Các nút (node) đại diện cho thực thể, và các cạnh (edge) biểu diễn mối quan hệ. Đồ thị tri thức được biểu diễn dưới dạng G = (V, E), trong đó V là tập hợp các đỉnh (thực thể) và E là tập hợp các cạnh (quan hệ). Một sự kiện trong đồ thị tri thức là hai thực thể kết nối bởi một quan hệ. Ví dụ, KG = {E, R, F} là tập hợp các thực thể E, quan hệ R và sự thật F. Một sự thật là bộ ba (h, r, t) biểu diễn quan hệ r liên kết thực thể đầu h và thực thể đích t. Wikipedia là nguồn dữ liệu lớn, cung cấp thông tin phong phú để xây dựng đồ thị tri thức. Việc sử dụng Wikipedia giúp tạo ra các knowledge graph đa dạng và có tính ứng dụng cao.

1.1. Khái niệm và định nghĩa đồ thị tri thức LSI

Đồ thị tri thức là một cấu trúc dữ liệu mô tả một tập hợp các đối tượng và mối quan hệ giữa chúng. Nó được xây dựng dựa trên khái niệm đồ thị, trong đó các đối tượng được biểu diễn dưới dạng các nút (node) và các mối quan hệ giữa chúng được biểu diễn dưới dạng các cạnh (edge). Một đồ thị tri thức thường được mô tả dưới dạng đồ thị có hướng (G), ký hiệu G = (V, E) mô tả mối quan hệ giữa các đỉnh (V ) của đồ thị và các cạnh (E) giữa các đỉnh này. Các đỉnh đại diện cho tập các thực thể thế giới thực và các cạnh đại diện cho các mối quan hệ giữa các thực thể này. Hay đơn giản, hai thực thể được kết nối bởi một mối quan hệ tạo thành một sự kiện trong đồ thị tri thức.

1.2. Vai trò của Wikipedia trong xây dựng đồ thị tri thức

Wikipedia đóng vai trò quan trọng trong việc xây dựng đồ thị tri thức nhờ vào lượng thông tin khổng lồ và cấu trúc bán cấu trúc của nó. Các bài viết trên Wikipedia chứa nhiều thực thể, quan hệ và thông tin ngữ nghĩa có thể được trích xuất và sử dụng để xây dựng knowledge graph. API Wikipedia cung cấp một giao diện mạnh mẽ để truy cập và thu thập dữ liệu, giúp quá trình xây dựng đồ thị tri thức trở nên hiệu quả hơn. Dữ liệu từ Wikipedia có thể được sử dụng để tạo ra các knowledge base phong phú và đa dạng.

II. Thách Thức Xây Dựng Đồ Thị Tri Thức Từ Wikipedia 50 60

Việc xây dựng đồ thị tri thức từ Wikipedia đối mặt với nhiều thách thức. Dữ liệu trên Wikipedia có thể không đồng nhất, chứa thông tin nhiễu và thiếu cấu trúc rõ ràng. Quá trình trích xuất thông tin chính xác đòi hỏi các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) phức tạp. Liên kết thực thể (entity linking) và disambiguation là những vấn đề quan trọng cần giải quyết để đảm bảo tính chính xác của knowledge graph. Ngoài ra, việc xử lý ngôn ngữ tiếng Việt cũng đặt ra những khó khăn riêng do đặc thù về ngữ pháp và từ vựng. Cần có các mô hình và công cụ NLP được tối ưu hóa cho tiếng Việt để xây dựng đồ thị tri thức hiệu quả.

2.1. Vấn đề nhiễu và không đồng nhất dữ liệu Wikipedia

Dữ liệu trên Wikipedia thường chứa nhiều thông tin nhiễu, bao gồm các lỗi chính tả, ngữ pháp, thông tin không chính xác hoặc không liên quan. Sự không đồng nhất về cấu trúc và định dạng giữa các bài viết cũng gây khó khăn cho quá trình trích xuất thông tin. Cần có các phương pháp phân tích văn bản và chuẩn hóa dữ liệu hiệu quả để loại bỏ nhiễu và đảm bảo tính đồng nhất của dữ liệu trước khi xây dựng đồ thị tri thức.

2.2. Khó khăn trong liên kết thực thể và disambiguation

Liên kết thực thể (entity linking) là quá trình xác định và liên kết các thực thể được đề cập trong văn bản với các thực thể tương ứng trong knowledge base. Disambiguation là quá trình phân biệt các thực thể khác nhau có cùng tên. Cả hai vấn đề này đều rất phức tạp do sự mơ hồ và đa nghĩa của ngôn ngữ tự nhiên. Cần có các thuật toán và mô hình thông minh để giải quyết các vấn đề này và đảm bảo tính chính xác của đồ thị tri thức.

III. Phương Pháp Trích Xuất Thông Tin Xây Dựng Đồ Thị 50 60

Để xây dựng đồ thị tri thức từ Wikipedia, cần áp dụng các phương pháp trích xuất thông tin hiệu quả. Các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) như NER (Named Entity Recognition), phân tích cú pháp, và phân tích ngữ nghĩa được sử dụng để xác định thực thể và quan hệ. API Wikipedia cung cấp các công cụ để truy cập và thu thập dữ liệu. Các thư viện như BeautifulSoup giúp trích xuất thông tin từ cấu trúc HTML của trang web. Quá trình mô hình hóa tri thức đóng vai trò quan trọng trong việc biểu diễn thông tin đã trích xuất dưới dạng RDF (Resource Description Framework) hoặc OWL (Web Ontology Language).

3.1. Sử dụng NER và phân tích cú pháp để trích xuất thực thể

NER (Named Entity Recognition) là kỹ thuật xác định và phân loại các thực thể được đặt tên trong văn bản, chẳng hạn như tên người, địa điểm, tổ chức. Phân tích cú pháp giúp xác định cấu trúc ngữ pháp của câu và mối quan hệ giữa các từ. Kết hợp hai kỹ thuật này giúp trích xuất thông tin chính xác về các thực thể và quan hệ giữa chúng từ Wikipedia.

3.2. Ứng dụng API Wikipedia và BeautifulSoup để thu thập dữ liệu

API Wikipedia cung cấp một giao diện mạnh mẽ để truy cập và thu thập dữ liệu từ Wikipedia một cách tự động. BeautifulSoup là một thư viện Python giúp trích xuất thông tin từ cấu trúc HTML của trang web. Sử dụng hai công cụ này giúp quá trình thu thập dữ liệu trở nên dễ dàng và hiệu quả hơn, đồng thời cho phép trích xuất thông tin từ nhiều trang web một cách nhanh chóng.

IV. Biểu Diễn và Lưu Trữ Đồ Thị Tri Thức Hiệu Quả 50 60

Sau khi trích xuất thông tin, cần biểu diễn tri thức dưới dạng đồ thị và lưu trữ nó một cách hiệu quả. Các định dạng như RDF (Resource Description Framework) và OWL (Web Ontology Language) được sử dụng để mô hình hóa tri thức. Các cơ sở dữ liệu đồ thị như Neo4j và Apache Jena cung cấp các công cụ để lưu trữ và truy vấn knowledge graph. SPARQL là ngôn ngữ truy vấn chuẩn cho RDF, cho phép truy xuất thông tin từ knowledge base một cách linh hoạt. Việc lựa chọn phương pháp biểu diễn tri thức và lưu trữ phù hợp ảnh hưởng lớn đến hiệu suất và khả năng mở rộng của đồ thị tri thức.

4.1. Sử dụng RDF và OWL để mô hình hóa tri thức

RDF (Resource Description Framework) là một định dạng chuẩn để biểu diễn tri thức dưới dạng các bộ ba (subject, predicate, object). OWL (Web Ontology Language) là một ngôn ngữ ontology mạnh mẽ, cho phép định nghĩa các lớp, thuộc tính và quan hệ phức tạp. Sử dụng RDF và OWL giúp mô hình hóa tri thức một cách rõ ràng và có cấu trúc, đồng thời tạo điều kiện cho việc reasoning và inference.

4.2. Lưu trữ và truy vấn đồ thị tri thức bằng Neo4j và SPARQL

Neo4j là một cơ sở dữ liệu đồ thị phổ biến, được thiết kế để lưu trữ và truy vấn knowledge graph một cách hiệu quả. SPARQL là ngôn ngữ truy vấn chuẩn cho RDF, cho phép truy xuất thông tin từ knowledge base một cách linh hoạt. Sử dụng Neo4j và SPARQL giúp quản lý và khai thác đồ thị tri thức một cách dễ dàng và hiệu quả.

V. Ứng Dụng Đồ Thị Tri Thức Từ Wikipedia Tiếng Việt 50 60

Đồ thị tri thức được xây dựng từ Wikipedia tiếng Việt có nhiều ứng dụng đồ thị tri thức tiềm năng. Nó có thể được sử dụng để cải thiện semantic search, cung cấp thông tin chính xác và ngữ cảnh hơn cho người dùng. Đồ thị tri thức cũng có thể được sử dụng để xây dựng các hệ thống gợi ý thông minh, đề xuất nội dung phù hợp với sở thích của người dùng. Trong lĩnh vực giáo dục, đồ thị tri thức có thể hỗ trợ học tập và nghiên cứu bằng cách cung cấp thông tin liên quan và kết nối các khái niệm khác nhau. Các ứng dụng đồ thị tri thức trong lĩnh vực y tế, tài chính, và khoa học kỹ thuật cũng rất hứa hẹn.

5.1. Cải thiện semantic search và truy vấn thông tin

Đồ thị tri thức có thể được sử dụng để cải thiện semantic search bằng cách hiểu ngữ nghĩa của truy vấn và cung cấp kết quả chính xác và ngữ cảnh hơn. Thay vì chỉ dựa vào các từ khóa, semantic search sử dụng knowledge graph để hiểu ý định của người dùng và tìm kiếm thông tin liên quan một cách thông minh.

5.2. Xây dựng hệ thống gợi ý và đề xuất nội dung thông minh

Đồ thị tri thức có thể được sử dụng để xây dựng các hệ thống gợi ý thông minh, đề xuất nội dung phù hợp với sở thích của người dùng. Bằng cách phân tích các mối quan hệ giữa các thực thể và khái niệm trong knowledge graph, hệ thống có thể đưa ra các đề xuất chính xác và cá nhân hóa.

VI. Kết Luận và Hướng Phát Triển Đồ Thị Tri Thức 50 60

Xây dựng đồ thị tri thức từ Wikipedia là một lĩnh vực nghiên cứu đầy tiềm năng. Mặc dù đối mặt với nhiều thách thức, các phương pháp và công cụ hiện đại đã giúp tạo ra các knowledge graph có giá trị. Trong tương lai, việc phát triển các mô hình học máy và xử lý ngôn ngữ tự nhiên (NLP) tiên tiến hơn sẽ giúp cải thiện độ chính xác và hiệu quả của quá trình trích xuất thông tin. Nghiên cứu về mô hình hóa tri thức và reasoning cũng sẽ đóng vai trò quan trọng trong việc khai thác tối đa tiềm năng của đồ thị tri thức.

6.1. Tổng kết các phương pháp và kết quả đạt được

Luận văn đã trình bày các phương pháp xây dựng đồ thị tri thức từ Wikipedia, bao gồm trích xuất thông tin, biểu diễn tri thức, và lưu trữ đồ thị. Các kết quả đạt được cho thấy tiềm năng của việc sử dụng Wikipedia để tạo ra các knowledge graph có giá trị, có thể được ứng dụng trong nhiều lĩnh vực khác nhau.

6.2. Hướng nghiên cứu và phát triển trong tương lai

Trong tương lai, cần tập trung vào việc phát triển các mô hình học máy và xử lý ngôn ngữ tự nhiên (NLP) tiên tiến hơn để cải thiện độ chính xác và hiệu quả của quá trình trích xuất thông tin. Nghiên cứu về mô hình hóa tri thức và reasoning cũng cần được đẩy mạnh để khai thác tối đa tiềm năng của đồ thị tri thức. Ngoài ra, cần có các nghiên cứu về đồ thị tri thức đa ngôn ngữ và đa miền để đáp ứng nhu cầu ngày càng tăng của xã hội.

Nội dung chính

Tổng quan nghiên cứu

Đồ thị tri thức (Knowledge Graph) là một cấu trúc dữ liệu biểu diễn các thực thể và mối quan hệ giữa chúng dưới dạng đồ thị có hướng, được ứng dụng rộng rãi trong nhiều lĩnh vực như trí tuệ nhân tạo, tìm kiếm thông tin, phân loại dữ liệu và phát hiện kiến thức mới. Theo ước tính, các đồ thị tri thức nổi bật như Probase chứa 1,68 tỷ trang web và 2,7 triệu khái niệm, trong khi YAGO và DBpedia cũng là những cơ sở tri thức toàn diện được sử dụng rộng rãi. Tuy nhiên, các nghiên cứu về đồ thị tri thức theo miền, đặc biệt là xây dựng đồ thị tri thức tiếng Việt, vẫn còn hạn chế.

Luận văn này tập trung phát triển phương pháp xây dựng đồ thị tri thức theo miền dựa trên nguồn dữ liệu Wikipedia tiếng Việt, với phạm vi nghiên cứu tập trung vào lĩnh vực hành chính - địa lý Việt Nam. Mục tiêu chính là đề xuất mô hình xây dựng đồ thị tri thức theo miền, triển khai xây dựng và đánh giá hiệu quả đồ thị tri thức thu được. Nghiên cứu có ý nghĩa quan trọng trong việc nâng cao khả năng hiểu và xử lý tri thức tự động cho ngôn ngữ tiếng Việt, góp phần phát triển các ứng dụng trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên trong nước.

Phạm vi nghiên cứu bao gồm việc thu thập, trích xuất, xử lý và chuẩn hóa dữ liệu từ Wikipedia tiếng Việt, áp dụng các kỹ thuật xử lý ngôn ngữ tự nhiên và mô hình nhúng đồ thị tri thức để biểu diễn và đánh giá chất lượng đồ thị. Thời gian nghiên cứu tập trung vào dữ liệu cập nhật đến năm 2023, với phạm vi địa lý là toàn bộ 63 tỉnh thành Việt Nam và các đơn vị hành chính cấp huyện liên quan.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Đồ thị tri thức (Knowledge Graph - KG): Được định nghĩa là tập hợp các thực thể (E), các mối quan hệ (R) và các sự thật (F) dưới dạng bộ ba (h, r, t), trong đó h và t là các thực thể, r là mối quan hệ giữa chúng. KG được biểu diễn dưới dạng đồ thị có hướng G = (V, E), với V là tập các nút (thực thể) và E là tập các cạnh (mối quan hệ).

• Đồ thị tri thức theo miền (Domain Knowledge Graph): Là đồ thị tri thức tập trung vào một lĩnh vực cụ thể, với các thực thể và mối quan hệ được khái niệm hóa và thiết kế phù hợp với ngữ cảnh chuyên ngành, ví dụ như y tế, tài chính, giáo dục, khoa học kỹ thuật.

• Mô hình nhúng TransE: Mô hình nhúng đồ thị tri thức dựa trên ý tưởng tịnh tiến véc-tơ, biểu diễn thực thể và quan hệ trong không gian véc-tơ sao cho h + r ≈ t. Hàm chấm điểm được định nghĩa bằng khoảng cách chuẩn ℓ1 hoặc ℓ2 giữa h + r và t, giúp học được biểu diễn véc-tơ hiệu quả cho các thực thể và quan hệ.

• Xử lý ngôn ngữ tự nhiên (NLP) cho tiếng Việt: Sử dụng các công cụ như VNCoreNLP và Vi_spacy để phân tích cú pháp, tách từ, phân loại từ loại, trích xuất thực thể và quan hệ từ dữ liệu phi cấu trúc trên Wikipedia tiếng Việt.

Các khái niệm chính bao gồm: thực thể (entity), mối quan hệ (relation), bộ ba (triple), nhãn từ loại (POS tags), trích xuất thông tin (information extraction), biểu diễn đồ thị (graph representation).

Phương pháp nghiên cứu

• Nguồn dữ liệu: Dữ liệu chính được thu thập từ Wikipedia tiếng Việt, tập trung vào các bài viết liên quan đến hành chính - địa lý Việt Nam, bao gồm 63 tỉnh thành và các đơn vị hành chính cấp huyện. Tổng số bài viết trích xuất là khoảng 2732 bài, với dữ liệu phi cấu trúc và cấu trúc dạng bảng.

• Phương pháp thu thập và tiền xử lý: Sử dụng API Wikipedia để truy xuất dữ liệu, kết hợp thư viện Beautiful Soup để trích xuất thông tin cấu trúc dạng bảng (infobox). Dữ liệu phi cấu trúc được giới hạn trong ba đoạn văn đầu tiên của mỗi bài viết để đảm bảo tính liên quan.

• Phương pháp trích xuất thực thể và quan hệ: Áp dụng kỹ thuật xử lý ngôn ngữ tự nhiên với VNCoreNLP để phân tích cú pháp, tách từ và phân loại từ loại. Sử dụng tập quy tắc (rule-based) dựa trên nhãn từ loại để xác định thực thể và quan hệ trong câu, từ đó trích xuất các bộ ba (h, r, t).

• Biểu diễn đồ thị: Sử dụng thư viện NetworkX trên Python để xây dựng và trực quan hóa đồ thị tri thức có hướng, trong đó các nút là thực thể và các cạnh là quan hệ.

• Mô hình nhúng: Áp dụng mô hình TransE để biểu diễn véc-tơ các thực thể và quan hệ, phục vụ cho việc tinh chỉnh và đánh giá đồ thị.

• Timeline nghiên cứu: Quá trình thu thập và xử lý dữ liệu kéo dài khoảng 327 phút cho 2732 bài viết, tương đương trung bình 7,2 giây/bài. Các bước xây dựng, trích xuất, biểu diễn và đánh giá được thực hiện liên tục trong giai đoạn nghiên cứu năm 2022-2023.

• Phương pháp đánh giá: Đánh giá chất lượng đồ thị tri thức dựa trên các tiêu chí độ chính xác, tính đầy đủ, tính nhất quán và tính kịp thời. So sánh dữ liệu trích xuất với số liệu chính thức từ Tổng cục Thống kê Việt Nam để kiểm chứng độ chính xác.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Quy mô đồ thị tri thức xây dựng: Từ 2732 bài viết Wikipedia tiếng Việt, thu thập được tổng cộng 29.143 bộ ba (h, r, t), trong đó 21.432 bộ ba từ dữ liệu dạng bảng và 7.711 bộ ba từ phân tích ngôn ngữ tự nhiên. Số lượng thực thể khác nhau là 11.601 và số quan hệ khác nhau là 492.

2. Hiệu quả trích xuất thông tin: Tỷ lệ trích xuất thông tin về dân số, diện tích và mật độ dân số của các đơn vị hành chính cấp huyện đạt khoảng 97% - 98% so với số liệu chính thức của Tổng cục Thống kê. Cụ thể, trong 705 đơn vị hành chính cấp huyện, đồ thị tri thức thu thập được thông tin dân số của 693 huyện, diện tích 691 huyện và mật độ dân số 685 huyện, với độ chính xác gần như tuyệt đối.

3. Thời gian xử lý: Trung bình mỗi bài viết được xử lý trong 7,2 giây, tổng thời gian xử lý toàn bộ dữ liệu là 327 phút trên máy tính cá nhân cấu hình Intel Core i5-1135G7 2.4GHz.

4. Chất lượng dữ liệu: Qua đánh giá, có khoảng 210 bộ ba không có ý nghĩa hoặc bị lỗi do trích xuất sai, được loại bỏ để nâng cao chất lượng đồ thị. Một số thông tin bị sai lệch do quy tắc trích xuất đơn giản, ví dụ như quan hệ "nằm về phía tây" thay vì "nằm về phía tây bắc".

Thảo luận kết quả

Kết quả cho thấy phương pháp xây dựng đồ thị tri thức theo miền dựa trên dữ liệu Wikipedia tiếng Việt là khả thi và hiệu quả, đặc biệt trong lĩnh vực hành chính - địa lý Việt Nam. Việc sử dụng kết hợp dữ liệu cấu trúc (bảng infobox) và dữ liệu phi cấu trúc (đoạn văn) giúp tăng độ bao phủ và tính đầy đủ của đồ thị.

Tuy nhiên, việc trích xuất thông tin từ dữ liệu phi cấu trúc còn gặp nhiều hạn chế do quy tắc trích xuất đơn giản và khó xử lý các câu phức tạp hoặc câu ghép chứa nhiều bộ ba. So với các nghiên cứu quốc tế sử dụng các mô hình học sâu phức tạp hơn, phương pháp rule-based trong luận văn có ưu điểm về tính đơn giản và dễ triển khai nhưng hạn chế về độ chính xác và khả năng mở rộng.

Việc áp dụng mô hình nhúng TransE giúp biểu diễn véc-tơ các thực thể và quan hệ, hỗ trợ cho việc tinh chỉnh và phân loại thông tin trong đồ thị, đồng thời tạo điều kiện cho các ứng dụng học máy tiếp theo như dự đoán liên kết hay phân cụm.

Dữ liệu so sánh với số liệu của Tổng cục Thống kê cho thấy độ chính xác cao, minh chứng cho tính khả thi của phương pháp. Tuy nhiên, tính đầy đủ của đồ thị còn phụ thuộc vào chất lượng và độ phong phú của nguồn dữ liệu Wikipedia, cũng như khả năng mở rộng danh sách tiêu đề và các quy tắc trích xuất.

Biểu đồ thể hiện số lượng bộ ba trích xuất được theo từng nguồn (dạng bảng và phi cấu trúc) và tỷ lệ chính xác so với số liệu thống kê sẽ giúp minh họa rõ ràng hơn hiệu quả của phương pháp.

Đề xuất và khuyến nghị

1. Mở rộng và hoàn thiện tập quy tắc trích xuất: Cần xây dựng và cập nhật liên tục các quy tắc xác định thực thể và quan hệ để tăng độ chính xác và bao phủ thông tin, đặc biệt là xử lý các câu phức tạp và câu ghép. Chủ thể thực hiện: nhóm nghiên cứu NLP, thời gian: 6-12 tháng.

2. Áp dụng các mô hình học sâu cho trích xuất thông tin: Nghiên cứu và triển khai các mô hình học máy tiên tiến như mạng nơ-ron hồi quy (RNN), Transformer để cải thiện khả năng trích xuất bộ ba từ dữ liệu phi cấu trúc. Chủ thể thực hiện: nhóm AI và NLP, thời gian: 12-18 tháng.

3. Tăng cường thu thập dữ liệu và mở rộng phạm vi: Mở rộng danh sách tiêu đề đầu vào, tăng độ sâu đường dẫn liên kết để bao phủ nhiều bài viết hơn, đồng thời cập nhật dữ liệu thường xuyên để đảm bảo tính kịp thời. Chủ thể thực hiện: nhóm thu thập dữ liệu, thời gian: liên tục.

4. Phát triển công cụ đánh giá tự động: Xây dựng hệ thống đánh giá chất lượng đồ thị tri thức tự động dựa trên các tiêu chí độ chính xác, tính đầy đủ, tính nhất quán và tính kịp thời, kết hợp phản hồi người dùng để cải thiện liên tục. Chủ thể thực hiện: nhóm phát triển phần mềm, thời gian: 6 tháng.

5. Triển khai ứng dụng thực tế: Áp dụng đồ thị tri thức xây dựng được vào các ứng dụng như hệ thống hỗ trợ tìm kiếm thông tin, chatbot, phân tích dữ liệu địa lý để đánh giá hiệu quả và thu thập phản hồi. Chủ thể thực hiện: các tổ chức, doanh nghiệp công nghệ, thời gian: 12 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Toán Tin, Khoa học Máy tính: Luận văn cung cấp phương pháp và mô hình xây dựng đồ thị tri thức theo miền, đặc biệt là ứng dụng xử lý ngôn ngữ tự nhiên tiếng Việt, giúp phát triển nghiên cứu sâu hơn trong lĩnh vực này.

2. Chuyên gia phát triển ứng dụng trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên: Các kỹ thuật trích xuất thông tin, mô hình nhúng và biểu diễn đồ thị trong luận văn là tài liệu tham khảo hữu ích để phát triển các hệ thống AI, chatbot, và ứng dụng tìm kiếm thông minh.

3. Cơ quan quản lý dữ liệu và phát triển chính phủ điện tử: Đồ thị tri thức theo miền về hành chính - địa lý có thể hỗ trợ quản lý thông tin, phân tích dữ liệu địa phương, phục vụ xây dựng các nền tảng chính phủ số và dịch vụ công trực tuyến.

4. Doanh nghiệp công nghệ và phát triển phần mềm: Các công ty phát triển phần mềm quản lý dữ liệu, hệ thống thông tin địa lý (GIS), hoặc các nền tảng học tập trực tuyến có thể ứng dụng phương pháp xây dựng đồ thị tri thức để nâng cao chất lượng sản phẩm và dịch vụ.

Câu hỏi thường gặp

1. Đồ thị tri thức theo miền là gì và khác gì so với đồ thị tri thức tổng quát?
   Đồ thị tri thức theo miền tập trung vào một lĩnh vực cụ thể với các thực thể và mối quan hệ được thiết kế phù hợp với ngữ cảnh chuyên ngành, trong khi đồ thị tri thức tổng quát bao phủ nhiều lĩnh vực khác nhau nhưng thiếu chiều sâu và chi tiết chuyên ngành.

2. Tại sao Wikipedia được chọn làm nguồn dữ liệu chính?
   Wikipedia là nguồn dữ liệu miễn phí, đa ngôn ngữ, có lượng thông tin phong phú và được cập nhật liên tục. Ngoài ra, Wikipedia có cấu trúc dữ liệu dạng bảng (infobox) và liên kết nội bộ giúp dễ dàng trích xuất và xây dựng đồ thị tri thức.

3. Phương pháp trích xuất thông tin sử dụng trong nghiên cứu là gì?
   Luận văn sử dụng phương pháp kết hợp rule-based dựa trên nhãn từ loại phân loại bởi VNCoreNLP để trích xuất các bộ ba thực thể - quan hệ - thực thể từ dữ liệu phi cấu trúc, kết hợp trích xuất trực tiếp từ dữ liệu cấu trúc dạng bảng.

4. Mô hình nhúng TransE có vai trò gì trong nghiên cứu?
   TransE biểu diễn các thực thể và quan hệ dưới dạng véc-tơ trong không gian liên tục, giúp giữ được mối quan hệ hình học giữa các thực thể, hỗ trợ cho việc tinh chỉnh, phân loại và dự đoán liên kết trong đồ thị tri thức.

5. Độ chính xác của đồ thị tri thức xây dựng được như thế nào?
   Theo đánh giá so sánh với số liệu của Tổng cục Thống kê Việt Nam, tỷ lệ thông tin về dân số, diện tích và mật độ dân số trích xuất được đạt khoảng 97% - 98%, cho thấy độ chính xác cao, đặc biệt với dữ liệu dạng bảng được gán nhãn.

Kết luận

• Đã đề xuất và triển khai thành công phương pháp xây dựng đồ thị tri thức theo miền dựa trên nguồn dữ liệu Wikipedia tiếng Việt, tập trung vào lĩnh vực hành chính - địa lý Việt Nam.
• Thu thập và xử lý dữ liệu từ 2732 bài viết, trích xuất hơn 29.000 bộ ba thực thể - quan hệ - thực thể với độ chính xác cao so với số liệu thống kê chính thức.
• Áp dụng mô hình nhúng TransE và kỹ thuật xử lý ngôn ngữ tự nhiên VNCoreNLP để nâng cao hiệu quả trích xuất và biểu diễn đồ thị.
• Nhận diện các hạn chế về quy tắc trích xuất và tính đầy đủ dữ liệu, đề xuất các giải pháp mở rộng và cải tiến trong tương lai.
• Khuyến nghị tiếp tục phát triển các mô hình học sâu, mở rộng phạm vi dữ liệu và ứng dụng đồ thị tri thức vào các hệ thống thực tế nhằm nâng cao giá trị sử dụng.

Triển khai các giải pháp đề xuất, mở rộng nghiên cứu sang các lĩnh vực khác và phát triển ứng dụng thực tế dựa trên đồ thị tri thức xây dựng được để thúc đẩy nghiên cứu và ứng dụng trí tuệ nhân tạo tại Việt Nam.

Trích đoạn nội dung tài liệu

Chương 1 Đồ thị tri thức và đồ thị tri thức theo miền 1.1 Khái quát về đồ thị tri thức Đồ thị tri thức (Knowledge graph) là một cấu trúc dữ liệu mô tả một tập hợp các đối tượng và mối quan hệ giữa chúng. Nó được xây dựng dựa trên khái niệm đồ thị (graph), trong đó các đối tượng được biểu diễn dưới dạng các nút (node) và các mối quan hệ giữa chúng được biểu diễn dưới dạng các cạnh (edge). Một đồ thị tri thức thường được mô tả dưới dạng đồ thị có hướng (G), ký hiệu G = (V, E) mô tả mối quan hệ giữa các đỉnh (V ) của đồ thị và các cạnh (E) giữa các đỉnh này. Các đỉnh đại diện cho tập các thực thể thế giới thực và các cạnh đại diện cho các mối quan hệ giữa các thực thể này.

Hay đơn giản, hai thực thể được kết nối bởi một mối quan hệ tạo thành một sự kiện trong đồ thị tri thức. Đồ thị tri thức [18] Đồ thị tri thức KG = {E, R, F} là tập hợp các thực thể E, các mối quan hệ R và các sự thật F. Trong đó một sự thật là một bộ ba (h, r,t) ∈ F biểu diễn một mối quan hệ r ∈ R liên kết một thực thể đầu h ∈ E và một thực thể đích t ∈ E. Theo định nghĩa (1.1), đồ thị tri thức được biểu diễn bởi các bộ ba < h,t, r >, 12 cách biểu diễn này còn được gọi là khung mô tả tài nguyên RDF.

Trong ví dụ ở hình (1.1), thực thể đầu "Chích chòe" có mối quan hệ "là" đối với thực thể đích "Chim".1: Ví dụ đơn giản về đồ thị tri thức. Thuật ngữ "đồ thị tri thức" được Edgar W. Schneider đưa ra vào năm 1972, trong một cuộc thảo luận về cách xây dựng các hệ thống giáo dục [8]. Một số đồ thị tri thức nổi bật đã được triển khai như Microsoft Research Asia đã đưa ra Probase chứa 1,68 tỷ trang web và 2,7 triệu khái niệm vào năm 2010 [23], Amarilli đã đưa ra YAGO, một cơ sở tri thức toàn diện vào năm 2014 [3].

Đại học Leipzig và Mannheim đã cùng nhau xây dựng một đồ thị tri thức "DBpedia" [6]. Vào ngày 16 tháng 5 năm 2012, Google đã công bố một đồ thị tri thức để nâng cao giá trị của thông tin được trả về bởi các kết quả tìm kiếm [21]. Ví dụ trong hình (1.2), bên cạnh các kết quả truyền thống, Google còn đưa ra một số thông tin và các đường dẫn liên quan đến từ khóa "Đại học Bách Khoa Hà Nội". Tuy nhiên do thiếu thông tin cụ thể và chi tiết, chuyên sâu về một lĩnh vực nào đó nên đồ thị tri thức nói chung chưa đáp ứng nhu cầu cá nhân hóa của con người và do đó, đồ thị tri thức phù hợp với các lĩnh vực khác nhau đã ra đời.

Amazon đã xây dựng một cơ sở dữ liệu trực tuyến có tên IMDB chứa các bộ phim, chương trình truyền hình và sản xuất phim [26]. Hay Music Brainz là một cơ sở tri thức về âm nhạc trực tuyến chứa một lượng lớn siêu dữ liệu âm nhạc [27]. Wei và Liu đã kết hợp công nghệ tiên tiến của trí tuệ nhân tạo để khám phá phương pháp xây dựng cơ sở tri thức văn hóa tự động và chất lượng cao 13 Hình 1.2: Khung tìm kiếm của Google với từ khóa "Đại học Bách Khoa Hà Nội". Wolfram Research đã đề xuất một đồ thị tri thức trong lĩnh vực toán học là WolframAlpha [17].

Những đồ thị tri thức đó còn được gọi là đồ thị tri thức theo miền (Domain Knowledge Graphs).2 Một số lĩnh vực ứng dụng của đồ thị tri thức theo miền Định nghĩa 1. Đồ thị tri thức theo miền Đồ thị tri thức theo miền là một đồ thị tri thức cụ thể về một lĩnh vực nào đó và các chủ đề, đối tượng cụ thể của nó được biểu thị dưới dạng các thực thể và mối quan hệ có liên quan với nhau về mặt ngữ nghĩa. Định nghĩa này đề cập đến ba khía cạnh. • Khái niệm hóa hình thức: chỉ ra thiết kế logic của đồ thị tri thức được mô tả trong lĩnh vực cụ thể và được xác định trước.

Được thiết lập để xác định trước các chủ đề, nhóm thông tin cần xây dựng. Ví dụ đồ thị tri thức về y tế 14 bao gồm các thông tin về các bệnh viện, danh sách các bệnh/nhóm bệnh, phác đồ điều trị, thuốc. • Lĩnh vực chủ đề: đồ thị xây dựng được đặt trong một ngữ cảnh cụ thể để giải quyết một vấn đề nào đó. Ví dụ với thực thể "apple" trong lĩnh vực thực phẩm là một loại quả, trong lĩnh vực công nghệ là tên một tập đoàn lớn.

• Các thực thể và mối quan hệ có liên quan với nhau về mặt ngữ nghĩa, biểu thị thiết kế vật lý của đồ thị tri thức dành riêng cho miền được mô tả dưới dạng biểu đồ được dán nhãn trong đó ngữ nghĩa của dữ liệu được làm phong phú với biểu diễn khái niệm cụ thể của các thực thể và mối quan hệ giữa các thực thể này.2) là một ví dụ về đồ thị tri thức theo miền, với lĩnh vực khoa học dữ liệu. Hiện nay, thế giới đã và đang có những nghiên cứu đồ thị tri thức theo miền nhằm phục vụ cho nhiều lĩnh vực và nhu cầu khác nhau.1 Công nghệ thông tin và truyền thông Một số những kết quả của đồ thị tri thức trong lĩnh vực công nghệ thông tin nổi bật như sau. • An ninh mạng: đồ thị tri thức hỗ trợ phát hiện và ngăn chặn các cuộc tấn công mạng để đảm bảo việc cung cấp dịch vụ liên tục và không bị gián đoạn. Một số kết quả đã có như Kiesling xây dựng đồ thị tri thức về an ninh mạng dựa trên cơ sở dữ liệu về lỗ hổng quốc gia Hoa Kỳ [13].

• Viễn thông: đồ thị tri thức giúp duy trì, quản lý sự cố mạng và cung cấp dịch vụ khách hàng tốt hơn. Aumayr và các đồng nghiệp đã áp dụng để xác định và khái niệm hóa cấu trúc của mạng viễn thông thông qua việc kết hợp nhiều đồ thị tri thức khác nhau để giải quyết các vấn đề mà các nhà khai thác viễn thông phải đối mặt [4]. • Internet vạn vật (IoT) : trong IoT, việc tích hợp khả năng truy cập không đồng nhất của các thiết bị điện tử là một vấn đề quan trọng. Do đó, cấu trúc 15 Hình 1.3: Ví dụ của đồ thị tri thức cho lĩnh vực khoa học dữ liệu [20].

cơ bản của KG đưa ra một giải pháp hiệu quả để kết nối giữa các thiết bị IoT. Năm 2020, Xie đã đề xuất một đồ thị tri thức IoT được sử dụng trong một lớp mới để lập bản đồ các thiết bị IoT, từ đó thống nhất giao tiếp của tất cả các thiết bị [24].2 Y tế Gần đây, lĩnh vực y tế đã thu hút nhiều sự chú ý, đặc biệt là trong bối cảnh đại dịch COVID-19 xảy ra trên toàn thế giới. Do đó, có nhiều sự nghiên cứu trong khoa học và công nghệ để ứng dụng vào lĩnh vực này. Một số kết quả của đồ thị tri thức đã giúp trích xuất những thông tin phong phú nhằm phục vụ cho dịch vụ khám và chữa bệnh.

Các kết quả nghiên cứu trong lĩnh vực y tế có thể được kể đến như sau. • Hệ thống chăm sóc sức khỏe: năm 2019, Huang đã xây dựng đồ thị tri thức mang lại lợi ích cho những người tìm kiếm kiến thức liên quan đến chế độ 16 ăn uống lành mạnh dành cho người ăn kiêng [11]. • Cơ sở tri thức các bệnh lý ở người: Rotmensch và cộng sự đã xây dựng một đồ thị nắm bắt các thực thể liên quan đến bệnh tật và triệu chứng từ 273174 hồ sơ y tế điện tử. Các tác giả đã kết hợp Google Health Knowledge Graph (GHKG) và tạo ra một đồ thị tri thức thể hiện các bệnh và triệu chứng cũng như mối quan hệ giữa chúng [19].3 Giáo dục Đồ thị tri thức được áp dụng rộng rãi trong giáo dục để giúp cho việc học tập và nghiên cứu trở nên dễ dàng hơn và hiệu quả hơn.

Một số ứng dụng của đồ thị tri thức trong giáo dục bao gồm. • Hỗ trợ giảng dạy: giáo viên có thể sử dụng đồ thị tri thức để giúp học sinh hiểu các khái niệm khó hiểu hơn bằng cách thể hiện mối liên hệ giữa các khái niệm. Ví dụ Chen đã giới thiệu "K12EduKG", một đồ thị tri thức được xây dựng dựa trên các môn học dựa trên tiêu chuẩn chương trình toán học của Trung Quốc [7]. • Phát triển các nền tảng học tập trực tuyến: đồ thị tri thức có thể được sử dụng để phát triển các nền tảng học tập trực tuyến với các khóa học và tài liệu được tổ chức theo một cấu trúc logic dựa trên các mối liên hệ giữa các khái niệm.4 Khoa học kĩ thuật Đồ thị tri thức có thể giúp mô hình hóa kiến thức phong phú và phức tạp của khoa học tự nhiên, một số những ứng dụng có thể kể đến như sau.

• Hóa học: Krdzavac đã thiết kế một đồ thị tri thức miền hóa học để chứng minh các tính toán của hóa học lượng tử [14]. • Sinh học : sự lan truyền liên tục của dữ liệu trong sinh học phân tử đã đặt ra những vấn đề của miền kiến thức này. Ví dụ, Humayun đã phát triển một 17 đồ thị tri thức để mô tả hệ tương tác của các hoóc-môn, một yếu tố quan trọng của các quá trình biến đổi sinh học đa dạng [12]. • Năng lượng: đồ thị tri thức được ứng dụng trong việc tổng hợp, quản lý năng lượng điện và điều phối mạng lưới điện.

Một ví dụ được thể hiện trong bài báo của Yang vào năm 2019 về ứng dụng đồ thị tri thức vào thu thập và tích hợp các nguồn năng lượng điện khác nhau [25].5 Tài chính Đồ thị tri thức có nhiều ứng dụng trong lĩnh vực tài chính, trong đó có thể kể đến như. • Quản lý rủi ro tín dụng: đồ thị tri thức có thể giúp định danh và quản lý rủi ro tín dụng bằng cách liên kết thông tin về khách hàng, tài sản và các giao dịch tài chính. Nhờ đó, các tổ chức tài chính có thể đưa ra quyết định về cho vay và giám sát các khoản vay hiệu quả hơn. • Phân tích thị trường: đồ thị tri thức cũng có thể được sử dụng để phân tích thị trường tài chính.