CHƯƠNG 1. GIỚI THIỆU Chương này cung cấp một cái nhìn tổng quan về bài toán dự đoán trong đồ thị tri thức, cùng với ý nghĩa khoa học và ứng dụng thực tiễn của bài toán. Song song đó, luận án cũng đánh giá các thách thức cần được giải quyết và cơ hội cho sự cải tiến. Kế tiếp, luận án xác định rõ các mục tiêu cụ thê của nghiên cứu và phạm vi, đồng thời giới thiệu cách tiếp cận được lựa chọn.
Phần tiếp theo của chương trình bày những đóng góp chính của luận án, nêu bật những đề xuất và kết quả mà công trình nghiên cứu này đem lại. Chương kết thúc bằng cách mô tả bố cục tổng thé của luận án, cung. cấp cách thức tô chức và phát triển các ý tưởng chính qua các phần khác nhau.1 Dự đoán liên kết và ứng dụng thực tiễn Đồ thị tri thức (Knowledge Graph — KG) lần đầu được dé cập vào năm 1973 [1] nhưng chưa thu hút sự chú ý rộng rãi từ giới khoa học cho đến năm 2012, khi Google thông báo việc tích hợp KG vào công cụ tìm kiếm của mình [2]. Sau đó, một loạt các công ty lớn bao gồm Facebook [3], Amazon [4], Microsoft [3] và Uber [5] đã thông báo việc ứng dụng KG vào hệ thống cơ sở dữ liệu của họ.
Trong hơn một thập kỷ, nhiều nghiên cứu sâu rộng đã được công bồ về các khía cạnh khác nhau của KG, gop phần đáng kể vào sự phát triển của hướng nghiên cứu này. Hơn nữa, nhiều dự án quy mô lớn đã được triên khai sử dụng các cơ sở tri thức mở dé xây dựng KG; ví dụ dang chú ý bao gồm Wikidata [6], Freebase [7], DBpedia [8], và YAGO [9]. Trong KG, các nút đại diện cho các thực thể, trong khi các liên kết đại diện cho mối quan hệ giữa các thực thé. KG có thể được biéu diễn theo nhiều cách, nhưng phổ biến nhất là dưới dạng bộ ba và bộ bón.
Mỗi bộ ba có dạng (/hực thé đâu, quan hệ, thực thể cuối), có nghĩa là thực thé đầu được liên kết với thực thé cuối thông qua một quan hệ cụ thé. Trong khi đó, bộ bốn được bé sung thêm chiều thời gian dé mô tả đồ thi tri thức thời gian (temporal knowledge graph).1 minh họa một đồ thị tri thức thé hiện các bộ ba như (HCMUS, located_in, HCM_City), (Washington, city oƒ, USA). Các cạnh nét liền, màu đen biểu diễn cho các sự kiện tồn tại đã được lưu trữ trong dữ liệu và các cạnh nét đứt, màu đỏ đại diện cho các sự kiện tồn tại nhưng chưa được ghi nhận trong cơ sở dit liệu. Vì KG có kha năng mô hình hóa dữ liệu cầu trúc hiệu quả hơn so với các phương pháp truyền thống như các bảng trong cơ sở dữ liệu nên nó được áp dụng trong nhiều lĩnh vực như hệ thống gợi ý, tìm kiếm ngữ nghĩa, và hệ thông trả lời câu hỏi [10-12].
a Tri thức đã biết Seattle }---universiy of USA —————> Trì thức chưa biết iocated_in củy_sŸ } } HCMUS }—university_«-® Hình 1.1: Ví dụ đồ thị tri thức biểu diễn thông tin một số địa điểm địa lý Một vấn dé mà KG gặp phải là chúng được xây dựng từ nhiều nguồn thông tin, bao gồm các nguồn dit liệu mở. Do đó, KG thường gặp phải các vấn đề như thông tin không chính xác, nhiễu và mâu thuẫn. Trên Freebase, gần 3/4 số lượng thực thé thiếu thông tin cơ bản như nơi sinh, 99% không có dữ liệu về dân tộc, và 95% không có. thông tin về cha mẹ của họ [13, 14].
Trong khi đó, 6 DBpedia, hơn 66% các nhà khoa học không có mô tả chỉ tiết [15]. Tính đến năm 2020, 6% các thực thé của Wikidata không có loại và 80% loại có ít hơn 10 thực thé được kết nói đến [16]. Một số dữ liệu chỉ ra rằng, trong các cơ sở dữ liệu tri thức lớn hiện nay, tỷ lệ thiếu sót của các mối quan hệ cơ bản thường xuyên vượt quá 70%, và tỷ lệ này càng cao hơn nữa đối với các mối quan hệ ít phổ biến [17]. Điều này không chỉ xuất phát từ nguyên nhân của quá trình thủ công trong việc xây dựng KG, mà còn xuất phát từ việc sử dụng các nguồn dữ liệu không đồng nhất và phức tạp, như mạng cộng tác, kho ngữ liệu văn bản, nguồn web, và nguồn tài liệu cấu trúc/bán cấu trúc như JSON, XML, CSV.
Những phương pháp thủ công hoặc bán tự động thường dẫn đến sự không đầy đủ trong đữ liệu ban đầu, chứa nhiều mục trùng lặp và thông tin sai lệch. Đây chính là một trong những đặc tính phổ biến của các tập dữ liệu KG hiện nay. Dé giải quyết vấn đề này, cộng đồng nghiên cứu đã đề xuất bài toán hiệu chỉnh đồ thị tri thức (Knowledge Graph Refinement — KGR). Mô hình học KG Ứng dụng KG (Upstream Tasks) (Downstream Tasks) Dự đoán liên kết Hệ thống gợi ý Phân lớp thực thể, rot hộ Hệ thống hỏi" đáp Co sở dữ liệu KG Phát hiện lỗi Phát hiện bắt thường.2: Bài toán hiệu chỉnh đồ thị tri thức và các ứng dụng của chúng KGR tập trung vào quá trình bổ sung tri thức còn thiếu và xác định thông tin sai lệch trong KG thông qua các phương pháp tự động.
Từ đó, cộng đồng nghiên cứu hình thành hai nhánh bài toán chính, gồm hoàn thiện đồ thị (Knowledge Graph Completion - KGC) và phát hiện lỗi (error detection). Trong KGC, bài toán cũng chia thành các nhiệm vụ khác nhau như gán nhãn đỉnh, cạnh, dự đoán liên kết.2 tóm tắt các bài toán và ứng dụng của KGR. Trong phạm vi nghiên cứu, luận án tập trung vào nhiệm vụ dự đoán liên kết. Dự đoán liên kết là quá trình xác định các liên kết còn thiếu giữa các thực thể trong đồ thị.
Vi dụ, trong Hình 1.1, các bộ ba như (HCM City, city_of, Vietnam), (Seattle, university_of, USA) là các bộ ba có thể được dự đoán dựa trên các sự kiện tồn tại trong KG. Một điểm đáng chú ý gần đây là có sự kết hợp giữa lĩnh vực thị giác máy tính và KG. Các nhà nghiên cứu trong thị giác máy tính bắt đầu quan tâm đến dạng cấu trúc này nhằm hỗ trợ cho quá trình nắm bắt được bối cảnh, hiểu thông tin ảnh cho máy tinh, cũng như khai thác các thông tin tiềm ẩn khác dựa trên các mối tương quan giữa các đối tượng [18]. Từ đó, mở ra các ứng dụng tự động như truy vấn thông tin, suy luận, phân tích dữ liệu trên tập ảnh.3 mô tả quá trình dự đoán mối liên kết giữa các đối tượng dựa trên KG.
Đầu tiên, ảnh được qua mô-đun để trích xuất các đối tượng có trong ảnh. Giả sử, một số mối tương quan được trích xuất nhưng một số không được thể hiện. Các mối tương quan này được biéu diễn dưới đạng bộ ba và có thể kết hợp với cơ sở dữ liệu KG được xây dựng trước đó. Các mô hình dự đoán được áp dụng dé tìm thêm mối quan hệ giữa các đối tượng.
Trong vi dụ, bộ ba (woman, wear, shoes) và (woman, feed, horse) có thé được sinh ra từ mô hình.3: Các thông tin thị giác được thể hiện dưới dang đồ thị tri thức đê dự đoán các tương tác tiêm ân của các đôi tượng có trong anh Ngoài hoàn thiện đồ thị, bài toán dự đoán liên kết trên KG còn có nhiều ứng dụng thực tiễn khác như gợi ý khóa học bằng cách đề xuất liên kết giữa người học và khóa học mới [19], hay dự đoán dịch bệnh lây lan dựa trên lịch sử tiếp xúc giữa các đối tượng [20]. Dự đoán liên kết enzyme [21], phát hiện tội phạm [22], tương tác protein-protein [23] cũng là các ứng dụng quan trọng của bài toán này. Qua đó, ta có thể thấy tầm quan trọng cũng như khả năng ứng dụng khi xây dựng thành công mô hình dự đoán với hiệu suất cao.2 Các thách thức đặt ra 1.1 Tính đa dạng và phức tạp trong liên kết Dự đoán liên kết trên KG đối mặt với thách thức đáng kể từ tính đa dạng và phức tạp của các liên kết. Trong KG, mỗi liên kết biểu điễn một mối quan hệ cụ thể giữa các thực thể, và sự phức tạp xuất hiện do đa dạng của các loại quan hệ và sự tương tác phức tạp giữa chúng.
Một thực thể có thé có nhiều mối quan hệ khác nhau với nhiều thực thể khác, thậm chí giữa một cặp thực thể cũng có thể tổn tại nhiều quan hệ khác nhau, từ đó tạo ra một mạng lưới phức tạp. Thông tin ngữ nghĩa trên từng quan hệ có sự xác định hướng và đôi khi tồn tại nhập nhằng trong ngữ nghĩa. Như trong Hình 1.4, cùng một cặp brother_of(.)= --, nhưng có thể cho kết quả khác nhau. Trường hợp đầu, (Charles_III, brother_of, Edward) kết hợp với (Edware, parent_of, James) cho kết quả (Charles_III, uncle_of, James).
Tuy nhiên, trong trường hợp sau, (Charles HH, parent_ William) và (William, brother_of, Harry) lại cho kết quả (Charles_III, parent_of, Harry). brother oF "¬ rent_of Hoàng từ Edward “`. James “T baưent øf,. 'Vua Charles I re parent_of brother_of x Hoang tử Harry william ‘Than vương xứ Wales Hình 1.4: Vi dụ minh họa sự thay đổi ý nghĩa khi thứ tự của các mối quan hệ được thay đổi Ngoài ra, trong nghiên cứu học thuật, các đồ thị tri thức thường được chuẩn hóa và cấu trúc lại đê tránh vấn đề không nhất quán và thiếu chuẩn mực.
Tuy nhiên, hầu hết các đồ thị tri thức thực tế thường có chất lượng thấp do tổng hợp từ nhiều nguồn và không có các tiêu chí cụ thể để kiểm soát chất lượng. Điều này dẫn đến các mô hình chạy tốt trên đữ liệu thực nghiệm nhưng lại cho kết quả thấp khi áp dụng vào dữ liệu thực tế không kiểm soát. Nhiều nỗ lực gần đây như [24-27] nhằm giải quyết vấn đề này nhưng vẫn chưa có được sự hoàn thiện và hiệu quả cao.2 Kích thước dữ liệu lớn Dữ liệu KG thường chứa hàng triệu thực thể và liên kết, và quy mô này không ngừng tăng lên. Tập DBpedia [28] chứa 538 triệu bộ ba từ 4.8 triệu thực thê và 2,813 quan hệ khác nhau.
Tập Freebase [7] với 2.4 tỷ bộ ba đến từ 50 triệu thực thể và 37,781 quan hệ khác nhau. Tập Freebase này sau đó được Google phát triển lên thành 18 tỷ bộ ba cho 570 triệu thực thể [29]. Khi so sánh với các bộ đữ liệu chuẩn được tiến hành trong các thực nghiệm thì các bộ dữ liệu trên lớn hơn rất nhiều lần. Điều này đặt ra yêu cầu cho các mô hình về khả năng xử lý và phân tích dữ liệu một cách nhanh chóng và hiệu quả.