MỞ ĐẦU Bài toán liên kết thực thể là một bài toán quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên, trích xuất thông tin, hỏi đáp, v. Nó có nhiệm vụ liên kết một thực thể có tên (named entity) vào một hệ cơ sở tri thức (knowledge base). Qua đó các chương trình trí tuệ nhân tạo có khả năng hiểu và phân tích văn bản một cách tốt hơn. Ví dụ trong câu “Tổng thống Obama đến thăm Việt Nam”.
Cụm từ “Tổng thống Obama” được nhận dạng là một thực thể có tên thuộc lớp người (Person) và được liên kết tới trang Wikipedia có liên kết là: Barack_Obama – tổng thống thứ 44 của Hoa Kỳ. Trong luận văn này, trước tiên chúng tôi xây dựng một bộ dữ liệu Tiếng Việt cho bài toán liên kết thực thể. Sau đó, chúng tôi tùy chỉnh công cụ AIDA-light, được phát triển tại viện Max-Planck cho ngôn ngữ tiếng Anh, để tương thích với ngôn ngữ tiếng Việt. Toàn bộ tập dữ liệu và những tài liệu liên quan sẽ được mở cho cộng đồng sử dụng và phát triển.
Nội dung của luận văn được được chia thành 4 chương như sau: Chƣơng 1: Khái quát về bài toán liên kết thực thể trình bày một số kiến thức nền tảng liên quan. Chƣơng 2: Phân tích và xử lý bộ dữ liệu trình bày việc đưa ra hệ thống quy tắc cho quá trình gán nhãn và liên kết thực thể có tên tới Wikipedia. Chƣơng 3: Cơ sở lý thuyết trình bày thuật toán CRFs cũng như ứng dụng của nó trên công cụ nhận dạng Stanford NER và thuật toán Graph ứng dụng trên công cụ liên kết thực thể AIDA-light cho tiếng Việt. Chƣơng 4: Thực nghiệm trình bày quá trình thử nghiệm mô hình cho tập dữ liệu tiếng Việt và đánh giá kết quả thực nghiệm trong việc ứng dụng vào mô hình đề xuất.
Kết luận tổng kết các kết quả đóng góp và kết quả đạt được trong quá trình nghiên cứu và thực hiện luận văn cũng như hướng phát triển trong tương lai để hoàn thiện kết quả nghiên cứu. TIEU LUAN MOI download : skknchat@gmail.com 1 CHƢƠNG 1: KHÁI QUÁT VỀ BÀI TOÁN LIÊN KẾT THỰC THỂ Liên kết thực thể (Entity Linking – EL) là một bài toán quan trọng trong nhiều lĩnh vực như xử lý ngôn ngữ tự nhiên (natural language processing), trích xuất thông tin (information extraction), hỏi đáp tự động (question answering), và nhiều bài toán về trí tuệ nhân tạo khác. Cụ thể, EL liên kết các thực thể có tên (named entities) được đề cập trong văn bản vào một hệ tri thức đã được định nghĩa trước (ví dụ: DBpedia1), hoặc một kho thực thể (entity repository) (ví dụ: Wikipedia2).1 mô tả kết quả thu được từ EL trên một câu văn bản chứa một thực thể có tên chỉ người – “Nguyễn Xuân Phúc” và một thực thể có tên chỉ địa danh – “Việt Nam”. Trong đó, EL liên kết thực thể thứ nhất với trang Wikipedia về thủ tướng Nguyễn Xuân Phúc và liên kết thực thể thứ hai với trang Wikipedia về đất nước Việt Nam.1 Liên kết thực thể được nghiên cứu và ứng dụng trên nhiều ngôn ngữ phổ biến như tiếng Anh, tiếng Trung, tiếng Đức v.
Trong tiếng Việt, EL đã có một số nghiên cứu được đưa ra, tuy nhiên số lượng chưa nhiều do hạn chế về tập dữ liệu chuẩn.1 Thực thể Thực thể (entity) là một đối tượng hoặc một tập hợp đối tượng trong thế giới tự nhiên. Thực thể có tên (named entity) là một thực thể chỉ con người, địa điểm, tổ chức, sự kiện, sản phẩm v. được biểu thị bằng một tên riêng như “Obama”, “Apple Inc.org/ 2 https://vi.org/ TIEU LUAN MOI download : skknchat@gmail.2 Hệ tri thức Hệ tri thức là một công nghệ được sử dụng để lưu trữ các thông tin có cấu trúc phức tạp bởi một hệ thống máy tính. Các hệ tri thức phổ biến trên thế giới bao gồm Yago3, DBpedia và nhiều phiên bản công nghiệp khác như Google knowledge graph4, Unigraph5, v.
Hệ tri thức chứa thông tin về các thực thể có tên như thực thể chỉ người: Barack_Obama, thực thể chỉ tổ chức: Apple_Inc., thực thể chỉ địa điểm: California và một số loại thực thể có tên khác. Để thực hiện bài toán liên kết thực thể, chúng ta cần có hệ tri thức nền tảng, hoặc kho thực thể – phần dữ liệu chứa các thông tin về thực thể. Trong bài luận văn này, chúng tôi sử dụng Wikipedia – một trong những kho bách khoa toàn thư lớn nhất hiện nay, như một hệ tri thức cho bài toán liên kết thực thể cho tiếng Việt.3 Nhận dạng thực thể Nhận dạng thực thể (Named Entity Recognition – NER) là bài toán nhằm nhận dạng các thực thể có tên trong văn bản. Thông thường, ngoài chức năng nhận dạng, NER còn phân loại các thực thể có tên vào một số kiểu được định nghĩa trước như con người (Person), tổ chức (Organization), địa điểm (Location), v.1, NER có nhiệm vụ nhận ra “Nguyễn Xuân Phúc” là một thực thể có tên chỉ người, và “Việt Nam” là một thực thể có tên chỉ địa điểm.
NER là bài toán quan trọng được ứng dụng nhiều trong nhận dạng văn bản. Trong tiếng Việt đã có một số nghiên cứu được đưa ra tiêu biểu như nghiên cứu của tác giả Hoàng Hữu Sơn và cộng sự [1], nghiên cứu của Nguyễn Cẩm Tú và các cộng sự [7].4 Liên kết thực thể Liên kết thực thể là bài toán nhằm liên kết các thực thể có tên vào một hệ tri thức, hoặc một kho thực thể được định nghĩa trước. Liên kết thực thể thường được thực hiện sau quá trình NER trong chuỗi các bài toán về xử lý văn bản.1, Liên kết thực thể có nhiệm vụ liên kết “Nguyễn Xuân Phúc” với trang Wikipedia về thủ tướng Nguyễn Xuân Phúc, và “Việt Nam” với trang Wikipedia về đất nước Việt Nam. Liên kết thực thể là một 3 https://en.org/wiki/YAGO_(database) 4 https://developers.com/knowledge-graph/ 5 https://unigraph.io/ TIEU LUAN MOI download : skknchat@gmail.com 3 bài toán rất khó bởi tính nhập nhằng cao của các thực thể có tên, ví dụ: “Việt Nam” có thể ngầm chỉ đất nước Việt Nam, đội bóng Việt Nam, quân đội Việt Nam, v.
Hiện nay chưa có nhiều nghiên cứu về liên kết thực thể cho tiếng Việt được đưa ra. TIEU LUAN MOI download : skknchat@gmail.com 4 CHƢƠNG 2: PHÂN TÍCH VÀ XỬ LÝ BỘ DỮ LIỆU 2.1 Chuẩn bị bộ dữ liệu Trong khuôn khổ luận văn này, chúng tôi đưa ra bộ dữ liệu thô được chọn lọc từ hơn 400 bài báo điện tử (như https://dantri.vn, https://vnexpress.net, https://ngoisao. Từ bộ dữ liệu thu được, chúng tôi gán nhãn các thực thể có tên tới liên kết trên Wikipedia. Ví dụ một bài báo trong tập dữ liệu đã được gán nhãn như dưới đây.
Với các thực thể có tên chưa được cập nhật trên Wikipedia, chúng tôi để dưới dạng [OKB] – out of kbs.1 TIEU LUAN MOI download : skknchat@gmail.com 5 Giải thích ví dụ 2. Minh họa gán nhãn thực thể trong tập dữ liệu 2.2 Định nghĩa thực thể Thực thể: là một đối tượng hoặc một tập hợp đối tượng trong thế giới tự nhiên. Thực thể bao gồm cả thực thể có tên riêng (như Mark Zuckerberg, Nguyễn Xuân Phúc, v.) và thực thể nói chung (như bò sát, con người, v. Dấu hiệu nhận biết một thực thể là [1]: Tên riêng (named entity).
Danh từ hoặc cụm danh từ chung (common noun, noun phrase). Thực thể có tên: là các đối tượng trong thế giới thực như con người, địa điểm, tổ chức, sản phẩm, v. được đặt bằng một tên gọi riêng biệt. Để phân biệt giữa một thực thể và một thực thể có tên thường căn cứ vào tên gọi riêng của thực thể đó và dùng để phân biệt với các thực thể có tên khác.
Barack Obama, Việt Nam, Liên hợp quốc, iPhone 7, v. là các ví dụ về thực thể có tên. Tổng thống, quốc gia, điện thoại, v. là các ví dụ về thực thể.
Phân biệt thực thể có tên và “khái niệm” Trong ví dụ 1.1 “Nguyễn Xuân Phúc là thủ tướng của nước Việt Nam” thì “Nguyễn Xuân Phúc” và “Việt Nam” là các thực thể có tên. Thực thể “thủ tướng” không phải là thực thể có tên vì nó chỉ tên một chức vụ và chức vụ này có thể ám chỉ nhiều đối tượng như thủ tướng Nguyễn Tấn Dũng6, Abe 6 https://vi.org/wiki/Nguyễn_Tấn_Dũng TIEU LUAN MOI download : skknchat@gmail. Trong một số nghiên cứu về nhận dạng thực thể, “thủ tướng” được gọi là “khái niệm” (concept). Khái niệm chỉ định đối tượng thuộc về một tập hợp nào đó có chung đặc điểm (ví dụ thực thể “thủ tưởng” ám chỉ các thực thể cùng giữ chức vụ có tên thủ tướng); đối tượng ở trong thế giới khác nhau, hay thời gian, không gian khác nhau (ví dụ thực thể “thủ tướng Pháp” ám chỉ các thực thể giữ chức vụ thủ tướng nước Pháp qua các nhiệm kỳ).
Các kiểu thực thể đƣợc nhận dạng Person: Thực thể chỉ tên người. Nationality: Thực thể chỉ tên quốc tịch, nhóm tôn giáo hoặc chính trị thuộc về quốc gia. Organization: Thực thể chỉ tên một tổ chức, trường học, công ty, một nhóm người được thành lập theo một cấu trúc phân cấp nào đó hoặc có chung một nhiệm vụ. Facility: Thực thể chỉ những đối tượng do con người tạo ra ví dụ lĩnh vực xây dựng và kiến trúc: bảo tàng, tòa nhà, sân bay, cầu đường v.
Location: Thực thể chỉ tên nơi chốn do con người xây dựng như tên đất nước, thành phố, tiểu vương quốc. Place of nature: Thực thể chỉ những địa danh thuộc về thiên nhiên địa lý như vùng lãnh thổ, sông, suối v. Product: Thực thể chỉ các sản phẩm, nhãn hàng, phương tiện, món ăn. Event: Thực thể chỉ các cơn bão, cuộc chiến tranh, sự kiện thể thao giải trí.
Work of art: Thực thể chỉ tên cuốn sách, tên bài hát, tên tác phẩm điện ảnh. Law: Thực thể chỉ tên các văn bản như luật pháp, quy định, thông tư. Language: Thực thể chỉ tên các ngôn ngữ. Trong khuôn khổ của luận văn, chúng tôi phân loại thực thể thành 4 kiểu như sau: Person (Con người): gồm các thực thể có tên chỉ người, các nhân vật là người được hư cấu.org/wiki/Abe_Shinzō TIEU LUAN MOI download : skknchat@gmail.com 7 Trong ví dụ 2.1, những thực thể có tên “nhà văn Herman Melville”, “ông Bowker”, “nhân vật Starbuck” được nhận dạng là kiểu Person.1 Organization (Tổ chức): bao gồm các thực thể có tên chỉ nhóm người, tổ chức, doanh nghiệp, đoàn thể.2, những thực thể có tên “Nike”, “Orlando Magic”, “Reebok” được nhận dạng là kiểu Organization.2 Location (Địa điểm): bao gồm các thực thể có tên chỉ địa điểm, quốc gia, vùng lãnh thổ.3, những thực thể có tên “Tây Ban Nha”, “Bồ Đào Nha”, “Vườn quốc gia Doñana” là được nhận dạng là kiểu Location.3 TIEU LUAN MOI download : skknchat@gmail.