Mở đầu. Trình bày động cơ thực hiện khoá luận, đề tài của khoá luận, mục tiêu, đối tượng và phạm vi nghiên cứu của khoá luận và kết quả đạt được của khoá luận. * Chương 2: Tổng quan. Giới thiệu bài toán Nhận diện thực thể định danh.
Chúng tôi cũng nêu lên những khó khăn, thách thức của bài toán và đưa ra 1. CÂU TRÚC KHOA LUẬN những vấn đề mà chúng tôi sẽ tập trung giải quyết trong phạm vi khoá luận. Sau đó chúng tôi đề cập, phân tích đánh giá những công trình nghiên cứu liên quan đến đề tài Nhận điện thực thể định danh, Nhận diện thực thể định danh lồng nhau trên dit liệu tiếng Anh và tiếng Việt, đặc biệt là những công trình đã đạt kết quả state-of-the-art cho bài toán Nhận diện thực thể định danh. * Chương 3: Bộ ngữ liệu thực thể định danh.
Trình bày về những bộ ngữ liệu chúng tôi đã sử dụng để huấn luyện và kiểm thử hệ thống NER. Trong đó, chúng tôi đưa ra các phân tích và thống kê số liệu trên các bộ ngữ liệu liên quan đến các đặc trưng cần rút trích và đưa vào mô hình huấn luyện. Mô hình cho bài toán Nhận diện thực thể định danh. Trong chương này, chúng tôi tập trung trình bày cơ sở lý thuyết của thuật toán Con- ditional random field (CRF), trên cơ sở đó trình bày mô hình TreeCRFs và mô hình cải tiến Partially-Observed TreeCREs cho bài toán Nhận diện thực thể định danh lồng nhau.
Ngoài ra, chúng tôi cũng giới thiệu các mô hình tiền huấn luyện là mô hình BERT và mô hình XLM-RoBERTa. Cuối cùng, chúng tôi trình bày về hệ thống Nhận diện thực thể định danh chúng tôi đã xây dựng trong khoá luận này. s Chương 5: Thí nghiệm và kết quả. Trình bày các bước của giai đoạn tiền xử lý dữ liệu, các đặc trưng cần rút trích cho mô hình chúng tôi đã đề xuất trong chương 4.
Chúng tôi cũng đưa ra các thông số cài đặt trong quá trình tiến hành thí nghiệm các mô hình. Sau đó, chúng tôi cũng cung cấp bảng số liệu kết quả đã đạt được. * Chương 6: Kết luận và hướng phát triển. Trong phần cuối cùng, chúng tôi tổng kết những điều đã đạt được trong khoá luận này, chỉ ra những điểm hạn chế và đưa ra hướng phát triển trong tương lai.
TỔNG QUAN Trong chương này, chúng tôi sẽ giới thiệu về bài toán Rút trích thông tin, bài toán Nhận diện thực thể nói chung trên ngôn ngữ tiếng Việt nói riêng. Bên cạnh đó chúng tôi cũng trình bày những khó khăn của bài toán mà chúng tôi gặp phải trong quá trình thực hiện khoá luận. Sau đó chúng tôi sẽ đề cập và phân tích những công trình nghiên cứu liên quan đến dé tài này, đặc biệt là những công trình có kết quả state-of-the-art ở thời điểm hiện tại.1 Bài toán Rút trích thông tin Là một nhánh nghiên cứu trong lĩnh vực Xử lý ngôn ngữ tự nhiên, bài toán Rút trích thông tin (Information Extraction - IE) tập trung vào việc rút trích ra thông tin ngữ nghĩa từ văn bản. Nói cách khác, bài toán này giải quyết vấn đề biến đổi dữ liệu dạng văn bản (phi cấu trúc) thành dạng biểu diễn có cấu trúc, chẳng hạn như cơ sở dữ liệu.
Rút trích thông tin được ứng dụng trong rất nhiều lĩnh vực, có thể kể đến như: Hệ thống trả lời câu hỏi, Tóm tắt văn bản, Knowledge graph, Các hệ thống đề xuẤt, v.2 Bài toán Nhận diện thực thé 2.1 Mô tả bài toán Theo Cunningham[ 1], phương pháp Nhận diện thực thể là kỹ thuật đơn giản và đáng tin cậy nhất. Điều này có thể được giải thích bởi lý do trong bài toán Rút trích thông tin, hệ thống cần xác định và trích xuất các thông tin cần thiết. Đó có thé là: rút trích các thực thể, hoặc mối quan hệ giữa các thực thể, và giải quyết đồng tham chiếu. Điều này yêu cầu hệ thống rút trích thông tin trước hết cần nhận dạng được các thực 2.
BÀI TOÁN NHÂN DIỆN THỰC THE thể có trong dữ liệu đầu vào, mà trong phạm vi khoá luận này là văn bản. Vì vậy, có thể khẳng định bài toán Nhận diện thực thể tuy là bài toán đơn giản nhất nhưng là bước nền tảng nhất để giải quyết các bài toán phức tạp hơn. Thực thể định danh, nói một cách khái quát, có thể chỉ về bất cứ điều gì được gắn với một cái tên thích hợp: một người, một địa điểm hoặc một tổ chức. Nhiệm vụ của bài toán nhận diện thực thể là có thể nhận dạng và phân loại các thực thể đã được định nghĩa theo một bộ các quy ước và quy tắc gán nhãn cụ thể.
Nói cách khác, mục tiêu của bài toán là đi tìm cụm biểu diễn từ (word span) cấu thành nên một định danh phù hợp và gán nhãn cho chúng với loại tên tương ứng. Trong các hội nghị, hội thảo hay cuộc thi về NER, có 4 loại thực thể thường được xét đến là: tên người (PERSON - PER), tên tổ chức (ORGANIZATION - ORG), tên địa lý LOCATION - LOC và các tên khác (MISCELLANEOUS - MISC). Tuy nhiên, khái niệm /hực thé định danh thường được mỏ rộng để chỉ những thứ mà bản thân chúng không phải là những thực thể, bao gồm ngày tháng, thời gian, và các dạng biểu diễn thời gian khác, thậm chí đó có thể là biểu diễn dạng số, chẳng hạn như giá tiền. Dưới đây là một ví dụ về một câu văn đã được gán nhãn thực thể định danh: Theo thong kê, [parerme năm nay] đã có tổng cộng [quantiry-Num 31] tiểu hành tinh có cự li gần với [LocAnox-oso trái đất] va [L,ocATIoN-GEO mặt trăng] đã bay lướt qua [Locarion-ceo Trái Đắt], lần gần đây nhất là vào [parriE.parp tháng 4-2017].
[person Trung Nguyễn] (Tổng hợp) Loại thực thể | Nhãn Các loại tên Ví dụ Tên người PER tên người, nhân vật hư Nguyên Du là một đại thi cấu, bí danh hào trong nền văn học Việt Nam. Tên tổ chức ORG | tên cơ quan, công ti, tổ Nhà máy thuỷ điện Hoà chức chính trị Bình là nhà máy thuỷ điện lớn nhất Việt Nam và Đông Nam Á. Tên địađiểm | LOC | tên công trình xây dựng, | Thành pho Hồ Chí Minh địa điểm địa lý, tên hành | là trung tâm kinh tế trọng tỉnh điểm của cả nước. Danh sách các loại thực thể với các loại tên tương ứng Trong ví dụ trên, có 7 thực thể được gán nhãn, trong đó có 3 thực thể là tên 1 CHƯƠNG 2.
TỔNG QUAN địa điểm - địa lý, 2 thực thể thời gian, 1 thực thể số lượng và 1 thực thể tên người.1 mô tả các loại thực thé tổng quát và tiêu biểu. Trong một số ứng dụng, một số loại thực thể sẽ được định nghĩa chuyên biệt ví dụ như protein, mã gen[5], các sản phẩm thương mại hay tác phẩm nghệ thuật. Bài toán nhận diện thực thể cũng thuộc lớp bài toán Gán nhãn chuỗi (Sequence labeling), một cách tổng quát bài toán có thể được phát biểu như sau: * Đầu vào: X = {zizaz;.z„} là chuỗi các từ z; « Đầu ra: Y = {129i.0n} là chuỗi các nhãn ; được gán tương ứng cho X Trong đó với mỗi từ z; X ta có tương ứng một nhãn y; Y là chuỗi các nhãn, sao cho độ đài của X và Y bằng nhau. Một cách tiếp cận tiêu chuẩn để giải quyết vấn đề gán nhãn chuỗi cho bài toán có dạng biểu diễn theo cụm từ (span) như Nhận dạng thực thể định danh đó là phương pháp gán nhãn BIO [6] (Begin - Inside - Outside).
Bằng cách này, ta có thể xem bài toán Nhận dạng thực thể định danh như một bài toán gán nhãn chuỗi theo từng từ (word by word) thông qua các nhãn mang cả hai giá trị: ranh giới từ (word boundary) - vị trí bắt đầu và kết thúc của một từ - và loại thực thể định danh. Cùng xem xét ví dụ sau: Trận [Loc Việt Nam] - [oc Campuchia] được chuyển ra [Loc Mỹ Đình] thay vi [Loc Thống Nhất].2 trình bày cách gán nhãn cho câu ví dụ trên theo phương pháp gán nhãn BIO, cũng như các biến thể của nó là phương pháp gán nhãn IO và BIOES. Trong cách gán nhãn BIO, ta gán tất cả những từ bắt đầu một cụm từ được quan tâm bằng B, các từ xuất hiện trong cụm từ đó bằng nhãn 7, và tất cả những từ nằm ngoài cum từ đang được quan tâm đều được gan nhãn O. Biểu diễn câu văn theo các nhãn BIO tận dụng được ưu điểm của phương pháp gán nhãn từ loại (part-of-speech tagging) trong bài toán gán nhãn chuỗi, đó là: gán mỗi nhãn y; tương ứng với một từ z;.
Ngoài ra, các biển thể của phương pháp gán nhãn BIO là IO và BIOES cũng được chúng tôi đề cập ở đây để so sánh: phương pháp gán nhãn IO sẽ làm mất đi một số thông tin khi loại bỏ nhãn bắt đầu B của cụm từ, trong khi đó BIOES thêm một nhãn E § 2. BÀI TOÁN NHÂN DIỆN THỰC THE > Tách câu | ) Gazetteer ¬ Xử phi sấu trúc Tach từ => Thực thé ——__} định đanh rút trích ` ¬ Mô hình - 4 Gan nhãn từ Mô-đun loại nhận dạng thực thể / Ld Hình 2. Quy trình Nhận diện thực thể [7] cho từ đứng cuối cụm từ, và một nhãn Š cho những cụm từ chỉ được cấu thành từ 1 từ duy nhất. Từ Nhãn IO Nhãn BIO Nhãn BIOES Trận O O O Việt I-LOC B-LOC B-LOC Nam I-LOC I-LOC E-LOC - O O O Campuchia | I-LOC B-LOC S-LOC được O O O tổ O O O chức oO O oO tai O O O sân I-LOC B-LOC B-LOC My I-LOC I-LOC I-LOC Dinh I-LOC I-LOC E-LOC O O O Bảng 2.
Cách gán nhãn theo phương pháp BIO, với các biển thể IO và BIOES [6] Bài toán nhận diện thực thể thường được chia thành hai quy trình liên tiếp: (1) Nhận dạng thực thể và (2) Phân loại thực thé[7]. Nhận dạng thực thể là quy trình tìm kiếm các thực thể đang được quan tâm và được đề cập đến trong văn bản, còn Phân loại thực thể có nhiệm vụ phân lớp các thực thể đã được xác định theo thể loại hoặc theo các lớp, chẳng hạn như tên người hoặc tên tổ chức. Một kiến trúc thường thấy của một hệ thông Nhận diện thực thể được mô tả trong Hình 2.1 Kiến trúc này bao gồm nhiều thành phần khác nhau được liệt kê dưới đây: 9 CHƯƠNG 2.