Nghiên Cứu Nhận Dạng Thực Thể Có Tên Và Thực Thể Biểu Hiện Trong Văn Bản

Nghiên cứu về nhận dạng thực thể có tên và thực thể biểu hiện trong văn bản, cùng các ứng dụng thực tiễn trong lĩnh vực ngôn ngữ học.

• Tác giả: Trần Mai Vũ
• Người hướng dẫn: PGS. Hà Quang Thụy
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên Cứu Nhận Dạng Thực Thể Có Tên Và Thực Thể Biểu Hiện Trong Văn Bản Và Ứng Dụng
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: KHÁI QUÁT VỀ NHẬN DẠNG THỰC THỂ
• 1.1. Một số khái niệm cơ bản
• 1.2. Định nghĩa bài toán nhận dạng thực thể
• 1.3. Thách thức
• 1.4. Ứng dụng của nhận dạng thực thể
• 1.5. Sơ lược về lịch sử nghiên cứu và một số hướng giải quyết bài toán
• 1.6. Nhận dạng thực thể trong dữ liệu văn bản tiếng Việt và một số nghiên cứu liên quan
• 1.7. Những thách thức đối với xử lý dữ liệu tiếng Việt
• 1.8. Động cơ nghiên cứu
• 1.9. Các nghiên cứu liên quan
• 1.10. Nhận dạng thực thể trong dữ liệu văn bản y sinh tiếng Anh và một số nghiên cứu liên quan
• 1.11. Những thách thức đối với xử lý dữ liệu y sinh
• 1.12. Động cơ nghiên cứu
• 1.13. Các nghiên cứu liên quan
• 1.14. Tổng kết chương
• 2. CHƯƠNG 2: NHẬN DẠNG THỰC THỂ TÊN NGƯỜI KẾT HỢP VỚI NHẬN DẠNG THUỘC TÍNH THỰC THỂ CÓ TÊN TRONG VĂN BẢN TIẾNG VIỆT
• 2.1. Các nghiên cứu liên quan
• 2.2. Các nghiên cứu liên quan trên thế giới
• 2.3. Các nghiên cứu liên quan ở Việt Nam
• 2.4. Một mô hình giải quyết bài toán nhận dạng thực thể tên người kết hợp với nhận dạng thuộc tính thực thể
• 2.5. Mô hình Entropy cực đại giải mã bằng tìm kiếm chùm (MEM+BS)
• 2.6. Phương pháp trường ngẫu nhiên có điều kiện (CRF)
• 2.7. Mô hình đề xuất
• 2.8. Tập đặc trưng
• 2.9. Thực nghiệm, kết quả và đánh giá
• 2.9.1. Công cụ và dữ liệu đánh giá
• 2.9.2. Kết quả thực nghiệm đánh giá trên toàn hệ thống
• 2.9.3. Kết quả thực nghiệm đánh giá trên từng nhãn
• 2.10. Mô hình áp dụng vào hệ thống hỏi đáp tên người tiếng Việt
• 2.10.1. Khái quát bài toán
• 2.10.2. Đặc trưng câu hỏi liên quan đến thực thể tên người trong tiếng Việt
• 2.10.3. Mô hình đề xuất
• 2.10.4. Phương pháp và dữ liệu đánh giá mô hình hỏi đáp tự động
• 2.10.5. Thực nghiệm và đánh giá
• 2.11. Tổng kết chương
• 3. CHƯƠNG 3: NHẬN DẠNG THỰC THỂ BIỂU HIỆN TRONG VĂN BẢN Y SINH TIẾNG ANH
• 3.1. Động cơ và khái quát bài toán nhận dạng thực thể biểu hiện
• 3.2. Một số khái niệm cơ bản liên quan đến thực thể biểu hiện và một số thực thể liên quan
• 3.3. Vấn đề về thích nghi miền trong nhận dạng thực thể y sinh
• 3.4. Mô hình nhận dạng thực thể biểu hiện và một số thực thể liên quan
• 3.5. Dữ liệu đánh giá và tài nguyên hỗ trợ
• 3.6. Mô hình đề xuất
• 3.7. Tập đặc trưng và đánh giá đặc trưng
• 3.8. Phương pháp đánh giá
• 3.9. Thực nghiệm
• 3.9.1. Thực nghiệm 1: đánh giá hiệu quả của mô hình đề xuất với các kỹ thuật học máy khác nhau
• 3.9.2. Thực nghiệm 2: so sánh kết quả của mô hình đề xuất với một số nghiên cứu liên quan
• 3.9.3. Thực nghiệm 3: đánh giá đóng góp của từng tài nguyên đối với kết quả nhận diện thực thể
• 3.9.4. Thực nghiệm 4: ứng dụng mô hình đề xuất để nhận dạng thực thể y sinh trong cuộc thi BioCreAtIvE V CDR Task
• 3.10. Thích nghi miền dữ liệu trong nhận dạng thực thể y sinh
• 3.11. Kết quả và đánh giá
• 3.12. Tổng kết chương
• 4. CHƯƠNG 4: MỘT MÔ HÌNH NÂNG CẤP HIỆU QUẢ NHẬN DẠNG THỰC THỂ Y SINH DỰA TRÊN KỸ THUẬT LAI GHÉP VÀ HỌC XẾP HẠNG
• 4.1. Mô hình nâng cấp nhận dạng thực thể biểu hiện và các thực thể liên quan
• 4.2. Các phương pháp lai ghép được đề xuất
• 4.2.1. Phương pháp lai ghép sử dụng luật
• 4.2.2. Phương pháp lai ghép sử dụng học máy gán nhãn chuỗi
• 4.2.3. Phương pháp lai ghép sử dụng học xếp hạng
• 4.3. Thực nghiệm và đánh giá kết quả
• 4.3.1. Phương pháp đánh giá
• 4.3.2. Thực nghiệm đánh giá hiệu quả của từng phương pháp lai ghép
• 4.3.3. Thực nghiệm kiểm thử tin cậy trong quá trình đánh giá hiệu quả của các tài nguyên
• 4.3.4. Thảo luận và phân tích lỗi
• 4.4. Kết luận chương
• KẾT LUẬN
• DANH MỤC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ CÓ LIÊN QUAN ĐẾN LUẬN ÁN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Nhận Dạng Thực Thể Trong Văn Bản

Nghiên cứu nhận dạng thực thể (NER) là một lĩnh vực quan trọng trong công nghệ thông tin, đặc biệt trong xử lý ngôn ngữ tự nhiên. NER giúp xác định và phân loại các thực thể trong văn bản như tên người, địa điểm, tổ chức, và nhiều loại thực thể khác. Việc áp dụng công nghệ này không chỉ giúp cải thiện khả năng tìm kiếm thông tin mà còn hỗ trợ trong việc phân tích dữ liệu lớn.

1.1. Khái Niệm Cơ Bản Về Nhận Dạng Thực Thể

Nhận dạng thực thể là quá trình xác định và phân loại các thực thể trong văn bản. Các thực thể này có thể là tên người, địa điểm, tổ chức, hoặc các khái niệm khác. Việc hiểu rõ khái niệm này là rất quan trọng để phát triển các ứng dụng hiệu quả.

1.2. Lịch Sử Phát Triển Của NER

Lịch sử phát triển của NER bắt đầu từ những năm 1990 với các nghiên cứu đầu tiên về xử lý ngôn ngữ tự nhiên. Qua thời gian, nhiều phương pháp và kỹ thuật đã được phát triển, từ các quy tắc đơn giản đến các mô hình học sâu phức tạp.

II. Thách Thức Trong Nghiên Cứu Nhận Dạng Thực Thể

Mặc dù NER đã đạt được nhiều thành tựu, nhưng vẫn còn nhiều thách thức cần giải quyết. Các vấn đề như độ chính xác trong việc nhận diện thực thể, sự đa dạng ngôn ngữ và ngữ cảnh, cũng như việc thiếu hụt dữ liệu gán nhãn chất lượng cao là những khó khăn lớn.

2.1. Độ Chính Xác Trong Nhận Dạng Thực Thể

Độ chính xác là một trong những yếu tố quan trọng nhất trong NER. Các mô hình cần phải được tối ưu hóa để giảm thiểu sai sót trong việc nhận diện và phân loại thực thể.

2.2. Sự Đa Dạng Ngôn Ngữ Và Ngữ Cảnh

Mỗi ngôn ngữ có cấu trúc và quy tắc riêng, điều này tạo ra thách thức lớn cho việc áp dụng các mô hình NER. Sự khác biệt trong ngữ cảnh cũng có thể ảnh hưởng đến khả năng nhận diện thực thể.

III. Phương Pháp Nghiên Cứu Nhận Dạng Thực Thể Hiện Nay

Hiện nay, có nhiều phương pháp được sử dụng để nghiên cứu và phát triển NER. Các phương pháp này bao gồm học máy, học sâu, và các kỹ thuật dựa trên quy tắc. Mỗi phương pháp có ưu điểm và nhược điểm riêng.

3.1. Phương Pháp Học Máy

Phương pháp học máy sử dụng các thuật toán để học từ dữ liệu gán nhãn. Các mô hình như SVM và CRF đã được áp dụng rộng rãi trong NER.

3.2. Phương Pháp Học Sâu

Học sâu đã mở ra nhiều cơ hội mới cho NER với các mô hình như LSTM và BERT. Những mô hình này cho phép xử lý ngữ nghĩa và ngữ cảnh tốt hơn.

IV. Ứng Dụng Thực Tiễn Của Nhận Dạng Thực Thể

NER có nhiều ứng dụng thực tiễn trong các lĩnh vực như y tế, tài chính, và truyền thông. Việc nhận diện và phân loại thực thể giúp cải thiện khả năng tìm kiếm và phân tích dữ liệu.

4.1. Ứng Dụng Trong Y Tế

Trong y tế, NER giúp nhận diện các thực thể như bệnh, thuốc, và triệu chứng từ các tài liệu y khoa, hỗ trợ trong việc phân tích và nghiên cứu.

4.2. Ứng Dụng Trong Tài Chính

Trong lĩnh vực tài chính, NER được sử dụng để phân tích các báo cáo tài chính, nhận diện các thực thể như công ty, sản phẩm, và thị trường.

V. Kết Luận Và Tương Lai Của Nghiên Cứu NER

Nghiên cứu nhận dạng thực thể đang trên đà phát triển mạnh mẽ. Tương lai của NER hứa hẹn sẽ có nhiều cải tiến với sự phát triển của công nghệ học sâu và dữ liệu lớn. Việc giải quyết các thách thức hiện tại sẽ mở ra nhiều cơ hội mới.

5.1. Xu Hướng Nghiên Cứu Tương Lai

Các xu hướng nghiên cứu trong tương lai sẽ tập trung vào việc cải thiện độ chính xác và khả năng thích ứng của các mô hình NER với nhiều ngôn ngữ và ngữ cảnh khác nhau.

5.2. Tầm Quan Trọng Của Dữ Liệu Gán Nhãn

Dữ liệu gán nhãn chất lượng cao sẽ là yếu tố quyết định cho sự thành công của các mô hình NER trong tương lai. Việc phát triển các bộ dữ liệu phong phú và đa dạng là rất cần thiết.

Trích đoạn nội dung tài liệu

Chương 1 của luận án hệ thống hóa các lý thuyết cơ bản về nhận dạng thực thể. Chương này được cấu trúc thành bốn phần nội dung chính. Phần 1 trình bày và phân tích các khái niệm cơ bản và các thuật ngữ cần quan tâm trong lĩnh vực nghiên cứu, ngoài các định nghĩa, phần này cũng khái quát hóa các độ đo thường được sử dụng trong nhận dạng thực thể. Phần 2 nêu ra một số hướng tiếp cận giải quyết chính cũng như một số hướng tiếp cận mới trong nghiên cứu về nhận dạng thực thể.

Các hướng tiếp cận này sẽ được nêu ra trong hai phần, tương ứng với từng loại dữ liệu là dữ liệu văn bản tiếng Anh và dữ liệu văn bản tiếng Việt. Phần 3 trình bày cụ thể một số kỹ thuật học máy tiêu biểu thường được sử dụng trong nhận dạng thực thể cũng như trong các nghiên cứu của luận án. Cuối cùng, phần 4 nêu ra tiềm năng nghiên cứu và điểm qua một vài ứng dụng nổi bật của nhận dạng thực thể. Một số khái niệm cơ bản 1.

Định nghĩa bài toán nhận dạng thực thể Bài toán nhận dạng thực thể (hay còn gọi là bài toán nhận dạng thực thể định danh; Named Entity Recognition; NER) là bài toán xác định (phát hiện) các biểu diễn trong văn bản và phân lớp chúng vào các kiểu thực thể định danh được định nghĩa trước như Người, Địa danh, Thời gian, Số, tiền tệ, v. Bài toán này có thể bao gồm cả việc nhận dạng các thông tin hay thuộc tính mô tả về thực thể. Ví dụ, trong trường hợp của thực thể tên người, hệ thống NER có thể trích xuất cả các thông tin về Chức danh, Quốc tịch, Địa chỉ, Giới tính, v. Một thực thể định danh là một chuỗi các từ chỉ đến một thực thể trong thế giới thực, ví dụ như "California", “Hà Nội”, “Võ Nguyên Giáp”, "Steve Jobs" và "Apple".

Một thực thể định danh có thể được xếp vào một loại thực thể nào đó, như Người, Địa điểm, Tổ chức, Thời gian, v. Như vậy, các thực thể chính là nhữ ng đố i tươṇ g cơ bản nhất trong mô ̣t văn bản dù ở bấ t kì ngôn ngữ nào. 17 Luận án sử dụng định nghĩa bài toán nhận dạng thực thể do Aggarwal và Zhai phát biểu [AZ12]: “Bài toán nhận dạng thực thể (Named entity recognition, NER) là bài toán xác định thực thể định danh từ các văn bản dưới dạng tự do và phân lớp chúng vào một tập các kiểu được định nghĩa trước như người, tổ chức và địa điểm.” Các kiểu thực thể định danh không chỉ bao gồm một số kiểu thông dụng như tên người, địa danh, tên tổ chức mà còn có rất nhiều kiểu khác phụ thuộc vào đặc trưng của loại dữ liệu, miền dữ liệu hay mục đích của hệ thống ứng dụng nhận dạng thực thể. Có thể kể đến một số kiểu thực thể được nêu ra tại các nhiệm vụ xử lý ngôn ngữ tự nhiên (task/shared task) như sau: - Những kiểu thực thể định danh thông dụng nhất được tập trung nghiên cứu là người, tổ chức và địa điểm, chúng được định nghĩa lần đầu tại Message Understanding Conference-6 (MUC-6).

Những kiểu thực thể này là phổ biến đủ để có thể trở nên hữu ích trong nhiều miền ứng dụng. Việc trích xuất các biểu diễn ngày tháng, giờ, tiền tệ và tỷ lệ phần trăm, cũng được MUC-6 giới thiệu, thường cũng được xử lý trong NER, mặc dù nói đúng ra thì các biểu diễn này không phải là thực thể định danh. - Nhiệm vụ tại chương trình Automatic Content Extraction (ACE) đưa ra thêm nhiều loại thực thể mới, các loại thực thể được tổ chức dưới dạng cây phân cấp, chi tiết hơn MUC6. Ví dụ như kiểu thực thể tên tổ chức (organisation) có các loại con như tên tổ chức chính phủ, tổ chức giáo dục hay tổ chức thương mại [DMP04].

- Bên cạnh các kiểu thực thể thông thường trong văn bản tin tức, các loại thực thể liên quan đến y sinh cũng nhận được nhiều sự quan tâm. Hội thảo BioNLP/JNLPBA 2004 có nhiệm vụ yêu cầu nhận diện thực thể y sinh gene và protein [KOT04] hay nhiệm vụ Track3-CDR tại hội thảo BioCreative V (2015) yêu cầu phát hiện thực thể bệnh và thuốc [WPL15]. Thách thức Tuy là một bài toán cơ bản, nhưng nhận dạng thực thể cũng gặp phải không ít thách thức cần giải quyết do độ phong phú và sự nhập nhằng của ngôn ngữ. Thông thường thì bài toán này không thể được thực hiện một cách đơn giản nếu chỉ sử dụng đối sánh chuỗi với các từ điển đã được xây dựng trước vì các thực thể định danh của một kiểu thực thể thường không phải là một một tập đóng, do đó bất kỳ từ điển nào cũng sẽ là không đầy đủ.

Một lý do khác là loại thực thể định danh có thể phụ thuộc vào ngữ cảnh. Ví dụ, "JFK" có thể chỉ tới người "John F. Kennedy”, địa điểm "sân bay quốc tế JFK", hoặc bất kỳ loại nào khác có cùng dạng viết tắt đó. Tương tự “Sông Lam Nghệ An” có thể là địa điểm chỉ tên một con sông tại tỉnh Nghệ An hay tên một đội bóng “Sông Lam Nghệ An”.

Để xác định loại cho thực thể "JFK" hay“Sông Lam Nghệ An” xuất hiện trong một tài liệu cụ thể, cần phải xem xét đến ngữ cảnh chứa nó. Bên cạnh yếu tố về ngữ nghĩa, các yếu tố liên quan đến đặc trưng ngôn ngữ cũng góp phần làm bài toán nhận dạng thực thể trở nên khó khăn. Một số ngôn ngữ như tiếng Việt ngoài việc thiếu các tài nguyên xử lý ngôn ngữ tự nhiên còn phải thực hiện một số bài toán con như tách từ trước khi nhận dạng thực thể, tỷ lệ lỗi của các bài toán con sẽ ảnh hưởng đến kết quả của bài toán nhận dạng thực thể. Ngoài ra, từng loại thực thể cũng có những thách thức riêng khác nhau ảnh hưởng đến hiệu quả của mô hình nhận dạng.

Ví dụ thực thể tên tổ chức “Ủy ban nhân dân Thành phố Hà Nội” có chứa thực thể tên địa danh “Thành phố Hà Nội”. Độ đo đánh giá Để đánh giá các mô hình nhận dạng thực thể cần phải tạo ra tập các tài liệu được gán nhãn bằng tay. Đối với việc đánh giá trên từng miền cụ thể, các tài liệu được lựa chọn gán nhãn phải liên quan đến dữ liệu miền mục tiêu. Ví dụ, để đánh giá việc trích xuất các thực thể gen và protein, ta phải sử dụng các tài liệu y sinh như các tóm tắt từ kho dữ liệu PubMed.

Nhưng nếu mục đích là để đánh giá so sánh giữa các kỹ thuật nhận diện thực thể nói chung, cần phải sử dụng một tập dữ liệu 19 tiêu chuẩn đã được cộng đồng nghiên cứu chấp nhận [AZ12]. Các tập dữ liệu thường được dùng để đánh giá chung cho các loại thực thể định danh thông thường có thể kể đến là tập dữ liệu của hội nghị MUC, CoNLL-2003 và ACE 2004, còn để đánh giá cho các loại thực thể trong y sinh có thể sử dụng tập dữ liệu GENIA [KOT03], CHEMDNER [KLR15]. Các số đo đánh giá điển hình được sử dụng cho nhận dạng thực thể là độ chính xác (precision - P), độ hồi tưởng (recall - R) và độ đo F1 (F1-measure). Độ chính xác được tính bằng phần trăm các kết quả đúng trong tổng số kết quả nhãn dương của hệ thống.

Độ hồi tưởng là phần trăm các trường hợp được gán nhãn đúng trong tất cả các mẫu dương có trong dữ liệu. Độ đo F1 là trung bình điều hòa của độ chính xác và độ hồi tưởng. mô tả một cách trực quan các độ đo này. Mô tả các độ đo độ chính xác, độ hồi tưởng và độ đo F1 Trong nhận dạng thực thể, nói một cách chính xác thì một thực thể định danh được nhận dạng cần phải thỏa mãn hai tiêu chí: Một là xác định đúng biên thực thể và hai là xác định đúng kiểu thực thể.

Hầu hết các đánh giá đòi hỏi việc ánh xạ chính xác biên thực thể. Tuy nhiên, đôi khi trong một số trường hợp thì việc ánh xạ một phần cũng được chấp nhận, ví dụ khi mục tiêu chỉ là xác định liệu thực thể nào đó có được nhắc đến trong văn bản hay câu hay không [TWC06]. Ứng dụng của nhận dạng thực thể Nhận dạng thực thể là một bài toán quan trọng, thường được sử dụng như là một bước tiền xử lý trong các hệ thống trích xuất thông hay trích chọn thông tin phức tạp. Có thể kể đến nhận dạng thực thể xuất hiện trong một số các ứng dụng sau:  Trích xuất quan hệ là bài toán nhận diện các mối quan hệ ngữ nghĩa giữa hai thực thể hay giữa một thực thể và một khái niệm [GLR06], ví dụ như mối quan hệ người-nơi làm việc (Ronaldo, Real Madrid) hay quan hệ nơi sinh (Hồ Chí Minh, Nghệ An).

Trong bài toán này, bài toán nhận diện thực thể là vấn đề đầu tiên cần được giải quyết trước khi trích xuất quan hệ.  Trích xuất sự kiện là bài toán phức tạp hơn trích xuất quan hệ khi sự kiện là một tổ hợp của nhiều yếu tố thể hiện các thông tin biểu diễn về ai/cái gì đã làm gì, với ai/cái gì, bao giờ, ở đâu, bằng cách nào và tại sao. Các sự kiện có thể là một sự kiện trong thế giới thực như sự kiện khủng bố, sự kiện tài chính,… hay cũng có thể là một sự kiện xảy ra của một quá trình tự nhiên như các sự kiện y sinh liên quan đến biến đổi gene hay gene gây bệnh. Tương tự như trích xuất quan hệ, trong trích xuất sự kiện vấn đề nhận dạng thực thể cũng đặt lên hàng đầu khi yêu cầu phải nhận ra đủ và chính xác các thành phần cấu thành nên sự kiện.

Nhiều hệ thống về trích xuất sự kiện đã áp dụng thành công NER trong các thành phần xử lý như hệ thống BioCaster.  Hệ thống hỏi đáp tự động đang là một lĩnh vực nhận được sự quan tâm lớn trong thời điểm lượng thông tin và tri thức bùng nổ. Khá nhiều các hệ thống hỏi đáp tự động dựa trên khai phá văn bản cần đến nhận dạng thực thể như là một yếu tố làm tăng khả năng phân tích, hiểu câu hỏi và dữ liệu trả lời trong hệ thống [HWY05]. Có thể kể đến một số nghiên cứu sử dụng nhận dạng thực thể cho hệ thống hỏi đáp như nghiên cứu của Yao và Van Durme (2014) [YD14] sử dụng NER trong pha phân tích câu hỏi để xác định chủ đề hỏi hay hệ hỏi đáp của West và cộng sự (2014) [WGM14] áp dụng NER cho việc 21 phát hiện các mối quan hệ có trong log được trả về từ máy tìm kiếm hỗ trợ cho thành phần trả lời câu hỏi.