Nghiên Cứu Nhận Dạng Thực Thể Có Tên Và Thực Thể Biểu Hiện Trong Văn Bản

• Tác giả: Trần Mai Vũ
• Người hướng dẫn: PGS. Hà Quang Thụy
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên Cứu Nhận Dạng Thực Thể Có Tên Và Thực Thể Biểu Hiện Trong Văn Bản Và Ứng Dụng
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: KHÁI QUÁT VỀ NHẬN DẠNG THỰC THỂ
• 1.1. Một số khái niệm cơ bản
• 1.2. Định nghĩa bài toán nhận dạng thực thể
• 1.3. Thách thức
• 1.4. Ứng dụng của nhận dạng thực thể
• 1.5. Sơ lược về lịch sử nghiên cứu và một số hướng giải quyết bài toán
• 1.6. Nhận dạng thực thể trong dữ liệu văn bản tiếng Việt và một số nghiên cứu liên quan
• 1.7. Những thách thức đối với xử lý dữ liệu tiếng Việt
• 1.8. Động cơ nghiên cứu
• 1.9. Các nghiên cứu liên quan
• 1.10. Nhận dạng thực thể trong dữ liệu văn bản y sinh tiếng Anh và một số nghiên cứu liên quan
• 1.11. Những thách thức đối với xử lý dữ liệu y sinh
• 1.12. Động cơ nghiên cứu
• 1.13. Các nghiên cứu liên quan
• 1.14. Tổng kết chương
• 2. CHƯƠNG 2: NHẬN DẠNG THỰC THỂ TÊN NGƯỜI KẾT HỢP VỚI NHẬN DẠNG THUỘC TÍNH THỰC THỂ CÓ TÊN TRONG VĂN BẢN TIẾNG VIỆT
• 2.1. Các nghiên cứu liên quan
• 2.2. Các nghiên cứu liên quan trên thế giới
• 2.3. Các nghiên cứu liên quan ở Việt Nam
• 2.4. Một mô hình giải quyết bài toán nhận dạng thực thể tên người kết hợp với nhận dạng thuộc tính thực thể
• 2.5. Mô hình Entropy cực đại giải mã bằng tìm kiếm chùm (MEM+BS)
• 2.6. Phương pháp trường ngẫu nhiên có điều kiện (CRF)
• 2.7. Mô hình đề xuất
• 2.8. Tập đặc trưng
• 2.9. Thực nghiệm, kết quả và đánh giá
• 2.9.1. Công cụ và dữ liệu đánh giá
• 2.9.2. Kết quả thực nghiệm đánh giá trên toàn hệ thống
• 2.9.3. Kết quả thực nghiệm đánh giá trên từng nhãn
• 2.10. Mô hình áp dụng vào hệ thống hỏi đáp tên người tiếng Việt
• 2.10.1. Khái quát bài toán
• 2.10.2. Đặc trưng câu hỏi liên quan đến thực thể tên người trong tiếng Việt
• 2.10.3. Mô hình đề xuất
• 2.10.4. Phương pháp và dữ liệu đánh giá mô hình hỏi đáp tự động
• 2.10.5. Thực nghiệm và đánh giá
• 2.11. Tổng kết chương
• 3. CHƯƠNG 3: NHẬN DẠNG THỰC THỂ BIỂU HIỆN TRONG VĂN BẢN Y SINH TIẾNG ANH
• 3.1. Động cơ và khái quát bài toán nhận dạng thực thể biểu hiện
• 3.2. Một số khái niệm cơ bản liên quan đến thực thể biểu hiện và một số thực thể liên quan
• 3.3. Vấn đề về thích nghi miền trong nhận dạng thực thể y sinh
• 3.4. Mô hình nhận dạng thực thể biểu hiện và một số thực thể liên quan
• 3.5. Dữ liệu đánh giá và tài nguyên hỗ trợ
• 3.6. Mô hình đề xuất
• 3.7. Tập đặc trưng và đánh giá đặc trưng
• 3.8. Phương pháp đánh giá
• 3.9. Thực nghiệm
• 3.9.1. Thực nghiệm 1: đánh giá hiệu quả của mô hình đề xuất với các kỹ thuật học máy khác nhau
• 3.9.2. Thực nghiệm 2: so sánh kết quả của mô hình đề xuất với một số nghiên cứu liên quan
• 3.9.3. Thực nghiệm 3: đánh giá đóng góp của từng tài nguyên đối với kết quả nhận diện thực thể
• 3.9.4. Thực nghiệm 4: ứng dụng mô hình đề xuất để nhận dạng thực thể y sinh trong cuộc thi BioCreAtIvE V CDR Task
• 3.10. Thích nghi miền dữ liệu trong nhận dạng thực thể y sinh
• 3.11. Kết quả và đánh giá
• 3.12. Tổng kết chương
• 4. CHƯƠNG 4: MỘT MÔ HÌNH NÂNG CẤP HIỆU QUẢ NHẬN DẠNG THỰC THỂ Y SINH DỰA TRÊN KỸ THUẬT LAI GHÉP VÀ HỌC XẾP HẠNG
• 4.1. Mô hình nâng cấp nhận dạng thực thể biểu hiện và các thực thể liên quan
• 4.2. Các phương pháp lai ghép được đề xuất
• 4.2.1. Phương pháp lai ghép sử dụng luật
• 4.2.2. Phương pháp lai ghép sử dụng học máy gán nhãn chuỗi
• 4.2.3. Phương pháp lai ghép sử dụng học xếp hạng
• 4.3. Thực nghiệm và đánh giá kết quả
• 4.3.1. Phương pháp đánh giá
• 4.3.2. Thực nghiệm đánh giá hiệu quả của từng phương pháp lai ghép
• 4.3.3. Thực nghiệm kiểm thử tin cậy trong quá trình đánh giá hiệu quả của các tài nguyên
• 4.3.4. Thảo luận và phân tích lỗi
• 4.4. Kết luận chương
• KẾT LUẬN
• DANH MỤC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ CÓ LIÊN QUAN ĐẾN LUẬN ÁN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Nhận Dạng Thực Thể Trong Văn Bản

Nghiên cứu nhận dạng thực thể (NER) là một lĩnh vực quan trọng trong công nghệ thông tin, đặc biệt trong xử lý ngôn ngữ tự nhiên. NER giúp xác định và phân loại các thực thể trong văn bản như tên người, địa điểm, tổ chức, và nhiều loại thực thể khác. Việc áp dụng công nghệ này không chỉ giúp cải thiện khả năng tìm kiếm thông tin mà còn hỗ trợ trong việc phân tích dữ liệu lớn.

1.1. Khái Niệm Cơ Bản Về Nhận Dạng Thực Thể

Nhận dạng thực thể là quá trình xác định và phân loại các thực thể trong văn bản. Các thực thể này có thể là tên người, địa điểm, tổ chức, hoặc các khái niệm khác. Việc hiểu rõ khái niệm này là rất quan trọng để phát triển các ứng dụng hiệu quả.

1.2. Lịch Sử Phát Triển Của NER

Lịch sử phát triển của NER bắt đầu từ những năm 1990 với các nghiên cứu đầu tiên về xử lý ngôn ngữ tự nhiên. Qua thời gian, nhiều phương pháp và kỹ thuật đã được phát triển, từ các quy tắc đơn giản đến các mô hình học sâu phức tạp.

II. Thách Thức Trong Nghiên Cứu Nhận Dạng Thực Thể

Mặc dù NER đã đạt được nhiều thành tựu, nhưng vẫn còn nhiều thách thức cần giải quyết. Các vấn đề như độ chính xác trong việc nhận diện thực thể, sự đa dạng ngôn ngữ và ngữ cảnh, cũng như việc thiếu hụt dữ liệu gán nhãn chất lượng cao là những khó khăn lớn.

2.1. Độ Chính Xác Trong Nhận Dạng Thực Thể

Độ chính xác là một trong những yếu tố quan trọng nhất trong NER. Các mô hình cần phải được tối ưu hóa để giảm thiểu sai sót trong việc nhận diện và phân loại thực thể.

2.2. Sự Đa Dạng Ngôn Ngữ Và Ngữ Cảnh

Mỗi ngôn ngữ có cấu trúc và quy tắc riêng, điều này tạo ra thách thức lớn cho việc áp dụng các mô hình NER. Sự khác biệt trong ngữ cảnh cũng có thể ảnh hưởng đến khả năng nhận diện thực thể.

III. Phương Pháp Nghiên Cứu Nhận Dạng Thực Thể Hiện Nay

Hiện nay, có nhiều phương pháp được sử dụng để nghiên cứu và phát triển NER. Các phương pháp này bao gồm học máy, học sâu, và các kỹ thuật dựa trên quy tắc. Mỗi phương pháp có ưu điểm và nhược điểm riêng.

3.1. Phương Pháp Học Máy

Phương pháp học máy sử dụng các thuật toán để học từ dữ liệu gán nhãn. Các mô hình như SVM và CRF đã được áp dụng rộng rãi trong NER.

3.2. Phương Pháp Học Sâu

Học sâu đã mở ra nhiều cơ hội mới cho NER với các mô hình như LSTM và BERT. Những mô hình này cho phép xử lý ngữ nghĩa và ngữ cảnh tốt hơn.

IV. Ứng Dụng Thực Tiễn Của Nhận Dạng Thực Thể

NER có nhiều ứng dụng thực tiễn trong các lĩnh vực như y tế, tài chính, và truyền thông. Việc nhận diện và phân loại thực thể giúp cải thiện khả năng tìm kiếm và phân tích dữ liệu.

4.1. Ứng Dụng Trong Y Tế

Trong y tế, NER giúp nhận diện các thực thể như bệnh, thuốc, và triệu chứng từ các tài liệu y khoa, hỗ trợ trong việc phân tích và nghiên cứu.

4.2. Ứng Dụng Trong Tài Chính

Trong lĩnh vực tài chính, NER được sử dụng để phân tích các báo cáo tài chính, nhận diện các thực thể như công ty, sản phẩm, và thị trường.

V. Kết Luận Và Tương Lai Của Nghiên Cứu NER

Nghiên cứu nhận dạng thực thể đang trên đà phát triển mạnh mẽ. Tương lai của NER hứa hẹn sẽ có nhiều cải tiến với sự phát triển của công nghệ học sâu và dữ liệu lớn. Việc giải quyết các thách thức hiện tại sẽ mở ra nhiều cơ hội mới.

5.1. Xu Hướng Nghiên Cứu Tương Lai

Các xu hướng nghiên cứu trong tương lai sẽ tập trung vào việc cải thiện độ chính xác và khả năng thích ứng của các mô hình NER với nhiều ngôn ngữ và ngữ cảnh khác nhau.

5.2. Tầm Quan Trọng Của Dữ Liệu Gán Nhãn

Dữ liệu gán nhãn chất lượng cao sẽ là yếu tố quyết định cho sự thành công của các mô hình NER trong tương lai. Việc phát triển các bộ dữ liệu phong phú và đa dạng là rất cần thiết.