Luận Văn: Trích Rút Thực Thể trong Văn Bản Tiếng Việt và Ứng Dụng

Luận văn về trích rút thực thể trong văn bản tiếng Việt. Nghiên cứu các phương pháp và kỹ thuật trích xuất thông tin hiệu quả từ văn bản tiếng Việt.

• Tác giả: Đặng Thị Phương
• Người hướng dẫn: PGS. Lê Thanh Hương
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Trích Rút Thực Thể Trong Văn Bản Tiếng Việt
• Loại tài liệu: Luận văn
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC HÌNH VẼ
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Lý do chọn đề tài
• 1.2. Mục đích nghiên cứu
• 1.3. Nội dung nghiên cứu
• 1.4. Bố cục luận văn
• 1.5. Ý nghĩa của luận văn
• 2. CHƯƠNG 2: TỔNG QUAN VỀ TRÍCH RÚT THỰC THỂ
• 2.1. Tổng quan về trích rút thông tin
• 2.2. Bài toán trích rút thông tin
• 2.3. Các phương pháp trích rút thông tin
• 2.4. Thành phần hệ thống trích rút thông tin
• 2.5. Các ứng dụng liên quan
• 2.6. Phương pháp đánh giá
• 2.7. Trích rút thực thể trong văn bản tiếng Việt
• 2.8. Bài toán trích rút thực thể
• 2.9. Kiến trúc hệ thống trích rút thực thể
• 2.10. Hướng tiếp cận giải quyết bài toán NER
• 2.11. Một số ứng dụng thực
• 2.11.1. Ứng dụng trích rút thực thể vào bài toán hỏi đáp
• 2.12. Bài toán hồi đáp
• 2.13. Hướng tiếp cận cho bài toán hồi đáp
• 3. CHƯƠNG 3: BÀI TOÁN TRÍCH RÚT THÔNG TIN BẤT ĐỘNG SẢN
• 3.1. Bài toán trích rút thông tin bất động sản
• 3.1.1. Mô tả bài toán
• 3.1.2. Phương pháp giải quyết
• 3.2. Ứng dụng trích rút thông tin vào bài toán hỏi đáp thông tin bất động sản
• 3.2.1. Bài toán hỏi đáp thông tin BĐS
• 3.3. Phương pháp giải quyết
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Tập dữ liệu
• 4.2. Đánh giá kết quả hệ thống trích rút thông tin
• 4.3. Đánh giá kết quả hệ thống hỏi đáp
• 5. CHƯƠNG 5: TỔNG KẾT
• 5.1. Các kết quả đạt được
• 5.2. Hướng nghiên cứu tiếp theo
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Bài Toán Trích Rút Thực Thể Tiếng Việt

Bài toán trích rút thực thể tiếng Việt (NER) đang ngày càng trở nên quan trọng trong bối cảnh lượng dữ liệu văn bản tiếng Việt trực tuyến tăng trưởng mạnh mẽ. Trích rút thực thể là quá trình xác định và phân loại các thực thể có tên (named entities) trong văn bản, chẳng hạn như tên người, tổ chức, địa điểm, thời gian, số lượng, tiền tệ, v.v. NER tiếng Việt có nhiều ứng dụng thực tế, bao gồm: tóm tắt văn bản, trả lời câu hỏi, phân tích quan điểm, hệ thống gợi ý, và nhiều ứng dụng khác. Khác với tiếng Anh, tiếng Việt có nhiều đặc thù về ngôn ngữ như sự phức tạp trong cấu trúc từ, sự đa dạng của các biến thể tên riêng, và thiếu các quy tắc chính tả rõ ràng, điều này tạo ra những thách thức đáng kể cho việc xây dựng các hệ thống NER hiệu quả. Do đó, các phương pháp và kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) tiên tiến cần được điều chỉnh và phát triển để phù hợp với đặc điểm của văn bản tiếng Việt. Theo nghiên cứu, các phương pháp dựa trên học máy như mô hình Conditional Random Fields (CRF) và các mạng nơ-ron sâu (Deep Neural Networks) đang cho thấy nhiều hứa hẹn trong việc cải thiện độ chính xác của NER tiếng Việt. Ngoài ra, việc xây dựng và sử dụng các tập dữ liệu huấn luyện lớn và chất lượng cao là yếu tố then chốt để đào tạo các mô hình NER mạnh mẽ.

1.1. Khái niệm cơ bản về trích rút thông tin và trích rút thực thể

Trích rút thông tin (Information Extraction - IE) là quá trình tự động trích xuất thông tin có cấu trúc từ các nguồn phi cấu trúc hoặc bán cấu trúc như văn bản tự nhiên. Trích rút thực thể (Named Entity Recognition - NER) là một nhiệm vụ con quan trọng của IE, tập trung vào việc xác định và phân loại các thực thể có tên trong văn bản. Các thực thể có tên thường bao gồm tên người (named entity recognition tiếng Việt), tổ chức, địa điểm, thời gian, số lượng, tiền tệ, tỷ lệ phần trăm, v.v. Mục tiêu chính của NER là giúp máy tính hiểu được ý nghĩa của văn bản bằng cách nhận diện các thành phần quan trọng trong đó. NER đóng vai trò quan trọng trong nhiều ứng dụng NLP khác, chẳng hạn như phân tích cú pháp, phân tích ngữ nghĩa, dịch máy, và tóm tắt văn bản. Các phương pháp tiếp cận bài toán trích rút thực thể bao gồm các phương pháp dựa trên quy tắc, dựa trên thống kê, và dựa trên học sâu. Mỗi phương pháp đều có những ưu điểm và hạn chế riêng, và việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu của ứng dụng. Theo tài liệu, IE giúp chuyển thông tin trong văn bản bán hay không cấu trúc về dạng có cấu trúc để phục vụ nhu cầu tìm hiểu thông tin của người dùng.

1.2. Tầm quan trọng của NER tiếng Việt trong xử lý ngôn ngữ tự nhiên

NER tiếng Việt đóng vai trò then chốt trong việc xử lý ngôn ngữ tự nhiên (NLP) cho ngôn ngữ tiếng Việt. Việc xác định chính xác các thực thể có tên cho phép các ứng dụng NLP hiểu rõ hơn về ngữ cảnh và ý nghĩa của văn bản. Điều này đặc biệt quan trọng đối với các ứng dụng như: tìm kiếm thông tin, phân tích quan điểm, trả lời câu hỏi, và dịch máy. Ví dụ, trong một hệ thống tìm kiếm thông tin, việc nhận diện các thực thể như tên sản phẩm, địa điểm, và tổ chức giúp người dùng tìm kiếm thông tin một cách chính xác và hiệu quả hơn. Trong phân tích quan điểm, việc xác định các thực thể được đề cập trong một đoạn văn bản giúp phân tích thái độ của người viết đối với các thực thể đó. Ngoài ra, NER tiếng Việt cũng đóng vai trò quan trọng trong việc xây dựng các hệ thống đối thoại thông minh và chatbot tiếng Việt. Việc hiểu được ý định của người dùng thông qua việc nhận diện các thực thể trong câu hỏi giúp hệ thống trả lời câu hỏi một cách chính xác và phù hợp. Do đó, việc nghiên cứu và phát triển các phương pháp NER hiệu quả cho tiếng Việt là một lĩnh vực quan trọng trong NLP. Đã có nhiều kết quả của việc xử lý ngôn ngữ Tiếng Việt đạt được thành tựu với độ chính xác cao, cũng như các công cụ hỗ trợ quá trình trích rút.

II. Thách Thức Trong Phát Triển Hệ Thống Trích Rút Thực Thể

Việc phát triển một hệ thống trích rút thực thể hiệu quả cho văn bản tiếng Việt đối mặt với nhiều thách thức đặc thù. Tiếng Việt là một ngôn ngữ đơn lập, nghĩa là từ vựng không biến đổi theo ngữ pháp, và ranh giới từ thường không rõ ràng. Điều này gây khó khăn cho việc phân tích cú pháp và xác định các đơn vị từ vựng, một bước quan trọng trong quá trình NER. Ngoài ra, tiếng Việt có nhiều từ ghép và cụm từ có thể đóng vai trò là thực thể có tên, và việc xác định chúng đòi hỏi sự hiểu biết sâu sắc về ngữ nghĩa và ngữ cảnh. Sự thiếu hụt các tài nguyên ngôn ngữ như từ điển, ngữ pháp, và tập dữ liệu huấn luyện lớn cũng là một trở ngại lớn. Mặc dù đã có những nỗ lực trong việc xây dựng các tài nguyên này, nhưng chúng vẫn còn hạn chế so với các ngôn ngữ phổ biến như tiếng Anh. Hơn nữa, sự đa dạng trong cách viết tên riêng và các quy tắc chính tả không thống nhất cũng gây khó khăn cho việc nhận dạng thực thể. Ví dụ, một tên người có thể được viết theo nhiều cách khác nhau, và việc xử lý các lỗi chính tả và biến thể là rất quan trọng để đạt được độ chính xác cao. Cuối cùng, việc đánh giá hiệu năng của các hệ thống NER tiếng Việt cũng là một thách thức. Các bộ dữ liệu đánh giá cần phải được xây dựng một cách cẩn thận để đảm bảo tính khách quan và độ tin cậy của kết quả.

2.1. Đặc điểm ngôn ngữ tiếng Việt và ảnh hưởng đến bài toán NER

Đặc điểm ngôn ngữ tiếng Việt tạo ra nhiều thách thức cho bài toán NER. Sự phân tách từ không rõ ràng, do tiếng Việt là ngôn ngữ đơn lập, dẫn đến khó khăn trong việc xác định ranh giới từ, đặc biệt là đối với các cụm từ và tên riêng. Tính đa nghĩa của từ cũng là một vấn đề, vì một từ có thể có nhiều nghĩa khác nhau tùy thuộc vào ngữ cảnh. Sự thay đổi cách viết tên riêng, như viết tắt, sử dụng dấu thanh không chuẩn, hoặc sử dụng các biến thể tên, cũng làm phức tạp quá trình nhận dạng thực thể. Sự thiếu hụt các quy tắc chính tả rõ ràng và sự đa dạng trong cách sử dụng từ ngữ cũng làm cho việc xây dựng các mô hình NER chính xác trở nên khó khăn hơn. Để giải quyết những thách thức này, cần phải áp dụng các kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến, như phân tích cú pháp, phân tích ngữ nghĩa, và học máy, để hiểu rõ hơn về ngữ cảnh và ý nghĩa của văn bản tiếng Việt. Việc sử dụng các từ điển và ngữ pháp chuyên biệt cho tiếng Việt cũng có thể giúp cải thiện độ chính xác của NER.

2.2. Thiếu hụt tập dữ liệu huấn luyện và cơ sở dữ liệu cho NER tiếng Việt

Một trong những thách thức lớn nhất trong việc phát triển NER tiếng Việt là sự thiếu hụt tập dữ liệu huấn luyện và cơ sở dữ liệu có chất lượng cao. Các mô hình học máy, đặc biệt là các mô hình học sâu, đòi hỏi lượng lớn dữ liệu để đào tạo và đạt được hiệu năng tốt. Tuy nhiên, tập dữ liệu được gán nhãn sẵn cho NER tiếng Việt còn rất hạn chế so với các ngôn ngữ khác. Điều này gây khó khăn cho việc huấn luyện các mô hình NER mạnh mẽ và đáng tin cậy. Việc xây dựng tập dữ liệu huấn luyện chất lượng cao đòi hỏi sự nỗ lực lớn trong việc thu thập, gán nhãn, và kiểm tra tính nhất quán của dữ liệu. Ngoài ra, việc chia sẻ và tái sử dụng tập dữ liệu là rất quan trọng để thúc đẩy sự phát triển của NER tiếng Việt. Cần có các tiêu chuẩn và quy trình rõ ràng để đảm bảo tính tương thích và khả năng sử dụng của tập dữ liệu giữa các nhóm nghiên cứu. Việc sử dụng các kỹ thuật học chuyển giao (transfer learning) từ các ngôn ngữ khác cũng có thể giúp giảm bớt sự phụ thuộc vào tập dữ liệu huấn luyện nhỏ của tiếng Việt. Cần xây dựng hệ thống trích rút thông tin cơ bản.

III. Phương Pháp Tiếp Cận Trích Rút Thực Thể Tiếng Việt Hiệu Quả

Có nhiều phương pháp tiếp cận khác nhau để giải quyết bài toán trích rút thực thể tiếng Việt. Các phương pháp này có thể được chia thành ba loại chính: dựa trên quy tắc, dựa trên thống kê, và dựa trên học sâu. Các phương pháp dựa trên quy tắc sử dụng các quy tắc ngôn ngữ thủ công để xác định các thực thể. Các quy tắc này thường dựa trên các mẫu từ vựng, cú pháp, và ngữ nghĩa. Các phương pháp dựa trên thống kê sử dụng các mô hình thống kê để học cách nhận dạng các thực thể từ dữ liệu huấn luyện. Các mô hình này thường dựa trên các đặc trưng ngôn ngữ như từ, cụm từ, và ngữ cảnh xung quanh. Các phương pháp dựa trên học sâu sử dụng các mạng nơ-ron sâu để tự động học các đặc trưng và nhận dạng các thực thể. Các mô hình này có khả năng xử lý dữ liệu phi tuyến tính và học các biểu diễn phức tạp của ngôn ngữ. Việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của dữ liệu, yêu cầu của ứng dụng, và tài nguyên sẵn có. Trong thực tế, các phương pháp lai thường được sử dụng để kết hợp ưu điểm của các phương pháp khác nhau và đạt được hiệu năng tốt nhất.

3.1. Trích rút thực thể dựa trên quy tắc và từ điển cho tiếng Việt

Phương pháp trích rút thực thể dựa trên quy tắc và từ điển là một cách tiếp cận truyền thống nhưng vẫn hữu ích cho tiếng Việt. Phương pháp này sử dụng các quy tắc ngôn ngữ thủ công và từ điển để xác định các thực thể có tên. Các quy tắc thường dựa trên các mẫu từ vựng, cú pháp, và ngữ nghĩa. Ví dụ, một quy tắc có thể nói rằng bất kỳ chuỗi ký tự nào bắt đầu bằng chữ hoa và theo sau là một chuỗi các chữ hoa khác là một tên riêng. Các từ điển chứa danh sách các thực thể đã biết, chẳng hạn như tên người, tổ chức, địa điểm, v.v. Khi một từ hoặc cụm từ xuất hiện trong từ điển, nó sẽ được gán nhãn là một thực thể. Ưu điểm của phương pháp này là dễ thực hiện và giải thích, và có thể đạt được độ chính xác cao đối với các thực thể được xác định rõ ràng. Tuy nhiên, phương pháp này có những hạn chế, bao gồm khả năng xử lý hạn chế các biến thể tên, lỗi chính tả, và các thực thể mới không có trong từ điển. Đề xuất một số hướng tiếp cận xây dựng hệ thống IE.

3.2. Sử dụng mô hình học máy cho nhận dạng thực thể tên trong văn bản tiếng Việt

Các mô hình học máy đã chứng minh được hiệu quả cao trong việc nhận dạng thực thể tên trong văn bản tiếng Việt. Các mô hình này sử dụng các thuật toán thống kê để học cách nhận dạng các thực thể từ dữ liệu huấn luyện. Các mô hình phổ biến bao gồm: Hidden Markov Models (HMMs), Conditional Random Fields (CRFs), và Support Vector Machines (SVMs). Các mô hình này thường sử dụng các đặc trưng ngôn ngữ như từ, cụm từ, part-of-speech tags, và ngữ cảnh xung quanh để dự đoán nhãn của mỗi từ. Ưu điểm của các mô hình học máy là khả năng tự động học các quy tắc và đặc trưng từ dữ liệu, và có thể xử lý các biến thể tên, lỗi chính tả, và các thực thể mới. Tuy nhiên, các mô hình này đòi hỏi lượng lớn dữ liệu huấn luyện được gán nhãn sẵn để đạt được hiệu năng tốt, và có thể khó giải thích các quyết định của mô hình. Cần sử dụng NER Stanford.

IV. Ứng Dụng Thực Tế Của Trích Rút Thực Thể Trong Tiếng Việt

Trích rút thực thể trong tiếng Việt có nhiều ứng dụng thực tế trong nhiều lĩnh vực khác nhau. Trong lĩnh vực tìm kiếm thông tin, NER có thể được sử dụng để cải thiện độ chính xác và hiệu quả của việc tìm kiếm. Bằng cách nhận diện các thực thể trong truy vấn của người dùng, hệ thống tìm kiếm có thể tìm kiếm các tài liệu liên quan đến các thực thể đó. Trong lĩnh vực phân tích quan điểm, NER có thể được sử dụng để xác định các thực thể được đề cập trong một đoạn văn bản và phân tích thái độ của người viết đối với các thực thể đó. Trong lĩnh vực dịch máy, NER có thể được sử dụng để nhận diện các thực thể trong văn bản nguồn và dịch chúng một cách chính xác sang ngôn ngữ đích. Ngoài ra, NER còn có nhiều ứng dụng khác trong các lĩnh vực như: quản lý thông tin, phân tích kinh doanh, và an ninh quốc phòng.

4.1. Ứng dụng NER tiếng Việt trong hệ thống hỏi đáp và chatbot

NER tiếng Việt đóng vai trò quan trọng trong việc xây dựng các hệ thống hỏi đáp và chatbot thông minh. Trong một hệ thống hỏi đáp, NER có thể được sử dụng để nhận diện các thực thể trong câu hỏi của người dùng và tìm kiếm câu trả lời phù hợp trong cơ sở dữ liệu tri thức. Ví dụ, nếu người dùng hỏi "Ai là thủ tướng của Việt Nam?", NER có thể nhận diện "thủ tướng" là một chức danh và "Việt Nam" là một quốc gia, và tìm kiếm câu trả lời trong cơ sở dữ liệu tri thức. Trong một chatbot, NER có thể được sử dụng để hiểu ý định của người dùng và cung cấp các phản hồi phù hợp. Ví dụ, nếu người dùng nói "Tôi muốn đặt một chuyến bay đến Hà Nội", NER có thể nhận diện "đặt chuyến bay" là một hành động và "Hà Nội" là một địa điểm, và khởi động quy trình đặt vé máy bay. Hệ thống hỏi đáp thông tin BĐS. Cần mô hình hệ thống hỏi đáp BĐS.

4.2. Ứng dụng NER tiếng Việt trong phân tích dữ liệu bất động sản

NER tiếng Việt có thể được áp dụng để phân tích dữ liệu bất động sản từ các nguồn khác nhau, chẳng hạn như: tin tức, báo cáo, và trang web rao vặt. Bằng cách nhận diện các thực thể như: địa điểm, giá cả, diện tích, và loại hình bất động sản, có thể trích xuất thông tin quan trọng và cung cấp các phân tích hữu ích cho các nhà đầu tư, người mua, và người bán. Ví dụ, có thể phân tích xu hướng giá cả bất động sản theo địa điểm, xác định các khu vực có tiềm năng tăng trưởng, và so sánh giá cả giữa các loại hình bất động sản khác nhau. Ngoài ra, NER còn có thể được sử dụng để phát hiện các hành vi gian lận và lừa đảo trong thị trường bất động sản. Thông tin rao vặt bán cấu trúc, mô hình trích rút thông tin BĐS.

V. Đánh Giá và Kết Quả Nghiên Cứu Về Trích Rút Thực Thể Tiếng Việt

Việc đánh giá hiệu năng của các hệ thống NER tiếng Việt là rất quan trọng để so sánh các phương pháp khác nhau và xác định các lĩnh vực cần cải thiện. Các độ đo phổ biến để đánh giá NER bao gồm: độ chính xác (precision), độ phủ (recall), và F1-score. Độ chính xác đo lường tỷ lệ các thực thể được nhận dạng chính xác trên tổng số thực thể được nhận dạng. Độ phủ đo lường tỷ lệ các thực thể được nhận dạng chính xác trên tổng số thực thể thực tế trong văn bản. F1-score là trung bình điều hòa của độ chính xác và độ phủ. Các nghiên cứu gần đây về NER tiếng Việt đã cho thấy những tiến bộ đáng kể trong việc cải thiện độ chính xác và độ phủ. Các phương pháp dựa trên học sâu, đặc biệt là các mô hình Transformer, đang cho thấy nhiều hứa hẹn trong việc đạt được hiệu năng cao trên các tập dữ liệu thử nghiệm. Tuy nhiên, vẫn còn nhiều thách thức cần giải quyết, chẳng hạn như việc xử lý các biến thể tên, lỗi chính tả, và các thực thể mới.

5.1. Các bộ dữ liệu đánh giá và tiêu chuẩn đánh giá hiệu năng NER tiếng Việt

Để đánh giá hiệu năng của các hệ thống NER tiếng Việt một cách khách quan và so sánh được, cần có các bộ dữ liệu đánh giá và tiêu chuẩn đánh giá thống nhất. Các bộ dữ liệu đánh giá thường bao gồm một tập hợp các văn bản được gán nhãn sẵn với các thực thể có tên. Các tiêu chuẩn đánh giá xác định cách tính toán các độ đo như độ chính xác, độ phủ, và F1-score. Một số bộ dữ liệu đánh giá phổ biến cho NER tiếng Việt bao gồm: VLSP (Vietnamese Language and Speech Processing) NER Corpus và UIT-NER Corpus. Các bộ dữ liệu này có kích thước và phạm vi khác nhau, và được sử dụng để đánh giá các hệ thống NER trong các nghiên cứu khác nhau. Việc xây dựng các bộ dữ liệu đánh giá chất lượng cao và áp dụng các tiêu chuẩn đánh giá thống nhất là rất quan trọng để thúc đẩy sự phát triển của NER tiếng Việt. Bảng đo độ chính xác.

5.2. Kết quả nghiên cứu gần đây và so sánh các phương pháp NER tiếng Việt

Các nghiên cứu gần đây về NER tiếng Việt đã tập trung vào việc áp dụng các mô hình học sâu, đặc biệt là các mô hình Transformer, để cải thiện độ chính xác và độ phủ. Các mô hình này đã cho thấy kết quả đầy hứa hẹn trên các tập dữ liệu thử nghiệm, vượt trội hơn so với các phương pháp truyền thống dựa trên quy tắc và thống kê. Một số nghiên cứu đã tập trung vào việc xử lý các biến thể tên và lỗi chính tả, sử dụng các kỹ thuật như: approximate string matching và phonetic encoding. Các nghiên cứu khác đã tập trung vào việc xây dựng các tập dữ liệu huấn luyện lớn hơn và đa dạng hơn, sử dụng các kỹ thuật như: data augmentation và active learning. Tuy nhiên, vẫn còn nhiều thách thức cần giải quyết, chẳng hạn như việc xử lý các thực thể mới không có trong dữ liệu huấn luyện và việc thích ứng các mô hình NER cho các lĩnh vực cụ thể. Độ chính xác các modde IE, độ chính xác hệ thống NER trong các ngôn ngữ.

VI. Tiềm Năng Phát Triển Và Hướng Nghiên Cứu Tiếp Theo Về NER Tiếng Việt

Lĩnh vực trích rút thực thể tiếng Việt (NER) còn rất nhiều tiềm năng phát triển trong tương lai. Với sự gia tăng không ngừng của dữ liệu văn bản tiếng Việt trên mạng, nhu cầu về các hệ thống NER hiệu quả ngày càng trở nên cấp thiết. Các hướng nghiên cứu tiềm năng bao gồm: Phát triển các mô hình NER mạnh mẽ hơn, có khả năng xử lý các biến thể tên và lỗi chính tả một cách hiệu quả. Xây dựng các tập dữ liệu huấn luyện lớn hơn và đa dạng hơn, bao phủ nhiều lĩnh vực và phong cách viết khác nhau. Nghiên cứu các phương pháp học chuyển giao để tận dụng các tài nguyên ngôn ngữ từ các ngôn ngữ khác. Phát triển các ứng dụng NER cụ thể cho các lĩnh vực khác nhau, chẳng hạn như y tế, tài chính, và pháp luật. Cuối cùng, việc kết hợp NER với các kỹ thuật xử lý ngôn ngữ tự nhiên khác, chẳng hạn như phân tích cú pháp và ngữ nghĩa, có thể tạo ra các hệ thống thông minh hơn và có khả năng hiểu văn bản một cách sâu sắc hơn.

6.1. Ứng dụng của mô hình trích rút thực thể vào bài toán hỏi đáp

Mô hình trích rút thực thể có thể ứng dụng vào bài toán hỏi đáp. Cần hướng tiếp cận cho bài toán hồi đáp.

6.2. Hướng nghiên cứu trích rút thực thể tiếp theo

Nghiên cứu tiếp theo có thể đi theo hướng xây dựng hệ thống hỏi đáp thân thiện với người dùng đáp ứng nhu cầu tìm kiếm thông tin bất động sản.

Trích đoạn nội dung tài liệu

Trích rủi thực thể trong văn bản tiếng Việt MỤC LỤC MUC LUC 1 LỒI CAM DOÀN.cceccoeioe LỠI CẢMƠN,. ccioeiriee TH HH go eeenireoreoo TDANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT ~ - 6 DANH MỤC CÁC BẰNG. DANH MỤC HÌNH VỀ CHUGNG1: TONG QUAN.1 Lý do chon đề tài - - - 9 1.2 Mục đích nghiền cứu.3 Nội đưng nghiên cứu 10 1.4 Bề cục luận vẫm.5 Ý nghĩ của luận văn. 12 CHUONGI TONG QUAN VE TRICH RÚT THỰC THẺ.1 Tẳng quan về trích rút thông tín.1 Bài toàn trích rút thông HHn.12 Khải niệm trích rút thông tin .3 Các phương pháp trích rút thông tin - - 15 2.4 Thành phân hệ thông trích rút thông tin.ocnieorerorree 18 h Trích rủi thực thể trong văn bản tiếng Việt 2.5 Các ừng đụng liên quan.6 Phương pháp đánh giá.2 Trích rút thực thể trong văn bản tiếng Việt - - 29 2.1 Bai toàn trích nitt thare thé .2 Kiến trúc hệ thông trích rút thực thẻ.3 Hướng tiếp cận giải quyết bài toán NER.4 Một số ứng dụng thực 2.3 Ứng dụng trích rút thực thể vào bài toán hỏi đáp - 36 2.1 Bài toán hồi đáp.2 Hướng tiếp cận cho bài toán hồi đáp.

cà nrieireerree 38 CHƯƠNGTT BÀI TOÁN TRÍCH RÚT THONG TIN BAT BONG SAN 39 3.1 Bài toán trích rút thông tin bất động sản.1 Mô tả bài toán.2 Phương pháp giải quyết.2 Ứng dựng trích rút thông tin vào bài toán hỏi đáp thông tin bất động sẵn .1 Bài toán hỏi dap thang tm BBS 49 3.2 Phuong pháp giải quyết - - 50 4. THỰC NGIUIỆM VÀ DÀNH GIÁ .1 Tập dữ liệu - - - - 35 Trích rủi thực thể trong văn bản tiếng Việt 4.3 Đảnh giá kết quá hệ thông trích rút thông tin.3 Đánh giá kết quả hệ thông hỏi đáp tới4 4. CHƯƠNG V TỐNG KT 60 5.1 Các kết quá đạt được.2 Hướng nghiên củư tiếp theo 60 TÀI LIỆU THAM KHẢO. Trích rủi thực thể trong văn bản tiếng Việt DANH MỤC CÁC BẢNG Tằng 1.

Bằng gợi ý hướng tiếp cận xây dựng hé thong IE 18 Bảng 2. Dộ chính xác các moddde IlẺ. Độ chính xác hệ thông NER trong các ngôn ngữ 31 Bang 4: Môi trưởng cải dat Bảng 5. Danh sách công cụ phân mềm „ - 56 Bang 6.

Bảng do độ chỉnh xác. Trích rủi thực thể trong văn bản tiếng Việt LỜI CẢM GON Để hoàn thành luận văn nảy, tác giả đã nhận được sự hướng dẫn lận tình cũng, như những yêu cầu nghiêm khắc của PGS. Lẻ Thanh Hương, người đã truyền dạt rất nhiều kiển thức cũng như kinh nghiệm trong quá trình nghiên cứu hoàn thành luận văn này. Tác giâ xin gửi lời cảm ơn chân thành tới cô.

Xin gửi lời cảm ơn chân thành tới tắt cả các thầy cô Viện Công nghệ Thông tin, Tan lãnh đạo Viện Công nghệ Thông tin, Viện đảo tạo Sau đại học và Bộ môn Hệ thông Thông tin thuộc trưởng Đại học Bách Khoa Hà Nội đã giảng dạy và tạo diễu kiện thuận lợi trong quả trình nghiên cửu và hoàn thánh luận văn. Với năng lực hạn chế của bản thân cũng như những nguyên nhân chủ quan và khách quan, luận văn không tránh khói những thiểu sót. Tác giá rất mong được sự góp ý của quy thay cô, các bạn bẻ và đồng nghiệp để luận văn được hoàn thiện hơn. Tác giả Đăng Thị Phương Trích rủi thực thể trong văn bản tiếng Việt 1.2 Mục đích nghiên cứu Thông qua để tài “Trích rất thực thể trong vấn bản liếng Việt, tác giả mong uốn dạt được một số mục dịch như sau: - Tim hiéu téng quan vẻ trích rút thông tín nói chung và cụ thể là trích rút thực thể trong tiếng Việt - Xv dựng hệ thông trích rút thông tin cơ bản về bat động sản từ bản tin trên các trang web khác nhau.

Hệ thống này với mục đích có thể trích rút nhanh chóng các thông tin bất động sẵn trên thị trường phục vụ nhu cảu tìm kiểm thông tin của người dùng. -_ Dựa trên các kết quả được tích rút, xây dựng hệ thống hỏi đáp thân thiện với người dùng đáp ứng nhụ cầu tim kiểm thông tin bất động sẵn.3 Nội dung nghiên cứu Luận văn nay sẽ tập trung vảo việc trích rút thực thẻ từ van ban bán và phi cầu trúc thuộc lĩnh vực bất động sản trên môi trường Web. Cáo tập đữ liệu thử nghiệm được Thu thập lừ các Irang web giao bản bất đông sẵn phổ biến hiện nay Để thực hiện trích rút thông tin, luận văn sẽ sử dụng kết hợp các phương pháp trích rút dựa trên luật, từ điển va trích rút dựa trên học máy. Tùy từng đối lượng trích rút cụ thể sẽ có phương pháp riêng cho phủ hợp để thu được kết quá tốt nhất.

Đã có rất nhiéu kết quả của việc xử lý ngôn ngữ Tiếng Việt đạt được thành tựu với độ chính xác cao, cũng như các công cụ hỗ trợ quả trình trích rút, nên hệ thống này dược xây đựng dựa trên một số các kết quả và công cụ đó. 10 Trích rủi thực thể trong văn bản tiếng Việt 1.2 Mục đích nghiên cứu Thông qua để tài “Trích rất thực thể trong vấn bản liếng Việt, tác giả mong uốn dạt được một số mục dịch như sau: - Tim hiéu téng quan vẻ trích rút thông tín nói chung và cụ thể là trích rút thực thể trong tiếng Việt - Xv dựng hệ thông trích rút thông tin cơ bản về bat động sản từ bản tin trên các trang web khác nhau. Hệ thống này với mục đích có thể trích rút nhanh chóng các thông tin bất động sẵn trên thị trường phục vụ nhu cảu tìm kiểm thông tin của người dùng. -_ Dựa trên các kết quả được tích rút, xây dựng hệ thống hỏi đáp thân thiện với người dùng đáp ứng nhụ cầu tim kiểm thông tin bất động sẵn.3 Nội dung nghiên cứu Luận văn nay sẽ tập trung vảo việc trích rút thực thẻ từ van ban bán và phi cầu trúc thuộc lĩnh vực bất động sản trên môi trường Web.

Cáo tập đữ liệu thử nghiệm được Thu thập lừ các Irang web giao bản bất đông sẵn phổ biến hiện nay Để thực hiện trích rút thông tin, luận văn sẽ sử dụng kết hợp các phương pháp trích rút dựa trên luật, từ điển va trích rút dựa trên học máy. Tùy từng đối lượng trích rút cụ thể sẽ có phương pháp riêng cho phủ hợp để thu được kết quá tốt nhất. Đã có rất nhiéu kết quả của việc xử lý ngôn ngữ Tiếng Việt đạt được thành tựu với độ chính xác cao, cũng như các công cụ hỗ trợ quả trình trích rút, nên hệ thống này dược xây đựng dựa trên một số các kết quả và công cụ đó. 10 Trích rủi thực thể trong văn bản tiếng Việt DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TÁT BĐS Đất động sản co Co-eference CRF Conditional Random Field GATE General Architecture for Text Engineering TE Tafornalion Extraction MUG Message Understanding Conference NE Named Entity NER Named Entity Recogmtion NLP Natural Language Processing QA Question Answering sr Scenario ‘TemPlates SVM Suppart Vector Machines TE Template Elements TR Template Relations Trích rủi thực thể trong văn bản tiếng Việt LOI CAM DOAN Tôi xin cam đoan Luận Văn la cdng trinh nghién eta oda bam than ti didi sự hưởng din cua PGS.

Lê Thanh Hương, Các kết quả nêu trong Luận Văn là trung thực, không phải là sao chép toàn văn của bắt kỹ công trình nào khác. Tôi xin chịu hoàn toàn trách nhiệm về nội đung quyền luận văn này: “Tác giả Dặng Thị Phương Trích rủi thực thể trong văn bản tiếng Việt DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TÁT BĐS Đất động sản co Co-eference CRF Conditional Random Field GATE General Architecture for Text Engineering TE Tafornalion Extraction MUG Message Understanding Conference NE Named Entity NER Named Entity Recogmtion NLP Natural Language Processing QA Question Answering sr Scenario ‘TemPlates SVM Suppart Vector Machines TE Template Elements TR Template Relations Trích rủi thực thể trong văn bản tiếng Việt DANH MỤC HÌNH VẼ Tình 1 Mô hình xây dựng TE theo hướng tiếp cận dựa trên trì thức 16 1Hình 2. Mô hình xây dụng Lý theo học mảy. co seeeeiiereeseoee TL THình 3.

Các thao tác chính của hệthắng trích Túi. Ví dụ trích rút thông tin theo quy trình Hình 5. Ứng dựng IE trong tìm kiếm thông tin. Ứng dụng IE trong hệ thông hồi dáp.

Hệ thống tìm kiểm bài báo khoa học Citesoer. Kiến trúc hè thống NER Tình 9. Ví dụ hệ thống hoi dap- - - 37 Hình 10. Vị dụ thông tin rao vặt bản cầu trủe.

Mô hình trích rút thông tỉa BĐS - 42 Hình 12. Mé hinh trich rat LOC str dung NER Stanford Hinh 13. Hé thing hdi dap théng tin BĐS - 50 Tình 14. Mô hình hệ thông hỏi đáp BĐS.

Sơ đỗ khối trích rút thông tỉn từ câu hỏi. Mô hình bộ Irich rút kết quả. - 34 Trích rủi thực thể trong văn bản tiếng Việt LỜI CẢM GON Để hoàn thành luận văn nảy, tác giả đã nhận được sự hướng dẫn lận tình cũng, như những yêu cầu nghiêm khắc của PGS. Lẻ Thanh Hương, người đã truyền dạt rất nhiều kiển thức cũng như kinh nghiệm trong quá trình nghiên cứu hoàn thành luận văn này.

Tác giâ xin gửi lời cảm ơn chân thành tới cô. Xin gửi lời cảm ơn chân thành tới tắt cả các thầy cô Viện Công nghệ Thông tin, Tan lãnh đạo Viện Công nghệ Thông tin, Viện đảo tạo Sau đại học và Bộ môn Hệ thông Thông tin thuộc trưởng Đại học Bách Khoa Hà Nội đã giảng dạy và tạo diễu kiện thuận lợi trong quả trình nghiên cửu và hoàn thánh luận văn. Với năng lực hạn chế của bản thân cũng như những nguyên nhân chủ quan và khách quan, luận văn không tránh khói những thiểu sót. Tác giá rất mong được sự góp ý của quy thay cô, các bạn bẻ và đồng nghiệp để luận văn được hoàn thiện hơn.

Tác giả Đăng Thị Phương Trích rủi thực thể trong văn bản tiếng Việt DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TÁT BĐS Đất động sản co Co-eference CRF Conditional Random Field GATE General Architecture for Text Engineering TE Tafornalion Extraction MUG Message Understanding Conference NE Named Entity NER Named Entity Recogmtion NLP Natural Language Processing QA Question Answering sr Scenario ‘TemPlates SVM Suppart Vector Machines TE Template Elements TR Template Relations Trích rủi thực thể trong văn bản tiếng Việt CHUONG I: LONG QUAN 1.1 Lý du chụn đề tài ay nay, với sự phát triển nhanh chóng của hệ thống công nghệ thông tin nói chung vả của internet nói riêng đã sinh ra một khối lượng không lễ dữ liệu dưới dạng siêu văn bản Việc khai thác oác thông tin từ nguần đữ liệu đỏ vừa là cơ hội nhưng, cũng đây thách thức.