Chương 1. Giới thiệu khái quát về nội dung đề tài và phƣơng pháp thực hiện. Trình bày tổng quan về bài toán trích rút thông tin trong khoảng 30 năm vừa qua. Trình bày các nghiên cứu về một số hệ thống trên thế giới, từ đó phân tích đƣa ra phƣơng pháp xây dựng hệ thống phù hợp.
Trình bày về việc xây dựng các thành phần của hệ thống và đánh giá kết quả thu đƣợc. Tổng kết lại nội dung luận văn đã thực hiện và đề ra hƣớng phát triển tiếp theo. NỘI DUNG CHƢƠNG 1. TỔNG QUAN VỀ BÀI TOÁN TRÍCH RÚT THÔNG TIN Chương này trình bày về: Giới thiệu chung về bài toán trích rút thông tin: các khó khăn, các ứng dụng, và phân loại bài toán trích rút thông tin Trình bày hai bài toán cơ bản trong trích rút thông tin là bài toán nhận dạng thực thể và bài toán phát hiện quan hệ giữa các thực thể Trong hai bài toán cụ thể, trình bày các phƣơng pháp, mô hình đƣợc sử dụng 1.
Giới thiệu chung Trích rút thông tin đề cập tới việc trích rút tự động các thông tin có cấu trúc nhƣ các thực thể, mối quan hệ giữa các thực thể và các thuộc tính mô tả các thực thể từ nguồn không có cấu trúc. Cũng cần phải nhấn mạng rằng, trích rút thông tin không phải là việc hiểu một tài liệu. Nó đƣợc sử dụng để phân tích văn bản và xác định các phần đặc biệt trong văn bản. Miền ứng dụng cho các hệ thống trích rút thông tin là đa dạng và phong phú.
Để giải quyết các đòi hỏi đó, các kỹ thuật trích rút cấu trúc đã phát triển mạnh mẽ. Các hệ thống ban đầu sử dụng các luật tạo ra thủ công. Khi luật thủ công trở nên thiếu hấp dẫn, các giải thuật cho các luật học tự động từ các ứng dụng đƣợc phát triển. Khi các hệ thống trích rút đƣợc tập trung vào các nguồn không cấu trúc nhiễu, các luật đƣợc tạo ra là thiếu hiệu quả.
Khi đó dẫn tới sự ra đời của việc học thống kê nơi mà hai loại kỹ thuật đƣợc đề cập: mô hình sinh sản dựa trên mô hình Markov ẩn (HMM) và các mô hình điều kiện dựa trên entropy lớn nhất. Khi phạm vi của các hệ thống trích rút đƣợc mở rộng để yêu cầu một phân tích toàn diện hơn về một cấu trúc của tài liệu, các kĩ thuật từ việc xây dựng ngữ pháp 5 đã đƣợc phát triển. Tuy nhiên, không có kĩ thuật nào thể hiện sự vƣợt trội rõ ràng. Các phƣơng pháp dựa trên luật và các phƣơng pháp thống kê tiếp tục đƣợc sử dụng song song phụ thuộc vào mục đích trích rút.
Cũng có nhƣng mô hình lai tồn tại để kết hợp những ƣu điểm của các phƣơng pháp trên. Các ứng dụng Trích rút thông tin rất hữu ích trong đa dạng các ứng dụng. Ở đây, chúng ta sẽ liệt kê các ứng dụng kinh doanh, khoa học hay hƣớng web. Các ứng dụng kinh doanh Tìm kiếm tin tức (News Tracking): là một ứng dụng cổ điển của trích rút thông tin mà đã đƣợc nghiên cứu sớm trong cộng đồng NLP.
Đó là việc tự động đi tìm các loại sự kiện đặc biệt từ các nguồn tin tức. Phổ biến là dựa trên việc trích rút các thực thể có cấu trúc giống nhƣ tên ngƣời và tên công ty, cùng mối quan hệ nhƣ“is -CEO- of” giữa chúng. Những yêu cầu khác nhƣ đi tìm các sự kiện về thảm họa, khủng bố từ các tin tức. Chăm sóc khách hàng: bất kì một doanh nghiệp hƣớng ngƣời dùng đều tập hợp rất nhiều các dạng của thông tin không cấu trú c trong tƣơng tác với khách hàng.
Điều này nảy sinh rất nhiều vấn đề trích rút thú vị giống nhƣ xác định các tên và thuộc tính sản phẩm từ emails khách hàng, liên kết giữa các email khách hàng tới một giao dịch cụ thể trong cơ sở dữ liệu bán hàng, việc trích rút các tên ngƣời và địa chỉ ngƣời bán từ hóa đơn bán, trích rút thái độ khách hàng từ kịch bản trao đổi điện thoại và trích rút các cặp giá trị thuộc tính sản phẩm từ các mô tả sản phẩm. Các ứng dụng khoa học Sự gia tăng gần đây của lĩnh vực tin sinh học đã mở rộng phạm vi của các trích rút từ trích rút tên thực thể tới các việc trích rút đối tƣợng sinh học giống nhƣ protein và gen. Một vấn đề trọng tâm là trích rút từ nguồn bài báo nhƣ Pubmed, các tên 6 protein và tƣơng tác của chúng. Vì các dạng thực thể giống nhƣ tên gen, và protein là rất khác biệt với các thực thể truyền thống giống nhƣ ngƣời và công ty, các kỹ thuật đã đƣợc mở rộng để đáp ứng yêu cầu này.
Các ứng dụng hướng web Cơ sở dữ liệu trích dẫn: rất nhiều cơ sở dữ liệu trích dẫn trên web đã đƣợc tạo ra thông qua các bƣớc trích rút cấu trúc phức tạp từ các nguồn nhƣ các website hội thảo cho đến các trang cá nhân. Phổ biến trong chúng là Citeseer, Google Scholar. Việc tạo các cơ sở dữ liệu nhƣ vậy đòi hỏi việc trích rút cấu trúc ở rất nhiều mức khác nhau từ tìm ra các website chứa các trang có bài báo công bố, trích rút các bài báo từ một trang HTML, trích rút tiêu đề, tác giả và các tham khảo từ các file PDF và tách chuỗi trích dẫn thành từng tác giả, tiêu đề riêng và năm xuất bản. Cơ sở dữ liệu thu đƣợc có ý nghĩa to lớn trong việc tham chiếu thống kê và tham chiếu.
Các website cộng đồng: một ví dụ khác về việc tạo ra các cơ sở dữ liệu cấu trúc từ các tài liệu web là các website cộng đồng giống nhƣ DBLife5 tìm ra các thông tin về các nhà nghiên cứu, các hội thảo, các buổi nói chuyện, các dự án và sự kiện liên quan tới một cộng đồng xác định. Việc trích rút nhƣ vậy đòi hỏi rất nhiều bƣớc trích rút: xác định các thông báo nói chuyện từ các trang bộ môn, trích rút tên của ngƣời nói, tiêu đề từ chúng, trích rút các bản ghi cấu trúc về một hội thảo từ một website. So sánh hàng hóa: có rất nhiều quan tâm trong việc tạo ra các trang web so sánh sản phẩm mà tự động thu thập sản phẩm và giá của chúng từ các trang web bán hàng. Những thông tin này sẽ đƣợc sử dụng để so sánh nhƣ trang Biztate6.
Khi công nghệ web phát triển, phần lớn các trang web đƣợc xây dựng dựa trên các form và các ngôn ngữ kịch bản. Do vậy, trọng tâm này dịch chuyển thành thu thập và trích rút thông tin từ các website dạng form.edu/ 6 http://www. Phân loại bài toán trích rút thông tin Bài toán trích rút thông tin có thể đƣợc phân chia theo 5 hƣớng sau: Loại của thông tin đƣợc trích rút (thực thể, quan hệ, danh sách, bảng, thuộc tính…) Đặc điểm của nguồn không cấu trúc (đơn vị trích rút, tính đa dạng trong định dạng…) Loại của nguồn đầu vào có mặt cho trích rút (cơ sở dữ liệu cấu trúc, dữ liệu không cấu trúc đƣợc gán nhãn, các thẻ ngữ nghĩa…) Phƣơng thức đƣợc sử dụng cho trích rút (dựa trên luật hay thống kê, thủ công hay huấn luyện từ ví dụ) Đầu ra của trích rút (văn bản không cấu trúc đƣợc chú giải hay một cơ sở dữ liệu) 1. Phân loại theo loại của cấu trúc được trích rút Hai loại đƣợc trích rút phổ biến là thực thể và quan hệ giữa các thực thể.
Thực thể Dạng phổ biến nhất của thực thể là tên của ngƣời, địa điểm, công ty. Việc nhận dạng tên thực thể đƣợc giới thiệu lần đầu tiên trong MUC lần thứ 6 và bao gồm 3 nhiệm vụ: tên riêng và viết tắt của ngƣời; địa điểm, tổ chức (ENAMEX); các thuật ngữ thời gian thuần túy (TIMEX) và các biểu thức số học, tiền tế (NUMEX). Hiện nay các thực thể thuật ngữ đƣợc mở rộng để bao gồm nhiều phạm vi hơn nhƣ tên các bệnh tật, tên protein, tiêu đề bài báo và tên các tạp chí. Cộng đồng ACE cho trích rút quan hệ thực thể từ văn bản ngôn ngữ tự nhiên đã liệt kê hơn 100 loại thực thể khác nhau.2 trình bày các ví dụ về trích rút thực thể.1 chỉ ra các nhiệm vụ trích rút thông tin truyền thống là trích rút tên ngƣời, tổ chức, và địa điểm từ các 8 bài báo.2 chỉ ra một ví dụ trong đó trích rút thực thể đƣợc xem nhƣ một vấn đề của phân tách một bản ghi thành các thực thể có cấu trúc.
Trong ví dụ này, một xâu địa chỉ đƣợc phân tách để xác định 6 thực thể có cấu trúc. Trích rút quan h ệ và tên thực thể từ một văn bản Hình 1. Phân chia văn bản từ các bản ghi địa chỉ. Quan hệ Các quan hệ đƣợc định nghĩa trên hai hay nhiều thực thể có liên quan theo một cách đã đƣợc định nghĩa trƣớc.
Ví dụ nhƣ quan hệ “is employee of‟ giữa một ngƣời và một tổ chức, quan hệ “is acquired by” giữa hai công ty, quan hệ “location of outbreak” giữa một căn bệnh và một địa điểm. Việc trích rút các quan hệ khác so với việc trích rút các thực thể trong một cách có ý nghĩa. Trong khi các thực thể đề 9 cập tới một chuỗi các từ trong nguồn, thì quan hệ biểu diễn sự kết hợp giữa hai phần của văn bản mà biểu diễn các thực thể đó. Phân loại theo đặc điểm của nguồn không cấu trúc Đặc điểm của nguồn trích rút có thể đƣợc thể hiện ở 2 yếu tố : đơn vị trích rút và tính đa dạng trong định dạng.
Đơn vị trích rút Bản ghi hay câu: dạng phổ biến nhất trong trích rút là từ các đoạn văn bản nhỏ mà là các bản ghi không cấu trúc giống nhƣ địa chỉ, trích dẫn hoặc các câu đƣợc trích rút từ các đoạn văn bản ngôn ngữ tự nhiên. Đoạn văn hay tài liệu: Rất nhiều yêu cầu trích rút khiến cần thiết xem xét nội dung của một đoạn văn bản hay toàn bộ tài liệu cho việc trích rút ngữ nghĩa. Các ví dụ phổ biến bao gồm trích rút các sự kiện từ các bài báo, trích rút tiêu đề, địa điểm và thời gian của một bài nói chuyện từ thông báo nói chuyện, và trích rút tiêu đề bài báo và trích dẫn từ một công bố khoa học. Tính đa dạng của các nguồn không cấu trúc Một mối quan tâm lớn đến độ phức tạp và độ chính xác của bộ trích rút là xem xét tính đa dạng trong định dạng và loại của các tài liệu không cấu trúc.
Một số loại nhƣ: Các trang tạo ra theo mẫu(Machine Generated Pages): đây là các trang đƣợc khởi tạo bằng máy theo mẫu.