Mở đầu Trích chọn thực thể là bài toán cơ bản nhất trong các bài toán trích chọn thông tin nhƣng lại đóng vai trò khá quan trọng. Thực thể tên ngày càng đƣợc ứng dụng trong nhiều bài toán trong khai phá dữ liệu web cũng nhƣ nhiều các bài toán trong xử lý ngôn ngữ tự nhiên. Do đó việc xây dựng các giải thuật trích chọn các thực thể tên này từ web là bài toán có ý nghĩa quan trọng. Luận văn tập trung vào tìm hiểu việc xây dựng một mô hình trích chọn thực thể tên và ứng dụng vào trích chọn thực thể tên máy ảnh trên web.
Cấu trúc luận văn gồm 4 chƣơng: Chƣơng 1: Giới thiệu một cách khái quát nhất bài toán trích chọn thông tin, tính ứng dụng thực tiễn của bài toán. Chƣơng 2: Trình bày một số các khái niệm liên quan đến bài toán trích chọn thông tin, các phƣơng pháp trích chọn thông tin. Với mỗi phƣơng pháp trình bày một mô hình minh họa. Đây là cơ sở luận quan trọng để luận văn đề xuất một mô hình áp dụng với bài toán trích chọn thực thể.
Cụ thể luận văn lựa chọn hƣớng tiếp cận học bán giám sát. Chƣơng 3: Ứng dụng phƣơng pháp học bán giám sát vào hệ thống trích chọn tên máy ảnh kĩ thuật số. Chƣơng 4: Kết quả thực nghiệm của luận văn, đánh giá phƣơng pháp và kết quả đạt đƣợc. Phần kết luận: Tóm lƣợc những nội dung chính đạt đƣợc của luận văn đồng thời cũng chỉ ra những điểm cần khắc phục và đƣa ra những định hƣớng nghiên cứu trong tƣơng lai.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 7 CHƢƠNG 1. GIỚI THIỆU Với sự bùng nổ của Internet và các phƣơng tiện lƣu trữ đã tạo ra một lƣợng thông tin khổng lồ. Bên cạnh đó nhu cầu về tốc độ xử lý thông tin cũng nhƣ tính chính xác ngày càng tăng. Hiện nay, các máy tìm kiếm (search engine) thực hiện việc tìm những trang web phù hợp với yêu cầu câu hỏi ngƣời dùng.
Mặc dù chất lƣợng của các máy tìm kiếm đã đƣợc cải thiện nhƣng kết quả trả về chỉ là những tài liệu có liên quan, chúng không dễ dàng gì rút ra đƣợc các mối quan hệ tiềm ẩn và tạo đƣợc các câu trả lời cho các truy vấn phức tạp, chẳng hạn nhƣ “danh sách các công ty liên doanh” hoặc “danh sách các nhà lãnh đạo quốc tế trên toàn thế giới”. Ngƣời ta phân loại câu trả lời các truy vấn ở dạng: có phân tích các tài liệu liên quan để tập hợp những thông tin cần thiết. Nếu nhiều mối quan hệ nhƣ “Công ty A liên doanh với công ty B” đƣợc lƣu trong các tài liệu thì nó tự động tổng hợp và cấu trúc hóa, điều này rất tốt không chỉ cho các hệ thống truy vấn thông tin mà còn cho các hệ thống hỏi đáp tự động và tóm tắt văn bản. Do đó khai thác đƣợc những tri thức đó sẽ mang lại nhiều thông tin bổ ích.
Đó là lĩnh vực mà “trích chọn thông tin” nghiên cứu. Trích chọn thông tin (Information Extraction - IE) là công việc trích ra các thông tin có cấu trúc từ các văn bản không có cấu trúc. Nói cách khác, một hệ thống trích chọn thông tin rút ra những thông tin đã đƣợc định nghĩa trƣớc về các thực thể và mối quan hệ giữa các thực thể từ một văn bản dƣới dạng ngôn ngữ tự nhiên và điền những thông tin này vào một văn bản ghi dữ liệu có cấu trúc hoặc một dạng mẫu đƣợc định nghĩa trƣớc đó. Không giống nhƣ hiểu toàn bộ văn bản, các hệ thống trích chọn thông tin chỉ cố gắng nhận biết một số thông tin đáng quan tâm ở một lĩnh vực nào đó.
Ví dụ hệ thống trích chọn các bộ quan hệ <tên máy ảnh, hãng sản xuất> từ các tài liệu web, bổ sung chúng vào cơ sở dữ liệu. Canon has posted a firmware update for its EOS 7D digital SLR. Pentax has announced the Optio RS1500 compact camera with interchangeable, Producer Camera Canon EOS 7D user designable covers. Pentax Optio RS1500 Casio and Ricoh have released firmware Casio Exilim EX-H20G updates for the Exilim EX-H20G and Ricoh G700SE G700SE digital cameras respectively Hình 1: Minh họa về một hệ thống trích chọn thông tin LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 8 Có rất nhiều mức độ cũng nhƣ nội dung công việc trích chọn thông tin khác nhau.
Một số bài toán trích chọn có thể liệt kê nhƣ sau: Trích chọn là thực thể tên (Named Entity –NE). Một thực thể tên là một thực thể đƣợc đặt một tên riêng, ví dụ nhƣ “Barack Obama” là một thực thể tên ngƣời, “Microsoft Corporation” là thực thể tên công ty/ tổ chức [7, 17]. Trích chọn thông tin là đi tìm những quan hệ giữa các đối tƣợng có tên đƣợc chỉ định trƣớc. Ví dụ: từ một câu “Bill Gates là chủ tịch của Microsoft”, chúng ta muốn hệ thống có thể đƣa ra đƣợc kết quả: Bill Gates là một tên ngƣời, Microsoft là tên một tổ chức và Bill Gates ông chủ của Microsoft.
Một số quan hệ khác có thể là: quan hệ sát nhập (affiliation); quan hệ vai trò (role); quan hệ về vị trí, địa điểm (location); quan hệ toàn thể-bộ phận (part-whole); quan hệ nhân quả (cause-effect); các mối quan hệ xã hội … giữa các cặp thực thể. Ví dụ, câu “George Bush đƣợc bầu làm tổng thống của Mỹ.” Thì quan hệ, “George Bush” (Person) là “tổng thống” của “Mỹ”, có thể đƣợc rút ra. Mỗi khung mẫu bao gồm tập hợp các slot cần đƣợc lấp đầy bởi một hoặc nhiều giá trị. Những giá trị này có thể bao gồm văn bản thuần túy, các con trỏ trỏ tới các đối tƣợng khung mẫu khác [4, 9].
Dallas - Early last evening, a tornado swept through northwest Dallas. The twister occurred without warning at about 7:15 pm and destroyed two mobile homes. The Texaco station at 102 Main St. was also severely damaged, but no injuries were reported.” Đoạn văn bản tóm tắt câu chuyện về thảm họa tự nhiên lốc xoáy, trích chọn các thông tin về ngày và thời gian xảy ra, và thiệt hại tài sản hay thƣơng tích về con ngƣời do sự kiện gây ra.
Hệ thống có thể trích chọn ra khung mẫu sau: Event: tornado Date: 4/3/97 Time: 19:15 Location: “northwest Dallas”: Texas: USA Damage: “mobile homes” (đối tƣợng bị thiệt hại – Damaged Object) “Texaco station” (đối tƣợng bị thiệt hại) Khai phá quan điểm (opinion mining): trong lĩnh vực này ta cần trích chọn ra các nhận định của ngƣời dùng về một đối tƣợng nào đó [14]. Hình 2 chỉ ra một trong các quan điểm mà ta có thể trích ra là thông tin LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 9 ngƣời dùng nhận thấy “the colors of pictures” đƣợc chụp bởi sản phẩm Powershot là “great”. Opinion unit 1 Opinion holder (writer) Suject <Powershot> Part <picture> I just bought a Powershot a Attribute <colors> few days ago. I took some Evaluation <great> pictures using the camera.
Condition <flash is used> Here are my feelings: (1) colors are so great even Opinion unit 2 when flash is used (2) easy to grip since the body Opinion holder (writer) has a grip handle Suject <Powershot> Part <> Attribute <> Evaluation <easy to grip> Condition <body has a grip handle> Hình 2: Ví dụ về khai phá quan điểm Ngoài ra tùy vào từng ứng dụng cụ thể mà ta có thể cần trích chọn các đối tƣợng khác trong văn bản, chẳng hạn trích chọn các nguyên nhân dẫn đến một loại bệnh nào đó [10], … Con ngƣời, thời gian, địa điểm, các con số,. là những đối tƣợng cơ bản trong một văn bản dù ở bất kì ngôn ngữ nào. Do đó thực thể tên là một đối tƣợng đƣợc quan tâm rất nhiều và ngày càng trở nên quan trọng, nó đang đƣợc khai thác và ứng dụng trong nhiều bài toán trong lĩnh vực xử lý ngôn ngữ tự nhiên (Natural Language Processing) cũng nhƣ khai phá văn bản và khai phá web (Web Mining). Mục đích chính của bài toán nhận biết các loại thực thể là xác định những đối tƣợng này từ đó phần nào giúp cho chúng ta trong việc hiểu văn bản.
Rõ ràng trƣớc khi có thể xác định đƣợc các mối quan hệ giữa các thực thể ta phải xác định đƣợc đâu là các thực thể tham gia vào mối quan hệ đó. Ví dụ về một số ứng dụng của thực thể tên trong lĩnh vực xử lý ngôn ngữ tự nhiên và khai phá dữ liệu văn bản, web là: Dịch máy (Machine Translation): khi chúng ta phát hiện ra đƣợc một thực thể tên trong một văn bản thì khi dịch sang ngôn ngữ mới ta thƣờng để nguyên thực thể tên đó chứ không dịch [12]. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 10 Tóm tắt văn bản: Khi xác định đƣợc nội dung của một văn bản nói về một thực thể tên nào đó thì chúng ta sẽ gán trọng số cao cho các câu có đề cập đến thực thể tên, cách này có thể làm tăng chất lƣợng của hệ tóm tắt [11]. Phân lớp văn bản: khi tìm ra đƣợc một thực thể tên thƣờng thuộc một phân lớp văn bản nào đó, thì đó sẽ là một thông tin quan trọng để giúp làm tăng chất lƣợng của các giải thuật phân lớp.
Chẳng hạn nhƣ tin nói về tổng thống Obama thƣờng hay xuất hiện ở thể loại tin tức là: Thế giới [15]. Tìm kiếm thực thể: đây là một hƣớng phát triển mới của các máy tìm kiếm. Khi nhu cầu ngƣời dùng tăng cao thì ngƣời ta muốn các máy tìm kiếm trở nên thông minh hơn, và ngƣời ta mong muốn có một hệ thống tìm kiếm có thể trả về các thực thể ngƣời ta cần chứ không phải là các văn bản chứa các thực thể nhƣ những máy tìm kiếm hiện tại [13]. Hệ thống hỏi đáp [16], chẳng hạn giúp trả lời các câu hỏi liên quan đến thực thể nhƣ “Ai là ngƣời đầu tiên đặt chân lên mặt trăng?” - Tên lửa đƣợc phóng ra từ đâu? - Ai là chủ nhân và điều khiển tên lửa đó? - Khối lƣợng chất nổ trong tên lửa? - Chất nổ sử dụng là gì? Ứng dụng trong phân tích một đối tƣợng nào đó.
Ví dụ nhƣ trong một tài liệu văn bản mô tả bằng ngôn ngữ tự nhiên, ta có thể tìm hiểu sự di chuyển của các giám đốc điều hành từ vị trí này đến vị trí khác ở các công ty khác nhau dựa vào các thực thể kiểu: Tên nhà điều hành, Tên công ty cũ, Vị trí cũ, Tên công ty mới, Vị trí mới, Ngày chuyển đi. Thông tin này có ích trong việc phân tích, chẳng hạn nhƣ các phân tích liên kết, trình bày tiến trình thời gian, địa vị, và vẽ đồ thị của xu hƣớng.