Đặt vấn đề và giới thiệu tổng quan bài toán trích chọn thông tin và một số lĩnh vực nghiên cứu liên quan, từ đó phát biểu bài toán trích chọn thông tin trong văn bản du lịch, ý nghĩa và ứng dụng của bài toán. Chương 2: Trình bày một số giải pháp và mô hình hệ thống trích chọn thông tin. Trên cơ sở tìm hiểu, luận văn sẽ đề xuất một phƣơng pháp tiếp cận để giải quyết bài toán trích chọn thông tin trong văn bản du lịch. Chương 3: Đƣa ra mô hình tổng thể và liệt kê chi tiết giải pháp trích chọn đƣợc dùng để giải quyết bài toán.
Chương 4: Kết quả thực nghiệm trích chọn trên mô hình hệ thống đề xuất. Phần kết luận: Tóm lƣợc những nội dung chính đạt đƣợc của luận văn đồng thời cũng chỉ ra những điểm cần khắc phục và đƣa ra những định hƣớng nghiên cứu trong tƣơng lai. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 12 Chƣơng 1. BÀI TOÁN TRÍCH CHỌN THÔNG TIN TRONG VĂN BẢN DU LỊCH 1.
Giới thiệu chung về trích chọn thông tin Trích chọn thông tin là một lĩnh vực quan trọng trong khai phá dữ liệu văn bản, nó đƣợc định nghĩa nhƣ sau: Trích chọn thông tin (IE – Information Extraction) [3, 4] là quá trình lấy thông tin từ các nguồn ở những định dạng không đồng nhất thậm chí không có định dạng cụ thể khi nó ở dạng văn bản diễn đạt bằng ngôn ngữ tự nhiên, sau đó chuyển thành một dạng đồng nhất. Dữ liệu sau khi trích chọn đƣợc sử dụng, trình bày trực tiếp cho ngƣời dùng, lƣu vào cơ sở dữ liệu để xử lý sau đó hay sử dụng cho những hệ thống tìm kiếm thông tin nhƣ một dữ liệu đã qua bƣớc tiền xử lý. Từ dữ liệu, thông tin đƣợc trích chọn ra ta có thể sử dụng các kỹ thuật phân tích, khai thác dữ liệu (Data Mining) để khám phá ra các mẫu thông tin hữu ích. Chẳng hạn việc cấu trúc lại các mẫu tin quảng cáo, mẫu tin bán hàng trên internet có thể giúp hỗ trợ tƣ vấn, định hƣớng ngƣời dùng khi mua sắm.
Việc trích chọn và cấu trúc lại các mẫu tin tìm ngƣời, tìm việc sẽ giúp cho quá trình phân tích thông tin nghề nghiệp, xu hƣớng công việc, … hỗ trợ cho ngƣời tìm việc, cũng nhƣ nhà tuyển dụng. Trích chọn thông tin không đòi hỏi hệ thống phải đọc hiểu nội dung của tài liệu văn bản, nhƣng hệ thống phải có khả năng phân tích tài liệu và tìm kiếm các thông tin liên quan mà hệ thống mong muốn đƣợc tìm thấy. Các kỹ thuật trích chọn thông tin có thể áp dụng cho bất kỳ tập tài liệu nào mà chúng ta cần rút ra những thông tin chính, cần thiết cũng nhƣ các sự kiện liên quan. Các kho dữ liệu văn bản về một lĩnh vực trên internet là ví dụ điển hình, thông tin trên đó có thể tồn tại ở nhiều nơi khác nhau, dƣới nhiều định dạng khác nhau.
Sẽ rất hữu ích cho các khảo sát ứng dụng nếu nhƣ các thông tin thuộc các lĩnh vực liên quan đƣợc trích chọn, tích hợp lại thành một hình thức thống nhất và biểu diễn một cách có cấu trúc. Khi đó thông tin trên internet sẽ đƣợc chuyển vào một cơ sở dữ liệu có cấu trúc phục vụ cho các ứng dụng phân tích và khai thác khác nhau. Các nghiên cứu liên quan đến trích chọn thông tin văn bản tập trung vào: Trích chọn từ khóa (Keyphrase Extraction): Tìm kiếm các thuật ngữ chính có liên quan, thể hiện ngữ nghĩa, nội dung, chủ đề của tài liệu hay một tập các tài liệu. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 13 Trích chọn thực thể có tên (Named Entity Recognition): Việc trích chọn ra các thực thể có tên tập trung vào các phƣơng pháp nhận diện các đối tƣợng, thực thể nhƣ: tên ngƣời, tên công ty, tên tổ chức, một địa danh, nơi chốn.
Trích chọn quan hệ (Relationship Extraction): Cần xác định mối quan hệ giữa các thực thể đã nhận biết từ tài liệu. Chẳng hạn xác định nơi chốn cho một tổ chức, công ty hay nơi làm việc của một ngƣời nào đó. Bài toán trích chọn thực thể Con ngƣời, thời gian, địa điểm, … là những đối tƣợng cơ bản trong một văn bản. Mục đích chính của bài toán trích chọn thực thể là xác định ra các đối tƣợng này từ đó giúp cho ngƣời đọc trong việc hiểu rõ văn bản.
Bài toán trích chọn thực thể là bài toán đơn giản nhất trong các bài toán trích chọn thông tin, tuy vậy nó lại là bƣớc cơ bản nhất nên đƣợc thực hiện trƣớc khi giải các bài toán phức tạp hơn trong lĩnh vực này. Rõ ràng là để có thể xác định đƣợc các mối quan hệ giữa các thực thể ta phải xác định đƣợc đâu là các thực thể tham gia vào mối quan hệ đó. Bài toán trích chọn thực thể trong văn bản là tìm câu trả lời cho các câu hỏi: ai?, bao giờ?, ở đâu?,. [19] Các loại thực thể: Tên nhãn Ý nghĩa PER Tên ngƣời ORG Tên tổ chức LOC Tên địa danh NUM Số PCT Phần trăm CUR Tiền tệ TIME Ngày tháng, thời gian MISC Những loại thực thể khác ngoài 7 loại trên O Không phải thực thể Bảng 1.
Bảng phân loại thực thể LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 14 Ý nghĩa của bài toán trích chọn thực thể Một hệ thống trích chọn thực thể tốt có thể đƣợc ứng dụng trong nhiều lĩnh vực khác nhau, cụ thể có thể đƣợc sử dụng để: Hỗ trợ web ngữ nghĩa. Web ngữ nghĩa là các trang Web có thể biểu diễn dữ liệu “thông minh” (có khả năng kết hợp, phân lớp và khả năng suy diễn trên dữ liệu đó). Sự thành công của các Web ngữ nghĩa phụ thuộc vào các ontology cũng nhƣ sự phát triển của các trang Web đƣợc chú giải bởi các siêu dữ liệu tuân theo các ontology này. Mặc dù lợi ích mà các ontology đem lại là rất lớn nhƣng việc xây dựng chúng một cách tự động lại hết sức khó khăn.
Vì lý do này, các công cụ trích chọn thông tin tự động từ các trang web để “làm đầy” các ontology nhƣ hệ thống trích chọn thực thể là hết sức cần thiết. Xây dựng các máy tìm kiếm hƣớng thực thể. Ngƣời dùng có thể tìm thấy các trang Web nói về “Clinton” là một địa danh ở Bắc Carolina một cách nhanh chóng mà không phải duyệt qua hàng trăm trang Web nói về tổng thống Bill Clinton. Trích chọn thực thể có thể đƣợc xem nhƣ là bƣớc tiền xử lý làm đơn giản hóa các bài toán nhƣ dịch máy, tóm tắt văn bản.
Nhƣ đã đề cập ở trên, một hệ thống trích chọn thực thể có thể đóng vai trò là một thành phần cơ bản cho các bài toán trích chọn thông tin phức tạp hơn. Trƣớc khi đọc một tài liệu, ngƣời dùng có thể đọc lƣớt qua các tên ngƣời, tên địa danh, tên công ty đƣợc đề cập đến trong đó. Tự động đánh chỉ số cho các sách. Trong các sách, tài liệu phần lớn các chỉ mục là các loại thực thể.
Bài toán trích chọn quan hệ Các nghiên cứu về trích chọn thực thể, cũng nhƣ quan hệ đã đƣợc tổ chức MUC (Message Understanding Conferences) và ACE (Automatic Content Extration) đầu tƣ và thúc đẩy phát triển. Trích chọn quan hệ bắt đầu đƣợc quan tâm từ hội thảo MUC lần thứ 7 năm 1998, từ đó ngày càng đƣợc chú ý đến. Trích chọn quan hệ là việc xác định mối quan hệ ngữ nghĩa giữa các thực thể trong văn bản hay trong một câu. Chẳng hạn xác định nơi chốn cho một tổ chức, LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 15 công ty hay nơi làm việc của một ngƣời nào đó.
Ví dụ từ một đoạn văn bản: “James Gosling vào làm việc cho Sun Microsystems từ năm 1984 nằm tại Silicon Valley ” ta có thể nhận diện đƣợc các thực thể, loại thực thể và quan hệ giữa chúng nhƣ sau: CONNGƢỜI làm việc TỔCHỨC: nhận diện đƣợc hai thực thể là “James Gosling” và “Sun Microsystems”. Mối quan hệ giữa hai thực thể này là “làm việc”. TỔCHỨC nằm tại NƠICHỐN: nhận diện đƣợc hai thực thể là “Sun Microsystems” và “Silicon Valley”; mối quan hệ giữa hai thực thể này là “nằm tại”. [14] Ứng dụng Trích chọn quan hệ đƣợc ứng dụng trong nhiều lĩnh vực khác nhau.
Lĩnh vực đầu tiên phải nhắc tới là việc xây dựng cơ sở tri thức mà điển hình là xây dựng Ontology – phần nhân của Web ngữ nghĩa. Trong khi những lợi ích mà Web ngữ nghĩa đem lại là rất lớn thì việc xây dựng các ontology một cách thủ công lại hết sức khó khăn. Giải pháp cho vấn đề này chính là kĩ thuật trích chọn thông tin nói chung và trích chọn quan hệ nói riêng để tự động hóa một phần quá trình xây dựng các ontology. Trích chọn quan hệ cũng đƣợc sử dụng nhiều trong các hệ thống hỏi đáp.
Một số hệ thống hỏi đáp đã đƣợc xây dựng dựa vào việc trích chọn tự động các từ, khái niệm và mối quan hệ. Ngoài ra, trích chọn quan hệ còn có ứng dụng trong các lĩnh vực xử lý ảnh nhƣ phát hiện ảnh qua đoạn văn bản (text-to-image generation). Trích chọn quan hệ cũng là một công cụ đắc lực trong lĩnh vực công nghệ sinh học nhƣ tìm quan hệ bệnh tật - Genes, ảnh hƣởng qua lại giữa protein-protein (Protein-Protein interaction)…[1, 12] 1. Bài toán trích chọn cụm từ khóa Cụm từ khóa đƣợc xem là thành phần chính hay một dạng siêu dữ liệu (Meta Data) thể hiện nội dung của tài liệu văn bản [18].
Mục đích của hầu hết các nghiên cứu trích chọn cụm từ khóa là nhằm tìm kiếm các đặc trƣng tốt để mã hóa văn bản [8, 17, 18] ứng dụng trong các hệ thống phân loại, gom cụm, tóm tắt và tìm kiếm văn bản. Tùy vào đặc trƣng của từng ngôn ngữ sẽ có những LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 16 phƣơng pháp khác nhau để tìm kiếm các cụm từ khóa. Hầu hết các phƣơng pháp đều dựa trên các kỹ thuật truyền thống đƣợc dùng trong xử lý ngôn ngữ tự nhiên nhƣ tiền xử lý văn bản, tách đoạn, tách câu, tách từ, phân tích cú pháp, phân tích ngữ nghĩa, thống kê và học máy. [18] Ứng dụng Các kho dữ liệu văn bản lớn nhƣ các thƣ viện số phát triển rất nhanh dẫn đến gia tăng giá trị thông tin tóm tắt.
Hỗ trợ ngƣời dùng nhận biết về nội dung của tài liệu và kho tài liệu. Ứng dụng trong truy vấn thông tin mô tả những tài liệu trả về từ kết quả truy vấn. Định hƣớng tìm kiếm cho ngƣời dùng. Nền tảng cho chỉ mục tìm kiếm.