Chương 1: Giới thiệu tổng quan bài toán trích chọn thông tin và một số lĩnh vực nghiên cứu liên quan. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 3 Chương 2: Trình bày một số phƣơng pháp trích chọn thông tin. Trên cơ sở tìm hiểu, luận văn sẽ sử dụng một số phƣơng pháp tiếp cận để giải quyết bài toán trích chọn thông tin du lịch trong văn bản tiếng Việt. Chương 3: Đƣa ra mô hình trích chọn thông tin du lịch trong văn bản tiếng Việt.
Chương 4: Cài đặt, thử nghiệm mô hình trích chọn thông tin du lịch trên một số trang web du lịch bằng tiếng Việt trên mạng Internet. Phần kết luận: Tóm tắt các kết quả đạt đƣợc và hƣớng phát triển tiếp của đề tài. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 4 Chƣơng 1 TỔNG QUAN VỀ TRÍCH CHỌN THÔNG TIN VÀ BÀI TOÁN TRÍCH CHỌN THÔNG TIN DU LỊCH Chƣơng này giới thiệu tổng quan về trích chọn thông tin và bài toán trích chọn thông tin du lịch trong văn bản tiếng Việt. Tổng quan về trích chọn thông tin Trích chọn thông tin là một lĩnh vực quan trọng trong khai phá dữ liệu văn bản, nó đƣợc định nghĩa nhƣ sau: Trích chọn thông tin (IE – Information Extraction) [3, 4] là quá trình lấy thông tin từ các nguồn ở những định dạng không đồng nhất thậm chí không có định dạng cụ thể khi nó ở dạng văn bản diễn đạt bằng ngôn ngữ tự nhiên, sau đó chuyển thành một dạng đồng nhất.
Dữ liệu sau khi trích chọn đƣợc sử dụng, trình bày trực tiếp cho ngƣời dùng, lƣu vào cơ sở dữ liệu để xử lý sau đó hay sử dụng cho những hệ thống tìm kiếm thông tin nhƣ một dữ liệu đã qua bƣớc tiền xử lý. Từ dữ liệu, thông tin đƣợc trích chọn ra ta có thể sử dụng các kỹ thuật phân tích, khai thác dữ liệu (Data Mining) để khám phá ra các mẫu thông tin hữu ích. Chẳng hạn việc cấu trúc lại các mẫu tin quảng cáo, mẫu tin bán hàng trên internet có thể giúp hỗ trợ tƣ vấn, định hƣớng ngƣời dùng khi mua sắm. Việc trích chọn và cấu trúc lại các mẫu tin tìm ngƣời, tìm việc sẽ giúp cho quá trình phân tích thông tin nghề nghiệp, xu hƣớng công việc, … hỗ trợ cho ngƣời tìm việc, cũng nhƣ nhà tuyển dụng.
Trích chọn thông tin không đòi hỏi hệ thống phải đọc hiểu nội dung của tài liệu văn bản, nhƣng hệ thống phải có khả năng phân tích tài liệu và tìm kiếm các thông tin liên quan mà hệ thống mong muốn đƣợc tìm thấy. Các kỹ thuật trích chọn thông tin có thể áp dụng cho bất kỳ tập tài liệu nào mà chúng ta cần rút ra những thông tin chính, cần thiết cũng nhƣ các sự kiện liên quan. Các kho dữ liệu văn bản về một lĩnh vực trên internet là ví dụ điển hình, Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 5 thông tin trên đó có thể tồn tại ở nhiều nơi khác nhau, dƣới nhiều định dạng khác nhau. Sẽ rất hữu ích cho các khảo sát ứng dụng nếu nhƣ các thông tin thuộc các lĩnh vực liên quan đƣợc trích chọn, tích hợp lại thành một hình thức thống nhất và biểu diễn một cách có cấu trúc.
Khi đó thông tin trên internet sẽ đƣợc chuyển vào một cơ sở dữ liệu có cấu trúc phục vụ cho các ứng dụng phân tích và khai thác khác nhau. Các nghiên cứu liên quan đến trích chọn thông tin văn bản tập trung vào: 1) Trích chọn từ khóa (Keyphrase Extraction): Tìm kiếm các thuật ngữ chính có liên quan, thể hiện ngữ nghĩa, nội dung, chủ đề của tài liệu hay một tập các tài liệu. 2) Trích chọn thực thể có tên (Named Entity Recognition): Việc trích chọn ra các thực thể có tên tập trung vào các phƣơng pháp nhận diện các đối tƣợng, thực thể nhƣ: tên ngƣời, tên công ty, tên tổ chức, một địa danh, nơi chốn. 3) Trích chọn quan hệ (Relationship Extraction): Cần xác định mối quan hệ giữa các thực thể đã nhận biết từ tài liệu.
Chẳng hạn xác định nơi chốn cho một tổ chức, công ty hay nơi làm việc của một ngƣời nào đó. Bài toán trích chọn thực thể Con ngƣời, thời gian, địa điểm… là những đối tƣợng cơ bản trong một văn bản. Mục đích chính của bài toán trích chọn thực thể là xác định ra các đối tƣợng này từ đó giúp cho ngƣời đọc trong việc hiểu rõ văn bản. Bài toán trích chọn thực thể là bài toán đơn giản nhất trong các bài toán trích chọn thông tin, tuy vậy nó lại là bƣớc cơ bản nhất nên đƣợc thực hiện trƣớc khi giải các bài toán phức tạp hơn trong lĩnh vực này.
Rõ ràng là để có thể xác định đƣợc các mối quan hệ giữa các thực thể ta phải xác định đƣợc đâu là các thực thể tham gia vào mối quan hệ đó. Bài toán trích chọn thực thể trong văn bản là tìm câu trả lời cho các câu hỏi: ai ?, bao giờ ?, ở đâu ?,. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www. Bảng phân loại thực thể Tên nhãn Ý nghĩa PER Tên ngƣời ORG Tên tổ chức LOC Tên địa danh NUM Số PCT Phần trăm CUR Tiền tệ TIME Ngày tháng, thời gian MISC Những loại thực thể khác ngoài 7 loại trên O Không phải thực thể Ý nghĩa của bài toán trích chọn thực thể Một hệ thống trích chọn thực thể tốt có thể đƣợc ứng dụng trong nhiều lĩnh vực khác nhau, cụ thể có thể đƣợc sử dụng để: 1) Hỗ trợ web ngữ nghĩa.
Web ngữ nghĩa là các trang Web có thể biểu diễn dữ liệu “thông minh” (có khả năng kết hợp, phân lớp và khả năng suy diễn trên dữ liệu đó). Sự thành công của các Web ngữ nghĩa phụ thuộc vào các ontology cũng nhƣ sự phát triển của các trang Web đƣợc chú giải bởi các siêu dữ liệu tuân theo các ontology này. Mặc dù lợi ích mà các ontology đem lại là rất lớn nhƣng việc xây dựng chúng một cách tự động lại hết sức khó khăn. Vì lý do này, các công cụ trích chọn thông tin tự động từ các trang web để “làm đầy” các ontology nhƣ hệ thống trích chọn thực thể là hết sức cần thiết.
2) Xây dựng các máy tìm kiếm hƣớng thực thể. Ngƣời dùng có thể tìm thấy các trang Web nói về “Clinton” là một địa danh ở Bắc Carolina một cách nhanh chóng mà không phải duyệt qua hàng trăm trang Web nói về tổng thống Bill Clinton. 3) Trích chọn thực thể có thể đƣợc xem nhƣ là bƣớc tiền xử lý làm đơn giản hóa các bài toán nhƣ dịch máy, tóm tắt văn bản. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 7 4) Nhƣ đã đề cập ở trên, một hệ thống trích chọn thực thể có thể đóng vai trò là một thành phần cơ bản cho các bài toán trích chọn thông tin phức tạp hơn.
5) Trƣớc khi đọc một tài liệu, ngƣời dùng có thể đọc lƣớt qua các tên ngƣời, tên địa danh, tên công ty đƣợc đề cập đến trong đó. 6) Tự động đánh chỉ số cho các sách. Trong các sách, tài liệu phần lớn các chỉ mục là các loại thực thể. Bài toán trích chọn quan hệ Các nghiên cứu về trích chọn thực thể, cũng nhƣ quan hệ đã đƣợc tổ chức MUC (Message Understanding Conferences) và ACE (Automatic Content Extration) đầu tƣ và thúc đẩy phát triển.
Trích chọn quan hệ bắt đầu đƣợc quan tâm từ hội thảo MUC lần thứ 7 năm 1998, từ đó ngày càng đƣợc chú ý đến. Trích chọn quan hệ là việc xác định mối quan hệ ngữ nghĩa giữa các thực thể trong văn bản hay trong một câu. Chẳng hạn xác định nơi chốn cho một tổ chức, công ty hay nơi làm việc của một ngƣời nào đó. Ví dụ từ một đoạn văn bản: “James Gosling vào làm việc cho Sun Microsystems từ năm 1984 nằm tại Silicon Valley ” ta có thể nhận diện đƣợc các thực thể, loại thực thể và quan hệ giữa chúng nhƣ sau: 1) CON NGƢỜI làm việc TỔ CHỨC: nhận diện đƣợc hai thực thể là “James Gosling” và “Sun Microsystems”.
Mối quan hệ giữa hai thực thể này là “làm việc”. 2) TỔ CHỨC nằm tại NƠI CHỐN: nhận diện đƣợc hai thực thể là “Sun Microsystems” và “Silicon Valley”; mối quan hệ giữa hai thực thể này là “nằm tại” [14]. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 8 Ứng dụng Trích chọn quan hệ đƣợc ứng dụng trong nhiều lĩnh vực khác nhau. Lĩnh vực đầu tiên phải nhắc tới là việc xây dựng cơ sở tri thức mà điển hình là xây dựng Ontology – phần nhân của Web ngữ nghĩa.
Trong khi những lợi ích mà Web ngữ nghĩa đem lại là rất lớn thì việc xây dựng các ontology một cách thủ công lại hết sức khó khăn. Giải pháp cho vấn đề này chính là kĩ thuật trích chọn thông tin nói chung và trích chọn quan hệ nói riêng để tự động hóa một phần quá trình xây dựng các ontology. Trích chọn quan hệ cũng đƣợc sử dụng nhiều trong các hệ thống hỏi đáp. Một số hệ thống hỏi đáp đã đƣợc xây dựng dựa vào việc trích chọn tự động các từ, khái niệm và mối quan hệ.
Ngoài ra, trích chọn quan hệ còn có ứng dụng trong các lĩnh vực xử lý ảnh nhƣ phát hiện ảnh qua đoạn văn bản (text-to-image generation). Trích chọn quan hệ cũng là một công cụ đắc lực trong lĩnh vực công nghệ sinh học nhƣ tìm quan hệ bệnh tật - Genes, ảnh hƣởng qua lại giữa protein-protein (Protein-Protein interaction)…[1, 12]. Bài toán trích chọn cụm từ khóa Cụm từ khóa đƣợc xem là thành phần chính hay một dạng siêu dữ liệu (Meta Data) thể hiện nội dung của tài liệu văn bản [18]. Mục đích của hầu hết các nghiên cứu trích chọn cụm từ khóa là nhằm tìm kiếm các đặc trƣng tốt để mã hóa văn bản [8, 17, 18] ứng dụng trong các hệ thống phân loại, gom cụm, tóm tắt và tìm kiếm văn bản.
Tùy vào đặc trƣng của từng ngôn ngữ sẽ có những phƣơng pháp khác nhau để tìm kiếm các cụm từ khóa. Hầu hết các phƣơng pháp đều dựa trên các kỹ thuật truyền thống đƣợc dùng trong xử lý ngôn ngữ tự nhiên nhƣ tiền xử lý văn bản, tách đoạn, tách câu, tách từ, phân tích cú pháp, phân tích ngữ nghĩa, thống kê và học máy [18]. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 9 Ứng dụng 1) Các kho dữ liệu văn bản lớn nhƣ các thƣ viện số phát triển rất nhanh, điều đó dẫn đến gia tăng giá trị thông tin tóm tắt. 2) Hỗ trợ ngƣời dùng nhận biết về nội dung của tài liệu và kho tài liệu.
3) Ứng dụng trong truy vấn thông tin, mô tả những tài liệu trả về từ kết quả truy vấn.
