Mở đầu 1.1 Tổng quan tình hình nghiên cứu thuộc lĩnh vực đề tài Để xây dựng hệ thống tìm kiếm thông tin, bộ sưu tập tài liệu và nhu cầu thông tin của người dùng phải được biểu diễn trên máy tính một cách hợp lý. Cho trước các biểu diễn này, hệ thống phải đưa ra được một phương pháp để xác định mức độ liên quan giữa chúng. Trong nhiều nghiên cứu xây dựng hệ thống tìm kiếm, việc phát triển các kỹ thuật để lập chỉ mục và tìm kiếm độc lập với miền ứng dựng được quan tâm nhiều. Sự quan tâm này xuất phát từ mong muốn xây dựng một hệ thống có thể lưu trữ và tìm kiếm một số lượng lớn các tài liệu trong các lĩnh vực ứng dụng khác nhau nhưng lại có ít sự can thiệp của con người.
Các hệ thống đã được phát triển, chẳng hạn như những hệ thống dựa trên các mô hình không gian vector [1], mô hình xác suất [2], mô hình ngôn ngữ [3] hoàn toàn dựa vào các số liệu thống kê về sự xuất hiện của những từ riêng lẻ (hoặc dạng từ gốc của chúng) trong các tài liệu và thống kê sự phụ thuộc giữa các từ. Tài liệu và truy vấn được biểu diễn bởi một tập từ khóa đại diện 1 Luan van cho nội dung của chúng. Cách biểu diễn này được gọi là bag-of-words hay còn được gọi là cách biểu diễn dựa trên từ khóa. Các hệ thống tìm kiếm dựa trên cách biểu diễn này thường sử dụng các kỹ thuật thống kê.
Các chiến lược tìm kiếm và các kỹ thuật lập chỉ mục được sử dụng cho cách biểu diễn này là đơn giản, dễ thực hiện và cho kết quả khá tốt theo thực nghiệm. Do đó, đây vẫn là cách biểu diễn phổ biến nhất được sử dụng trong hầu hết các máy tìm kiếm và trong nghiên cứu [4]. Cho đến nay ít có (nếu có) cách biểu diễn cho kết quả tìm kiếm thực sự tốt và ổn định hơn so với cách biểu diễn này [5]. Tuy hiện đang là cách biểu diễn chủ đạo, cách biểu diễn dựa trên từ khóa cũng có một số vấn đề.
Một tập các từ khóa được cho là khó có thể biểu diễn được nhu cầu thông tin của người dùng cũng như nội dung của tài liệu một cách trọn vẹn. Mặt khác, các hệ thống tìm kiếm dựa trên từ khóa thường xem các từ này là độc lập nhau và ngữ nghĩa của chúng cũng không được xét đến. Từ khóa trong các hệ thống này chỉ đơn thuần là các chuỗi ký tự. Do vậy, nhiều tài liệu có nội dung phù hợp nhưng không chứa các từ trong truy vấn không được tìm thấy (do từ khóa được chọn bởi người dùng thường khác với từ khóa trong tài liệu), hoặc nhiều tài liệu có nội dung không phù hợp nhưng chứa các từ trong truy vấn lại được tìm thấy (do sự khác nhau về ngữ cảnh trong cách sử dụng từ).
Kết quả là chúng làm giảm độ bao phủ cũng như độ chính xác của hệ thống. Hai vấn đề này được gọi là vấn đề đồng nghĩa (synonymy) và đa nghĩa (polysemy). Chúng thường được gọi là các vấn đề từ vựng (vocabulary problems) trong truy tìm thông tin. Nhiều nghiên cứu cố gắng giải quyết vấn đề đồng nghĩa bằng kỹ thuật mở rộng truy vấn (query expansion), thêm vào truy vấn ban đầu các từ liên quan [6], và vấn đề đa nghĩa bằng kỹ thuật khử nhập nhằng (word sense disambiguation), chọn ra nghĩa phù hợp nhất cho các từ trong truy vấn [7, 8].
Những kỹ thuật xử lý ngôn ngữ tự nhiên được cũng được nghiên cứu nhiều nhằm khắc phục phương pháp biểu diễn hoàn toàn định lượng dựa trên từ khóa, 2 Luan van nhưng các bằng chứng thực nghiệm đến nay vẫn chưa cho những kết quả đáng kể [9, 10, 11]. Để giải quyết những hạn chế của phương pháp tiếp cận dựa trên từ khóa, ý tưởng tìm kiếm dựa trên khái niệm, được hiểu như là tìm kiếm được trên ý nghĩa hơn là so khớp chuỗi, đã được đề xuất. Hệ thống tìm kiếm dựa trên khái niệm biểu diễn và tìm kiếm tài liệu dựa trên khái niệm thay cho (hoặc bổ sung cho) từ khóa. Mỗi từ, cụm từ trong tài liệu sẽ được ánh xạ vào các khái niệm mà chúng thể hiện và nội dung tài liệu được biểu diễn bởi các khái niệm này.
Tìm kiếm dựa trên khái niệm là một cách tiếp cận khác đã được nghiên cứu từ những năm 80 và nghiên cứu của Croft [12] được xem là một trong những nghiên cứu tiên phong [13]. Croft cho rằng "phương pháp thống kê có nhiều lợi thế và có thể đạt được một mức độ phù hợp về độ chính xác với các kỹ thuật rất hiệu quả. Tuy nhiên, có vẻ như để đạt được cải tiến đáng kể về độ chính xác truy tìm so với các kỹ thuật hiện hành, hệ thống phải được thiết kế để thu giữ và sử dụng đến tri thức miền". Tri thức miền (domain knowledge) là thông tin về những chủ đề, khái niệm quan trọng trong một lĩnh vực cụ thể và quan hệ giữa chúng.
Cách tiếp cận dựa trên khái niệm cố gắng mô phỏng cách con người tìm kiếm thông tin bằng cách tập trung vào việc biểu diễn và suy luận dùng các khái niệm, tri thức về các miền ứng dụng cụ thể. Các nghiên cứu theo đuổi cách tiếp cận này hy vọng sẽ xây dựng hệ thống đạt được hiệu quả tìm kiếm tốt hơn đáng kể so với cách tiếp cận dựa từ khóa truyền thống [14]. Castells và các cộng sự đề xuất phương pháp tìm kiếm dựa trên ontology bằng cách kết hợp mô hình không gian vectơ và ontology [15]. Trọng số của vector được tính bởi tần số xuất hiện của các thể hiện của khái niệm (ontology instance) trong tài liệu.
Kết quả thực nghiệm cho thấy phương pháp này tốt hơn phương pháp dựa trên từ khóa khi tìm kiếm trên một lĩnh vực cụ thể. Sử dụng ontology cho truy tìm thông tin, nói chung, sẽ giúp cho kết quả chính tốt hơn, tuy nhiên, việc xây dựng ontology 3 Luan van một cách thủ công tốn rất nhiều công sức và cần các chuyên gia về các lĩnh vực tham gia. Nhiều nghiên cứu cố gắng xây dựng ontology một cách tự động hoặc bán tự động dựa trên kỹ thuật học [16] nhưng chất lượng của ontology xây dựng được chưa như mong đợi. Một số nghiên cứu khác tìm cách biểu diễn tài liệu dùng đồ thị khái niệm và đánh giá độ liên quan giữa tài liệu và truy vấn dựa trên việc so khớp các đồ thị khái niệm [17, 18].
Các tác giả đánh giá đồ thị khái niệm là cách biểu diễn thích hợp cho truy tìm thông tin [17] và cho kết quả tốt hơn các phương pháp dựa trên từ khóa [18]. Tuy nhiên, các nghiên cứu này chỉ đánh giá thực nghiệm trên các bộ sưu tập nhỏ (lấy từ hệ thống truy tìm thông tin kinh điển SMART 1 của đại học Cornell). Việc mở rộng cách tiếp cận này trên một bộ sưu tập đánh giá chuẩn lớn hơn như TREC chưa được kiểm chứng. Gần đây, mô hình Explicit Semantic Analysis (ESA) [19, 20] được đề xuất cho việc biểu diễn tài liệu.
ESA biểu biễn ý nghĩa, nội dung của tài liệu dùng một không gian nhiều chiều của các khái niệm bằng sử dụng những nguồn tri thức lớn được xây dựng bởi nhiều người như Wikipedia, Open Directory Project (ODP). Từ khi được đề xuất, ESA đã được áp dụng thành công cho phân loại văn bản (text categorization), xác định độ liên quan về ngữ nghĩa giữa các tài liệu (semanitc relatedness), truy tìm thông tin đa ngôn ngữ (cross-language information retrieval), và truy tìm thông tin dựa trên khái niệm [21]. Trong mô hình ESA dựa trên Wikipedia (Wikipedia-based ESA), ý nghĩa (mean- ing) của một từ cho trước được mô tả bởi một véctơ thể hiện mức độ liên quan của từ đó với các khái niệm Wikipedia (Wikipedia concept). Một khái niệm Wikipedia là tựa đề (title) của một bài viết Wikipedia (Wikipedia article) và được biểu diễn như một véctơ các từ xuất hiện trong bài viết này, các từ này được đánh trọng số dùng số đo TF.
Một chỉ mục ngược (inverted index) cũng được tạo ra để ánh xạ trở 1 ftp://ftp.edu/pub/smart/ 4 Luan van lại mỗi từ vào các khái niệm có liên quan với nó với trọng số tương ứng. Mỗi tài liệu được biểu diễn bởi một véctơ (có trọng số) các khái niệm Wikipedia [20, 23]. Theo thực nghiệm thì chỉ áp dụng mô hình ESA đơn thuần không cho kết quả tốt hơn các phương pháp dựa trên từ khóa. Các tác giả đã kết hợp cách biểu diễn dựa trên mô hình ESA với cách biểu diễn dựa trên từ khóa.
Cách tiếp cận này rất thành công và cho kết quả vượt trội so với các phương pháp tìm kiếm dựa trên từ khóa tốt nhất hiện tại.2 Tính cấp thiết Sự bùng nổ thông tin trong thời đại hiện nay khiến chúng ta đối mặt với vấn đề quá tải thông tin. Do vậy, việc tìm kiếm thông tin một cách nhanh chóng và chính xác ngày càng trở thành một nhu cầu cấp thiết. Một lĩnh vực của khoa học máy tính liên quan nhiều nhất đến việc nghiên cứu và phát triển các kỹ thuật tìm kiếm là truy tìm thông tin (information retrieval). Nói ngắn gọn, đây là một khoa học nền tảng cho các công cụ tìm kiếm.
Vấn đề trên tưởng như đã được giải quyết trọn vẹn bởi các công cụ tìm kiếm dựa trên từ khóa nổi bật hiện nay như Google 2 , Yahoo 3 hay Bing 4 nhưng sự thật dường như không phải vậy. Thực tế, các công cụ này tuy hiệu quả nhưng vẫn chưa thể đáp ứng hết các mong muốn của người dùng. Theo khảo sát của Spink và các cộng sự, người dùng thường chỉ dùng 2-4 từ để mô tả nhu cầu thông tin nên các hệ thống tìm kiếm gặp nhiều khó khăn trong việc hiểu được mong muốn thật sự của họ, kết quả là hệ thống thường trả về nhiều tài liệu không liên quan [24, 25]. Đến 50% người dùng không tìm thấy kết quả mong muốn trong lần kích chuột đầu tiên [26].com 3 http://www.com 4 http://www.com 5 Luan van Phương pháp tiếp cận truyền thống trong truy tìm thông tin là dựa trên các từ khóa để lập chỉ mục, tìm và xếp hạng tài liệu.
Cách tiếp cận này, mặc dù hiệu quả, khó có thể biểu diễn được nhu cầu thông tin của người dùng và nội dung của tài liệu một cách trọn vẹn. Các hệ thống tìm kiếm dựa trên từ khóa thường xem các từ này là độc lập nhau và ngữ nghĩa của chúng cũng không được xét đến. Từ khóa trong các hệ thống này chỉ đơn thuần là các chuỗi ký tự.