chương 1, tác giả trình bày cơ sở lý thuyết, kết quả nghiên cứu tổng quan về các vấn đề nghiên cứu trong luận án; thực hiện việc phân tích, đánh giá các công trình nghiên cứu liên quan và chỉ ra một số hạn chế trong lĩnh vực tìm kiếm web xuyên ngữ. Trên cơ sở các phân tích, đánh giá, tác giả đề xuất mô hình hệ thống tìm kiếm web xuyên ngữ và xác định các nội dung nghiên cứu sẽ được triển khai. TRUY VẤN THÔNG TIN 1. Khái niệm Truy vấn thông tin (Information Retrieval – IR) là ngành khoa học liên quan đến việc phân tích, thiết kế và triển khai các hệ thống máy tính nhằm biểu diễn, tổ chức và truy cập khối lượng lớn thông tin được số hoá.
Thuật ngữ Information Retrieval được phát biểu như sau: "truy vấn thông tin là tìm kiếm tư liệu (thường dưới dạng tài liệu), với bản chất không có cấu trúc (thường dưới dạng văn bản) thoả mãn được nhu cầu thông tin từ một bộ sưu tập lớn (thường được lưu trữ trong máy tính)" [104]. Định nghĩa này đề cập đến cả hai khía cạnh hướng hệ thống và hướng người dùng của tìm kiếm thông tin và là cơ sở phát triển các hướng nghiên cứu và ứng dụng khác nhau. Các hệ thống truy vấn thông tin tự động ban đầu được phát triển nhằm giúp quản lý các hệ thống tài liệu khoa học [43]. Ngày nay, nhiều trường đại học, công ty và thư viện sử dụng các hệ thống truy vấn thông tin phục vụ việc truy cập sách, tạp chí và các loại tài liệu khác; các hệ thống tìm kiếm thương mại cung cấp cơ sở dữ liệu chứa hàng triệu tài liệu trong lĩnh vực được quan tâm; ngoài ra có hàng trăm triệu người hàng ngày thực hiện việc tìm kiếm thông tin trên World Wide Web.
Sự bùng nổ kể cả về số lượng và chủng loại thông tin trên World Wide Web từ những năm 2000, cùng với các tiến bộ trong công nghệ phần cứng và phần mềm, -9- đã tạo ra các cơ hội cũng như các thách thức và đã biến truy vấn thông tin trở thành một lĩnh vực nghiên cứu được đặc biệt quan tâm; kết hợp và ứng dụng kết quả của nhiều ngành khoa học khác như xử lý ngôn ngữ tự nhiên, giao tiếp người và máy, thiết kế giao diện. Định nghĩa hình thức Một cách hình thức, hệ thống truy vấn thông tin được mô tả như sự kết hợp của 4 thành phần f(D,Q,F, R(q,d)) [4], trong đó: D là tập hợp biểu diễn lô-gíc cho các tài liệu (thành phần biểu diễn tài liệu); Q là tập hợp biểu diễn lô-gíc cho nhu cầu người sử dụng (thành phần biểu diễn truy vấn); F là khung cơ sở cho việc mô hình hoá biểu diễn tài liệu, biểu diễn truy vấn và quan hệ giữa chúng (thành phần lý luận); R(q,d) là hàm xếp hạng, tương ứng với mỗi truy vấn qQ và một tài liệu dD, trả lại một giá trị là số thực. Một hàm như vậy xác định thứ tự giữa các tài liệu tương ứng với truy vấn q. Sơ đồ xử lý của hệ thống truy vấn thông tin Sơ đồ tổng quát mô tả quá trình xử lý trong một hệ thống truy vấn thông tin được trình bày trong Hình 1.
Để đáp ứng nhu cầu truy vấn thông tin của người sử dụng, các giải pháp truy vấn thông tin được chia thành 2 giai đoạn thực hiện độc lập: Giai đoạn I: Thu thập, xử lý, đánh chỉ mục, lưu trữ tài liệu. Giai đoạn II: Truy vấn; thực hiện việc xử lý câu truy vấn, trả về danh sách kết quả. Mục đích của giai đoạn I là xây dựng một cơ sở dữ liệu quản lý các tài liệu. Các thao tác xử lý văn bản và đánh chỉ mục được thực hiện để đưa các văn bản trong kho tài liệu vào bộ chỉ mục.
Việc đánh chỉ mục cho tài liệu được thực hiện nhằm tạo lập biểu diễn lô-gíc cho các tài liệu, đảm bảo tiết kiệm không gian lưu trữ - 10 - và phục vụ truy xuất nhanh. Sau khi bộ chỉ mục cho các tài liệu được định nghĩa, có thể thực hiện việc truy vấn. THU THẬP, XỬ LÝ, ĐÁNH CHỈ MỤC, LƯU TRỮ DỮ LIỆU 1.2: Đánh chỉ mục Biểu diễn văn bản Kho Bộ tài liệu chỉ mục Tài liệu tải về Giao diện 2.2: Xử lý truy vấn 2.4: Xếp hạng Biểu diễn văn bản Biểu diễn truy vấn Yêu cầu thông tin Nội dung Danh sách tài liệu phản hồi được xếp hạng TRUY VẤN Hình 1.1: Quá trình xử lý của hệ thống truy vấn thông tin [4] Trong giai đoạn II, người sử dụng được cung cấp một giao diện để thực hiện việc trình bày yêu cầu thông tin cũng như tiếp nhận kết quả tìm kiếm. Tại giao diện, người sử dụng xác định nhu cầu thông tin dưới dạng câu truy vấn.
Các thao tác xử lý văn bản và xử lý truy vấn được áp dụng nhằm tạo lập một dạng biểu diễn lô-gíc cho nhu cầu thông tin của người dùng. Quá trình tìm kiếm được thực hiện bởi hệ thống dựa trên việc so sánh biểu diễn của câu truy vấn và của các tài liệu được đánh chỉ mục. Trước khi được trả về cho người sử dụng, các tài liệu được sắp xếp theo thứ tự phù hợp so với nhu cầu truy vấn thông qua quá trình xếp hạng. Tiếp theo, một quá trình xử lý thông tin phản hồi có thể được thực hiện nhằm giúp hệ thống - 11 - thực hiện lại các thao tác xử lý truy vấn, tìm kiếm, xếp hạng và tạo lập một danh sách kết quả mới có chất lượng tốt hơn.
Có hai loại thông tin phản hồi: phản hồi thực sự dựa trên sự đánh giá của người dùng khi nhận được danh sách kết quả tài liệu; ngược lại, phản hồi giả được tạo lập bằng cách khai thác thông tin từ các tài liệu đứng đầu danh sách kết quả tìm kiếm ban đầu. Các mô hình truy vấn thông tin truyền thống Mô hình truy vấn thông tin đóng vai trò như một bản thiết kế, định nghĩa và giải thích các nội dung công việc được thực hiện trong một hệ thống truy vấn thông tin, bao gồm cách biểu diễn tài liệu, biểu diễn truy vấn, tính điểm xếp hạng các tài liệu so với câu truy vấn. Các mô hình truy vấn thông tin truyền thống bao gồm mô hình Boolean, mô hình không gian vec-tơ, mô hình xác suất [4]. Trừ mô hình Boolean, các mô hình khác sử dụng công thức xếp hạng mức độ phù hợp của tài liệu so với câu truy vấn; thông qua đó người sử dụng nhận được danh sách các tài liệu được xếp hạng theo mức độ phù hợp.1 Mô hình Boolean Mô hình Boolean là mô hình cơ bản và đơn giản dựa trên đại số Bool, sử dụng nguyên tắc so sánh chính xác khi tìm kiếm văn bản [4].
Mỗi tài liệu và câu truy vấn được biểu diễn dưới dạng kết hợp của các từ chứa bên trong. Ví dụ, tài liệu D = t1 ∩ t2 ∩ t3, với t1, …t3 là các thuật ngữ chứa trong tài liệu, một câu truy vấn Q có thể có dạng t1 ∪ t3. Tài liệu D được xác định phù hợp với câu truy vấn Q nếu và chỉ nếu D→Q. Điểm hạn chế lớn nhất của mô hình Boolean là nó không hỗ trợ việc xếp hạng các văn bản, không xử lý được vấn đề đồng nghĩa và đa nghĩa, có cú pháp phức tạp và dễ gây nhầm lẫn.
Một số mở rộng của mô hình này bao gồm mô hình vùng, coi bộ sưu tập tài liệu như một chuỗi từ liên tục, mỗi chuỗi tuỳ ý các từ nối tiếp là một vùng [62]; mô hình lô-gic mờ gộp các từ đồng nghĩa và các từ liên quan - 12 - vào các nhóm với trọng lượng tương ứng tần suất xuất hiện của từ, nhằm phát huy ưu điểm về tính đơn giản và khắc phục các hạn chế vốn có của mô hình gốc [76].2 Mô hình không gian vec-tơ Mô hình không gian vec-tơ khắc phục các hạn chế của mô hình Boolean bằng cách gán trọng số cho các thuật ngữ trong tài liệu và câu truy vấn. Các trọng số này được sử dụng để tính mức độ tương tự giữa tài liệu và câu truy vấn. Ký hiệu {w1, w2,…,wn} là tập hợp các thuật ngữ được sử dụng trong các tài liệu. Giá trị n tương ứng với kích thước tập hợp thuật ngữ.
Với một văn bản dj và câu truy vấn q, mức độ tương tự được ký hiệu là ⃗, ⃗ của trong mô hình không gian véc-tơ và được tính toán bằng cách sử dụng công thức cô-sin [4] dưới dạng sau: ⃗∙ ⃗ ∑ , × , ⃗, ⃗ = cos( ) = = ⃗ × | ⃗| (1.1) ∑ , × ∑ , Ở đây, tài liệu dj được biểu diễn bằng vec-tơ ⃗ , câu truy vấn q được biểu diễn bằng vec-tơ ⃗; là góc giữa 2 vec-tơ ⃗ và ⃗; wi,j là trọng số thuật ngữ wi trong tài liệu dj; wi,q là trọng số thuật ngữ wi trong câu truy vấn q. Giá trị công thức là một số thực trong đoạn [0,1]. Các tài liệu được coi là phù hợp một phần nếu như giá trị ⃗, ⃗ vượt quá một ngưỡng xác định trước và được sắp xếp theo giá trị giảm dần của ⃗, ⃗. Một mô hình khác do Gerard Salton đề xuất và được sử dụng rộng rãi với tên gọi mô hình tf-idf [136].
Mô hình sử dụng chủ yếu hai thước đo về tần suất xuất hiện của thuật ngữ trong các tài liệu và giá trị tần suất tài liệu chứa thuật ngữ để xác định mức độ tương tự của một tài liệu so với câu truy vấn. Ký hiệu tft,d là tần suất xuất hiện của thuật ngữ t trong tài liệu d, ký hiệu dft là tần suất tài liệu chứa thuật ngữ t và N là tổng số tài liệu trong toàn bộ kho tài liệu, mô hình đưa ra khái niệm tần suất tài liệu nghịch đảo idft cho thuật ngữ t như sau: - 13 - = log( ) (1.2) Từ đây và cùng sử dụng các ký hiệu đã được định nghĩa, công thức tf-idf xác định mức độ tương tự ( , ) của văn bản d và câu truy vấn q có dạng: ( , )= , × (1.3) ∈ Mô hình không gian véc-tơ có nhiều ưu điểm: nó đưa ra khái niệm phù hợp một phần; các công thức xếp hạng trình bày ở trên cho phép đồng thời xác định sự phù hợp và phục vụ sắp xếp danh sách kết quả. Điểm hạn chế của mô hình này là các từ khoá được giả định độc lập và mô hình không đánh giá được ngữ nghĩa của câu truy vấn.