Nghiên cứu, cải tiến phương pháp mở rộng truy vấn và tích hợp vào hệ thống tìm kiếm tiếng Việt

Luận văn thạc sĩ: Mở rộng truy vấn vào hệ thống tìm kiếm tiếng Việt - ĐH Công nghệ Hà Nội

• Tác giả: Phạm Thị Thu Uyên
• Người hướng dẫn: PGS.TS Hà Quang Thụy
• Trường học: Đại học Quốc gia Hà Nội - Trường Đại học Công nghệ
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên cứu, cải tiến phương pháp mở rộng truy vấn và tích hợp vào hệ thống tìm kiếm tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2011
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về mở rộng truy vấn trong hệ thống tìm kiếm tiếng Việt

Mở rộng truy vấn là một kỹ thuật cốt lõi trong lĩnh vực thu hồi thông tin hiện đại. Quá trình này tự động bổ sung các thuật ngữ liên quan vào câu truy vấn gốc. Mục tiêu chính là thu hẹp khoảng cách từ vựng giữa người dùng và tài liệu lưu trữ. Người dùng thông thường thường nhập các câu hỏi rất ngắn. Những từ khóa ngắn thường thiếu ngữ cảnh cụ thể. Hệ thống tìm kiếm khó xác định chính xác ý định thực sự. Hiện tượng này dẫn đến tình trạng bỏ sót nhiều tài liệu giá trị. Nghiên cứu tại Trường Đại học Công nghệ tập trung giải quyết triệt để vấn đề này. Phương pháp mở rộng truy vấn tái cấu trúc câu hỏi bằng từ đồng nghĩa và thực thể liên quan. Hệ thống khai thác cấu trúc đồ thị tri thức để tìm kiếm từ vựng phù hợp. Kết quả hiển thị đạt độ bao phủ cao hơn. Độ chính xác của danh sách tài liệu cũng tăng lên rõ rệt. Quá trình xử lý diễn ra tự động và nhanh chóng. Cơ chế này hỗ trợ đắc lực cho các hệ thống tìm kiếm dữ liệu tiếng Việt chuyên sâu.

1.1. Khái niệm cơ bản về mở rộng truy vấn

Mở rộng truy vấn là quá trình làm giàu thông tin cho câu hỏi ban đầu. Hệ thống tự động thêm các từ có quan hệ ngữ nghĩa mật thiết. Thao tác này nhằm mục đích tìm kiếm đúng tài liệu mà người dùng mong đợi. Nhiều tài liệu liên quan không chứa trực tiếp từ khóa gốc. Kỹ thuật mở rộng giúp bắc cầu qua rào cản ngữ nghĩa này. Các thuật toán hiện đại có thể khai thác nhiều nguồn dữ liệu khác nhau. Nguồn ngữ liệu bao gồm từ điển điện tử, nhật ký truy vấn và kho tri thức bách khoa. Hệ thống tính toán trọng số cho từng từ được thêm vào. Từ ngữ có độ liên quan cao nhất sẽ được giữ lại. Quá trình tra cứu trở nên toàn diện hơn.

1.2. Vai trò của mở rộng truy vấn trong tìm kiếm tiếng Việt

Tiếng Việt sở hữu đặc trưng đơn lập với hệ thống từ vựng phong phú. Hiện tượng đồng nghĩa và đa nghĩa xuất hiện rất phổ biến trong ngôn ngữ này. Người dùng thường sử dụng từ ngữ địa phương hoặc các tên gọi khác nhau. Sự đa dạng này tạo nên thách thức lớn cho máy tìm kiếm truyền thống. Kỹ thuật mở rộng truy vấn giúp hệ thống hiểu sâu ý định tìm kiếm. Thuật toán kết nối các từ đồng nghĩa và biến thể từ vựng lại với nhau. Người tìm kiếm nhận được kết quả đầy đủ mà không cần thử lại nhiều lần. Thời gian tìm kiếm được rút ngắn đáng kể. Hiệu suất thu hồi thông tin tiếng Việt được cải thiện rõ nét. Đây là bước tiến quan trọng cho các cổng thông tin số.

II. Thách thức mở rộng truy vấn vào hệ thống tìm kiếm tiếng Việt

Xử lý ngôn ngữ tự nhiên tiếng Việt gặp nhiều rào cản phức tạp. Ngôn ngữ tiếng Việt không sử dụng khoảng trắng để phân tách từ như tiếng Anh. Một từ tiếng Việt có thể cấu thành từ nhiều âm tiết riêng biệt. Tách từ không chuẩn xác sẽ làm sai lệch hoàn toàn ngữ nghĩa ban đầu. Vấn đề nhập nhằng từ vựng diễn ra rất thường xuyên trong thực tế. Cùng một từ có thể mang nhiều tầng nghĩa tùy theo văn cảnh. Khi mở rộng truy vấn sai, hệ thống sẽ gây hiện tượng trôi dạt chủ đề. Máy tìm kiếm sẽ trả về những tài liệu hoàn toàn xa rời nhu cầu ban đầu. Bên cạnh đó, tài nguyên ngữ nghĩa số hóa cho tiếng Việt còn nhiều hạn chế. Hệ thống từ điển WordNet tiếng Việt thời điểm nghiên cứu chưa thực sự hoàn thiện. Dữ liệu quan hệ từ vựng còn thiếu tính cập nhật và liên kết đồng bộ. Thói quen người dùng thường chỉ nhập từ hai đến ba từ ngắn. Những truy vấn quá ngắn làm thiếu hụt nghiêm trọng dữ liệu ngữ cảnh hỗ trợ. Điều này đặt ra áp lực tính toán rất lớn cho các thuật toán tìm kiếm.

2.1. Vấn đề nhập nhằng ngữ nghĩa và trôi dạt chủ đề

Hiện tượng nhập nhằng từ vựng là trở ngại lớn nhất trong xử lý truy vấn. Nhiều từ tiếng Việt đồng âm nhưng mang ý nghĩa hoàn toàn khác nhau. Nếu chọn sai từ đồng nghĩa để bổ sung, câu truy vấn sẽ bị biến dạng. Hiện tượng trôi dạt chủ đề xuất hiện khi các từ mở rộng dẫn dắt máy tìm kiếm sang hướng khác. Người dùng tìm thông tin lịch sử có thể nhận về kết quả thương mại. Độ nhiễu thông tin tăng cao khiến người dùng mất thời gian sàng lọc. Việc kiểm soát ngữ cảnh truy vấn đòi hỏi thuật toán đánh giá trọng số tinh vi. Hệ thống cần tự động lọc bỏ các từ khóa nhiễu trước khi tra cứu.

2.2. Sự thiếu hụt tài nguyên ngữ nghĩa số hóa tiếng Việt

Các ngôn ngữ lớn như tiếng Anh có cơ sở tri thức rất phát triển. Ngược lại, tài nguyên ngữ nghĩa tiếng Việt đối mặt tình trạng phân tán. Các bộ từ điển điện tử tiếng Việt thời kỳ đầu còn đơn sơ. Mối quan hệ giữa các khái niệm chưa được liên kết chặt chẽ thành mạng lưới. Dữ liệu bách khoa số hóa tiếng Việt chưa thực sự phong phú và chuẩn hóa. Điều này gây khó khăn khi trích xuất thực thể tương đương. Các nhà nghiên cứu phải tự xây dựng kho ngữ liệu từ các nguồn mở. Việc thiếu chuẩn hóa làm giảm độ tin cậy của thuật toán mở rộng tự động. Đây là thách thức căn bản cần các phương pháp lai ghép bù đắp.

III. Giải pháp mở rộng truy vấn trong hệ thống tìm kiếm tiếng Việt

Luận văn tại ĐH Công nghệ đề xuất giải pháp mở rộng truy vấn kết hợp nhiều tầng. Mô hình tích hợp từ đồng nghĩa cùng đồ thị khái niệm trích xuất từ Wikipedia. Phương pháp này vận hành qua ba giai đoạn xử lý dữ liệu chặt chẽ. Trước hết, hệ thống chuẩn hóa chuỗi truy vấn và tách từ tiếng Việt. Tiếp theo, mô hình tìm kiếm các thực thể danh xưng tương đương trong kho tri thức. Các biến thể tên gọi được gom cụm bằng thuật toán phân cụm dữ liệu tự động. Mỗi cụm thực thể được biểu diễn dưới dạng một vector đặc trưng toán học. Hệ thống áp dụng toán tử logic OR để liên kết các biến thể từ khóa. Câu truy vấn mở rộng kết hợp giữa tên thông dụng và tên chính thức của thực thể. Nhờ vậy, máy tìm kiếm quét sạch các văn bản sử dụng dị bản tên gọi khác nhau. Cơ chế lọc nhiễu tự động giúp loại trừ các từ phát sinh không liên quan. Cách tiếp cận này tối ưu hóa độ chính xác mà không đòi hỏi chỉnh sửa thủ công.

3.1. Ứng dụng đồ thị khái niệm và phân cụm Wikipedia

Đồ thị khái niệm Wikipedia cung cấp nguồn tri thức phong phú và cập nhật. Phương pháp sử dụng công cụ Lemur Toolkit để thu thập dữ liệu văn bản. Dữ liệu thu thập sau đó được đưa vào thuật toán phân cụm kỳ vọng cực đại EM. Công cụ Weka hỗ trợ phân chia các bài viết thành từng cụm chủ đề riêng biệt. Mỗi cụm đại diện cho một không gian ngữ nghĩa thống nhất. Thuật toán trích xuất các liên kết nội bộ giữa các bài viết bách khoa. Các khái niệm liên quan chặt chẽ được nhóm lại thành mạng lưới tri thức. Hệ thống dựa vào đồ thị này để chọn lọc các từ mở rộng chuẩn xác nhất. Phương pháp này giảm thiểu tối đa hiện tượng sai lệch ngữ nghĩa.

3.2. Mô hình mở rộng truy vấn thực thể tiếng Việt

Tìm kiếm thực thể là trọng tâm cải tiến của đề tài nghiên cứu. Nhiều thực thể lịch sử và văn hóa tiếng Việt có nhiều biệt danh khác nhau. Ví dụ tiêu biểu là trường hợp danh nhân Trạng Lường và Lương Thế Vinh. Mô hình đề xuất tự động phát hiện tên gọi thay thế của thực thể cần tìm. Hệ thống thiết lập câu truy vấn mở rộng kết hợp bằng toán tử OR. Cấu trúc câu hỏi mới có dạng 'trạng lường' OR 'lương thế vinh'. Cơ chế này cho phép máy tìm kiếm đồng thời quét cả hai tên gọi. Tài liệu chứa một trong hai tên đều được thu thập đầy đủ. Giải pháp giúp nâng cao chất lượng tìm kiếm thực thể tiếng Việt một cách rõ rệt.

IV. Đánh giá ứng dụng mở rộng truy vấn tại trường ĐH Công nghệ

Kết quả thực nghiệm trong luận văn chứng minh tính hiệu quả vượt trội của mô hình. Nghiên cứu thực hiện kiểm tra chi tiết trên tập dữ liệu mẫu thực tế. So với câu truy vấn đơn lẻ, câu truy vấn mở rộng đem lại lượng tài liệu phong phú hơn hẳn. Khi tra cứu từ khóa 'trạng lường', số trang web thực sự chứa nội dung trong 50 kết quả đầu tiên là 49 trang. Trong khi đó, câu truy vấn mở rộng bổ sung 'lương thế vinh' đạt trọn vẹn 50 trang web chuẩn xác. Trên tập mẫu lớn 650 trang web, câu truy vấn mở rộng tìm thấy 563 trang có nội dung phù hợp. Con số này vượt xa mức 380 trang của câu truy vấn gốc ban đầu. Tỷ lệ tăng trưởng kết quả hữu ích đạt gần 50 phần trăm. Điều này khẳng định việc tích hợp mở rộng truy vấn giúp khắc phục triệt để khoảng trống từ vựng. Đề tài mở ra tiềm năng ứng dụng to lớn cho các cổng tra cứu dữ liệu tiếng Việt. Các hệ thống tìm kiếm nội bộ trường học và viện nghiên cứu đều có thể hưởng lợi trực tiếp.

4.1. Phân tích kết quả thực nghiệm định lượng

Các chỉ số thực nghiệm phản ánh sự gia tăng rõ rệt về độ bao phủ tài liệu. Khi khảo sát 200 kết quả đầu tiên, câu truy vấn mở rộng đạt 198 trang hợp lệ. Truy vấn ban đầu chỉ tìm được 167 trang chứa nội dung liên quan. Mức chênh lệch tiếp tục nới rộng khi số lượng trang khảo sát tăng lên 500 trang. Truy vấn cải tiến tìm được 489 trang hữu ích, cao hơn nhiều mức 311 trang của truy vấn gốc. Điều này chứng minh thuật toán thu thập thêm rất nhiều tài liệu bị bỏ quên. Độ chính xác trung bình của danh sách kết quả vẫn giữ ở mức cao. Tình trạng mất mát thông tin hữu ích được hạn chế tối đa.

4.2. Khả năng ứng dụng thực tế và hướng phát triển

Mô hình nghiên cứu cung cấp nền tảng giá trị cho các công cụ tìm kiếm tiếng Việt. Các thư viện số và cơ quan quản lý tài liệu có thể tích hợp trực tiếp giải pháp. Hệ thống giúp cán bộ và độc giả tra cứu kho tài liệu đồ sộ một cách nhanh chóng. Người tra cứu không cần am hiểu sâu sắc mọi tên gọi hay thuật ngữ cổ xưa. Trong tương lai, mô hình có thể kết hợp thêm các kho ngữ liệu tri thức ngữ nghĩa hiện đại. Việc ứng dụng học sâu sẽ hỗ trợ hiểu ngữ cảnh tự nhiên sâu sắc hơn. Khả năng tự động lọc nhiễu cũng sẽ tiếp tục được nâng cấp. Đây là hướng đi bền vững cho các giải pháp tìm kiếm dữ liệu học thuật.

Trích đoạn nội dung tài liệu

chương 1 Trong chương này, luận văn giới thiệu khái quát về kiến trúc chung của hệ thống tìm kiếm, một số bài toán được đặt ra nhằm cải thiện độ chính xác cho hệ thống. Đồng thời, đề cập tới bài toán Mở rộng truy vấn – một phương pháp xử lý truy vấn đầu vào cho hệ thống tìm kiếm. Trong chương tiếp theo, luận văn trình bày một số phương pháp Mở rộng truy vấn đã được nghiên cứu và công bố. Một số phương pháp mở rộng truy vấn Mở rộng truy vấn được nhiều nhà khoa học trên thế giới quan tâm vào có nhiều công trình nghiên cứu về bài toán này [13, 15, 18].

Đã có rất nhiều nhóm giải pháp và hướng tiếp cận khác nhau, mỗi phương pháp có những ưu nhược điểm riêng. Chương này thực hiện trình bày các phương pháp đã được nghiên cứu và áp dụng vào Hệ thống tìm kiếm, Hệ thống hỏi đáp, mỗi phương pháp trình bày một hướng xử lý cụ thể. Bài toán mở rộng truy vấn được đặt ra trong việc xây dựng truy vấn ban đầu cho việc tìm kiếm trực tuyến. Theo Efthimiadis [8], các phương pháp chính được sử dụng để mở rộng truy vấn như sau: - Phương pháp thủ công - Phương pháp tự động - Phương pháp kết hợp 2.1 Phương pháp thủ công Đây là mở rộng truy vấn chủ yếu kết hợp việc tìm kiếm Boolean.

Có rất nhiều mô hình tìm kiếm trực tuyến đã được phát triển dựa trên mô hình Boolean và các phương pháp tương tác giữa người dùng và hệ thống truy hồi. Có nhiều phương pháp được công bố, như: xây dựng khối (building block), tìm kiếm đơn giản (brief search), successive fraction,…  Phương pháp xây dựng khối (building block): Được MARKEY và COCHRANE đưa ra năm 1981 [15],phương pháp này được người dùng sử dụng thường xuyên. Phương pháp này gồm các bước chính sau: - Bước 1: Dựa vào câu truy vấn ban đầu, người tìm kiếm (người dùng hệ thống) sẽ thực hiện phân tích chủ đề của câu truy vấn - Bước 2: Dựa vào chủ đề của câu truy vấn được xác định, tiếp tục phân tích và đưa ra một tập các khái niệm có liên quan. o Việc lựa chọn các khái niệm liên quan dựa vào mối quan hệ từ đồng nghĩa (synonyms) và từ gần nghĩa (quasi-synonyms).

- Bước 3: o Tất cả các khái niệm trong tập khái niệm được xác định ở bước 2, nối với nhau bởi phép toán OR, làm đầu vào cho máy tìm kiếm. 17 o Đầu ra tương ứng với mỗi câu truy vấn sẽ có các tài liệu có nội dung liên quan. Các tập tài liệu này được nối với nhau bằng phép toán AND. Ví dụ: Có một khái niệm t.

Sau khi người dùng phân tích khái niệm trên sẽ đưa ra 3 chủ đề có liên quan tới khái niệm t là A, B, C. Từ các chủ đề lựa chọn các khái niệm có liên quan tới câu truy vấn, thực hiện lựa chọn các khái niệm đồng nghĩa hoặc gần nghĩa A B C Term A1 Term B1 Term C1 Term A2 Term B2 Term C2 Term A3 Term B3 Term C3 …. Term A3 Term B3 Term C3 Term (A1,., An) OR-ed Term (B1,., An) OR -ed Term (C1,., Cn) OR-ed AND-ed Hình 3. Mô hình của phương pháp xây dựng khối (building block) 2.2 Phương pháp tự động Phương pháp này tận dụng các khái niệm có sẵn trong tập từ điển và các mối quan hệ giữa chúng để thực hiện mở rộng truy vấn.1 Mối quan hệ giữa các khái niệm Mối quan hệ giữa các khái niệm (khái niệm ở đây có thể là một từ hoặc một cụm danh từ) được biểu diễn dưới dạng cấu trúc phân cấp.

Dựa vào những đặc trưng và đặc tính ngữ nghĩa, ta có thể phân thành nhiều loại mối quan hệ khác nhau. Theo Girju, một số mối quan hệ ngữ nghĩa quan trọng là thường dùng để thể hiện mối quan hệ giữa các khái niệm như: hyponymy/ hypernymy (is - a), meronymy/holonymy (part - whole), synonymy và antonymy [11]. Ngoài ra, các khái niệm và mối quan hệ giữa chúng cũng được thể hiện thông qua các tập corpus, từ điển ngôn ngữ học,….Vì thế, cũng có rất nhiều mối quan hệ khác nhau để biểu diễn chúng. 18  Giới thiệu về WordNet WordNet4 là một từ điển trực tuyến trong Tiếng Anh, được phát triển bởi các nhà từ điển học trường đại học Princeton.

WordNet bao gồm khoảng 100.000 khái niệm bao gồm danh từ, động từ, tính từ, phó từ liên kết với nhau thông qua 17 mối quan hệ (được mô tả trong bảng 1) [11]. Thông thường, người ta thường hay sử dụng WordNet cho việc tìm kiếm các mối quan hệ ngữ nghĩa. Đồng thời, dựa vào các mối quan hệ này, một từ trong WordNet có thể tìm được các mối liên hệ với các khái niệm khác. Ví dụ: Từ “car” trong WordNet có thể tìm được mối liên hệ với các từ như: Vehicle, Owner, Wheels, high,… thông qua các mối quan hệ như: is-a, has part, hasOwner, hasSpeed,… (như hình 4) Hình 4.

Mối liên hệ giữa từ “car” với các từ khác thông qua các mối quan hệ 4 http://wordnet. Mối quan hệ ngữ nghĩa trong WordNet Các khái niệm được liên kết Mối quan hệ Ví dụ với nhau bởi mối quan hệ Hypernymy Danh từ - Danh từ Cat is-a feline (is - a) Động từ - Động từ Manufacture is-a make Hyponymy Danh từ - Danh từ Feline reverse is-a cat (reverse is-a) Động từ - Động từ Manufacture reverse is-a make Is-part-of Danh từ - Danh từ Leg is-part-of table Has-part Danh từ - Danh từ Table has-part leg Is-member-of Danh từ - Danh từ UK is-member-of NATO Has-member Danh từ - Danh từ NATO has-member UK Is-suff-of Danh từ - Danh từ Carbon is-stuff-of coal Has-stuff Danh từ - Danh từ Coal has-stuff carbon Cause-to Động từ - Động từ To develop cause-to to grow Entail Động từ - Động từ To snore entail to sleep Atribute Tính từ - Danh từ Hot attribute temperature Synonymy Danh từ - Danh từ Car synonym automobile (synset) Động từ - Động từ To notice synonym to observe Tính từ - Tính từ Happy synonym content Phó từ - Phó từ Mainly synonym primarily Antonymy Danh từ - Danh từ Happines antonymy unhappiness Động từ - Động từ To inhale antonymy to exhale Tính từ - Tính từ Sincere antonymy insincere Phó từ - Phó từ Always antonymy never Similarity Tính từ - Tính từ Abridge similarity shorten See-also Động từ - Động từ Touch see-also touch down 20 Tính từ - Tính từ Inadequate see-also insatisfactory  Giới thiệu về ontology YAGO Năm 2007, Fabian nghiên cứu và giới thiệu ontology YAGO[9]. YAGO được xây dựng tự động từ sự kết hợp giữa Wikipedia và từ điển Wordnet. Nó bao gồm các thực thể và các mối quan hệ giữa chứng.

Hiện tại, YAGO có khoảng 1,7 triệu thực thể và 15 triệu sự kiện. Chúng bao gồm các mối quan hệ phân cấp và không phân cấp. Thông qua kết quả thực nghiệm, Fabian đánh giá độ chính xác của ontology YAGO là 95%. Giới thiệu về YAGO 21 2.

Một số nghiên cứu về mở rộng truy vấn sử dụng tập từ điển Năm 1993, Voorhess đã khai thác các ngữ nghĩa chứa trong worknet nhằm cải tiến hiệu quả của truy vấn bằng chỉ mục với các ngữ nghĩa của từ thay cho các từ gốc [8]. Kết quả cho thấy hiệu quả của những vector tạo ra bởi kĩ thuật khử nhập nhằng có phần xấu hơn các vector gốc. Qua thực nghiệm, các tác giả nhận thấy những phát biểu truy vấn ngắn có thể gặp khó khăn trong bước khử nhặp nhằng khi tìm kiếm thông tin, vì quan hệ phân cấp is-a không đủ mạnh cho việc chọn các nghĩa chính xác của từ. Từ đó, trong vấn đề về giải pháp mở rộng truy vấn sử dụng tự động các synsset được tạo hoặc vấn đề giải quyết các ngữ nghĩa không chính xác, việc so trùng chính xác các thiếu sót có hiệu suất truy hồi thông tin thấp hơn so với các giải pháp so trùng không chính xác.

Năm 1994, Voorhees, đã sử dụng WordNet để tiến hành thực nghiệm trên các tập TREC trong miền chuyên biệt. Các kết quả cho thấy việc mở rộng truy vấn có thể cải tiến những vấn đề từ vựng không trùng khớp, đặc biệt trong trường hợp các từ được mở rộng có liên quan về từ vựng với các từ trong truy vấn. Ngược lại, việc mở rộng truy vấn cho các truy vấn dài chỉ cải thiện rất nhỏ tính hiệu quả của truy vấn thông tin, vì bản thân truy vấn nguyên thủy đã mô tả đầy đủ yêu cầu thông tin. Năm 1998, theo phân tích của nhóm Mandala [17] WordNet có nhược điểm là các danh từ riêng không đầy đủ và không có khả năng để hình thức hóa các quan hệ giữa các từ thuộc các phần khác nhau của từ loại.

Ngoài ra, quan hệ bộ phận (meronymy) bị hạn chế trong sự diễn dịch của nó. Để giải quyết vấn đề này, năm 2006 Grootjen và Van De Weider [10] dùng giải pháp kết hợp bao gồm một từ điển chuyên đề toàn cục và từ điển chuyên đề cục bộ được tạo tự động. Điều này đã bổ sung những khiếm khuyết về từ vựng trong quá trình khai thác WordNet. Năm 2005, nhóm Nilsson [12] đã sử dụng một ontology miền đặc trưng dựa trên hệ thống SuiS (Stockholm University Information System) để thực hiện mở rộng truy vấn SuiS chỉ cho phép các kiểu câu hỏi gồm Who, What, When, Where và chỉ có các từ đồng nghĩa và trái nghĩa được sử dụng để tăng độ chính xác.

Thực nghiệm cho thấy sự cải tiến mang lại kết quả tốt. Tuy nhiên, phương pháp này giới hạn đối với câu hỏi WHO, chưa thực hiện được với các truy vấn tự do Năm 2011, tận dụng các mối quan hệ cũng như các sự kiện đã được định nghĩa trong ontology YAGO được mô tả ở trên, nhóm tác giả Abdullah và Rehab [1] đã sử dung 22 YAGO để thực hiện mở rộng truy vấn. Ngoài ra, nhóm tác giả đã sử dụng kết quả của việc mở rộng truy vấn vào Hệ thống hỏi đáp QASYO.3 Phương pháp kết hợp Khác với các phương pháp đã trình bày ở trên, việc mở rộng truy vấn sử dụng phương pháp này được thực hiện kết hợp giữa hệ thống và người sử dụng. Hệ thống sẽ thực hiện liệt kê và xếp hạng tập các từ có liên quan và người sử dụng phải quyết định lựa chọn các khái niệm theo quan điểm tìm kiếm để tự thêm vào câu truy vấn.

Vì vậy, người dùng là người quyết định cuối cùng việc mở rộng của một từ. Nó phản ảnh tầm quan trọng tương đối và tính hữu dụng của các khái niệm dựa vào quan điểm của người sử dụng, do đó tăng sự hài lòng của người sử dụng.