chương 1 là giới thiệu sơ lược về truy hồi thông tin. Các nội dung được đề cập đến như sau: Khái niệm về truy hồi thông tin Các giai đoạn trong quá trình truy hồi thông tin Giới thiệu phần mềm mã nguồn mở Lucene Các phương pháp giải quyết truy hồi thông tin. Đánh giá hiệu quả của việc truy hồi thông tin 1. Các khái niệm truy hồi thông tin Thuật ngữ truy hồi thông tin (Information Retrieval - IR), là việc tìm kiếm tài liệu ở trạng thái phi cấu trúc (thường là văn bản) đáp ứng nhu cầu thông tin nhất định từ các tập tin lớn trên máy tính, máy chủ cục bộ hoặc trên Internet [1].
IR là lĩnh vực khoa học máy tính chuyên về lý thuyết và thực hành tìm kiếm thông tin. Vì văn bản là phương tiện phổ biến nhất được sử dụng để biển diễn và phân phối thông tin một cách hiệu quả, nên hầu hết các nghiên cứu về IR đều tập trung vào việc tìm kiếm thông qua các bộ sưu tập văn bản của tài liệu [25]. Việc truy hồi thông tin có thể có nhiều hình thức khác nhau. Người dùng có thể bày tỏ nhu cầu thông tin của họ dưới dạng một truy vấn văn bản — bằng cách gõ trên bàn phím, bằng cách chọn đề xuất truy vấn hoặc bằng giọng nói nhận dạng — hoặc truy vấn có thể ở dạng hình ảnh, hoặc một số các trường hợp nhu cầu có thể được ngầm hiểu.
Việc truy hồi có thể liên quan đến việc xếp hạng hiện có các phần nội dung, chẳng hạn như tài liệu hoặc câu trả lời ngắn, hoặc sáng tác phản hồi mới kết hợp thông tin đã truy hồi. Cả hai thông tin nhu cầu và các kết quả được truy hồi có thể sử dụng cùng một phương thức (ví dụ: truy hồi tài liệu văn bản để đáp ứng với truy vấn từ khóa), hoặc là khác nhau (ví dụ, tìm kiếm hình ảnh bằng cách sử dụng truy vấn văn bản). Tng hp các án, khóa lun, tiu lun, chuyên và lun vn tt nghip i hc v các chuyên ngành: Kinh t, Tài Chính & Ngân Hàng, Công ngh thông tin document, khoa luan, tieu luan, 123doc, T 6 17 of 98. Nếu truy vấn không rõ ràng, hệ thống truy hồi có thể xem xét lịch sử người dùng, vị trí thực tế, các thay đổi theo thời gian trong thông tin, hoặc ngữ cảnh khác khi xếp hạng kết quả.
Hệ thống IR có thể cũng giúp người dùng hình thành ý định của họ (ví dụ: thông qua tự động hoàn thành truy vấn hoặc gợi ý truy vấn) và có thể trích xuất tóm tắt ngắn gọn các kết quả xem xét truy vấn của người dùng. Một truy vấn tìm kiếm thường có thể chứa một vài thuật ngữ, trong khi tài liệu - đề cập đến độ dài, tùy thuộc vào tình huống, có thể dao động từ một vài thuật ngữ đến hàng trăm câu hoặc hơn. Mô hình Neural đại diện cho véc-tơ sử dụng IR gửi lại văn bản và thường chứa một số lượng lớn các tham số cần được điều chỉnh. Trong các lĩnh vực khác, việc thiết kế các mô hình mạng nơ-ron đã được hình thành bởi các đặc điểm của ứng dụng và dữ liệu.
Ví dụ, các bộ dữ liệu và các kiến trúc thành công khá khác nhau về hình ảnh nhận dạng đối tượng, nhận dạng giọng nói và tác nhân chính. Trong khi IR chia sẻ một số thuộc tính chung với lĩnh vực ngôn ngữ tự nhiên trong quá trình xử lý, nó cũng đi kèm với những thách thức riêng. Hệ thống IR- tems phải xử lý các truy vấn ngắn có thể chứa từ vựng, để so khớp với các tài liệu có độ dài khác nhau, để tìm các tài liệu liên quan cũng có thể chứa các phần lớn không liên quan chữ. Hệ thống IR nên học các mẫu trong văn bản truy vấn và tài liệu cho biết mức độ liên quan, ngay cả khi truy vấn và tài liệu sử dụng các từ vựng khác nhau, và ngay cả khi các mẫu là nhiệm vụ cụ thể hoặc ngữ cảnh cụ thể.
Trong luận văn này chúng ta sẽ tập trung vào việc truy hồi văn bản trong IR, nơi người dùng nhập một truy vấn văn bản và hệ thống trả về danh sách kết quả tìm kiếm được xếp hạng. Kết quả tìm kiếm có thể là các đoạn văn bản hoặc tài liệu toàn văn. Mục tiêu của hệ thống là xếp hạng kết quả tìm kiếm ưa thích của người dùng ở trên cùng. Vấn đề này là một vấn đề trọng tâm trong các tài liệu về IR, với những thách thức và giải pháp được hiểu rõ.
Tng hp các án, khóa lun, tiu lun, chuyên và lun vn tt nghip i hc v các chuyên ngành: Kinh t, Tài Chính & Ngân Hàng, Công ngh thông tin document, khoa luan, tieu luan, 123doc, T 7 18 of 98. Quá trình truy hồi thông tin Truy hồi thông tin là hoạt động thu thập, hiển thị thông tin liên quan dựa trên cácdữ liệu có sẵn hoặc từ thao tác cập nhật dữ liệu trên máy chủ [2]. Quá trình truy hồi thông tin là quá trình truy vấn dữ liệu từ nhu cầu của ngườidùng đến sự phản hồi của nguồn dữ liệu có sẵn được tạo ra từ trước.1: Sơ đồ hiển thị quá trình truy hồi thông tin cơ bản [2] Quá trình truy hồi ở sơ đồ trên chia làm 2 pha. Pha 1 (Chỉ mục indexing): Từ bộ sưu tập tài liệu tạo ra các chỉ mục của tài liệu: Là quá trình thu thập tất cả các tài liệu liên quan “Document Collection” đến giaiđoạn lập chỉ mục “Indexer” kết thúc pha 1 là tạo danh mục các văn bản“Document Index”.
Tng hp các án, khóa lun, tiu lun, chuyên và lun vn tt nghip i hc v các chuyên ngành: Kinh t, Tài Chính & Ngân Hàng, Công ngh thông tin document, khoa luan, tieu luan, 123doc, T 8 19 of 98. Pha 2 (Truy hồi): Từ truy vấn của người sử dụng đến xử lý truy vấn và tìm tàiliệu phù hợp với truy vấn: Kết quả được xếp theo thứ tự mức độ liên quan. Hệ truy hồi thông tin hoạt động theo phương thức sau Giai đoạn đầu tiên là giai đoạn tiền xử lý, trong đó tài liệu thô của dữ liệu đượcxử lý thành các tài liệu được tách từ, phân đoạn (tokenized documents) và sau đó lập chỉ mục thành danh sách các vị trí của dữ liệu từ (postings per term). Ở giai đoạn thứ hai, người dùng thực hiện một truy vấn (không có cấu trúc bằng ngôn ngữ tự nhiên) để mô tả nhu cầu tìm kiếm thông tin của mình.
Hệ thống truy hồi bắt đầu truy vấn và so sánh để tìm các tài liệu và thông tin có liên quan đến truy vấn. Các thủ tục được sử dụng để quyết định các phần tử thông tin có liên đến truy vấn dựa trên việc biểu diễn của truy vấn và các phần tử thông tin có chứa phần tử ngôn ngữ chỉ mục [25]. Trong giai đoạn cuối cùng, các tài liệu và thông tin tìm thấy được hiển thị trong một danh sách các tài liệu và được sắp xếp theo thứ tự phù hợp (ranked documents). Thông thường các tài liệu và yếu tố thông tin liên quan nhất được xếp trên các yếu tố ít liên quan hơn.
Tùy thuộc vào hệ thống truy hồi thông tin khác nhau, chúng hiển thịthông tin theo những cách khác nhau. Ví dụ: có những hệ thống chỉ hiển thị tên tiêu đề và đường dẫn đến tài liệu đó, hoặc có những hệ thống hiển thị cả tên và đường dẫn cùng một chút nội dung liên quan đến truy vấn, hoặc có những hệ thống dùng để lấy thông tin trên mạng liên kết đến các trang web khác nhau [2]. Nhiều hệ thống thông tin cũng bao gồm các cơ chế cho phép người dùng cung cấp phản hồi về chất lượng của kết quả trả về. Bằng cách sử dụng phản hồi, hệ thống sẽ cố gắng thích ứng và cố gắng tìm ra những kết quả tốt nhất cho truy vấn.
Tng hp các án, khóa lun, tiu lun, chuyên và lun vn tt nghip i hc v các chuyên ngành: Kinh t, Tài Chính & Ngân Hàng, Công ngh thông tin document, khoa luan, tieu luan, 123doc, T 9 20 of 98. Giai đoạn tiền xử lý - Tiền xử lý tài liệu là quy trình chuyển đổi văn bản. Quy trình này là một trong những bước quan trọng ảnh hưởng đến hiệu quả của hệ thống IR, nếu tiền xử lý không phù hợp có thể ảnh hưởng đến độ chính xác của phân loại văn bản. Ta tiến hành các bước sau: Օ Phân tích từ vựng là quá trình thay đổi các ký tự trong tài liệu thành tập một tập các từ được chọn làm từ chỉ mục bằng cách loại bỏ các chữ số, dấu gạch nối, ký hiệu đặc biệt, dấu câu và chữ viết in hoa viết thường, chuẩn hóa các từ viết tắt [26].
Օ Loại bỏ từ dừng (stopword) làm giảm kích cỡ cấu trúc chỉ mục. Tiến hành loại bỏ các từ không ý nghĩa mà thường xuyên xuất hiện trong tài liệu. Օ Lấy gốc từ là thu gọn một từ về dạng ngữ pháp gốc của nó. Ví dụ có nhiều từ sẽ mang ý nghĩa tương đồng ta chỉ cần xác định chọn một từ làm trọng tâm thể hiện nội dung chính.
- Đánh chỉ mục: cho phép tích hợp ngữ nghĩa thu được từ kho dữ liệu riêng. Cấu trúc chỉ mục gồm tập hợp các thuật ngữ đã xử lý, cùng với danh sách tài liệuchứa chúng và trọng số của chúng. Trọng số của các thuật ngữ có thể là số lần xuất hiện của chúng trong một tài liệu. Tần suất xuất hiện càng lớn thì tầm quan trọng của chúng càng lớn.
Giai đoạn thu thập - Xử lý truy vấn: Trong IR, một “yêu cầu” có thể được viết bằng ngôn ngữ tự nhiên, dưới dạng từ khóa hoặc dưới dạng toán tử Boolean. Bước đầu tiên trong giai đoạn truy hồi là xử lý truy vấn của người dùng cũng như xử lý trước các tài liệu văn bản gốc. Xử lý văn bản là thao tác chính để thể hiện nhu cầu của người dùng. Kết quả sẽ là một danh sách các từ.
Tng hp các án, khóa lun, tiu lun, chuyên và lun vn tt nghip i hc v các chuyên ngành: Kinh t, Tài Chính & Ngân Hàng, Công ngh thông tin document, khoa luan, tieu luan, 123doc, T 10 21 of 98. - Tìm kiếm: Trong giai đoạn tìm kiếm, thuật ngữ thu được từ quá trình xửlý văn bản sẽ được sử dụng để xác định, thông qua chỉ mục và danh sách tài liệu thuật ngữ đó xuất hiện. Tùy thuộc vào từng loại truy vấn và tần suất xuất hiện của các từ đó trong tìm kiếm, một tập tài liệu sẽ được thu thập gồm tất cả các từ hoặc một số từ.