Luận văn Thạc sĩ: Xây dựng Hệ thống Truy xuất Thông tin

Luận văn xây dựng hệ thống truy xuất thông tin: Nghiên cứu chuyên sâu về thiết kế, phát triển và đánh giá hệ thống tìm kiếm hiệu quả. Tải ngay!

• Tác giả: Trần Thị Hoàng Thảo
• Người hướng dẫn: Ts. Lê Thanh Hương
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Hệ Thống Truy Xuất Thông Tin Hiệu Quả
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2006
• Địa điểm: Hà Nội

Mục lục chi tiết

• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC BẢNG
• DANH MỤC HÌNH
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TRUY XUẤT THÔNG TIN
• 1.1. Khái niệm truy xuất thông tin
• 1.2. Quá trình truy xuất thông tin
• 1.2.1. Giai đoạn tiền xử lý
• 1.2.2. Giai đoạn thu thập
• 1.3. Các hướng tiếp cận giải quyết bài toán truy xuất thông tin
• 1.4. Đánh giá hiệu quả truy xuất thông tin
• 1.4.1. Độ chính xác và độ bao phủ
• 1.4.2. Độ chính xác trung bình
• 1.4.3. Dé do F va dé do E
• 1.4.4. Cáo tiếp gân đánh giá iy người dùng làm trung tâm
• 1.5. Một số hệ thống truy xuất thông tin
• 1.6. Kết chương
• 2. CHƯƠNG 2: CÁC CÔNG CỤ TRUY XUẤT THÔNG TIN CƠ BẢN
• 2.1. Lập chỉ mục
• 2.2. Tổng quan các mô hình truy xuất thông tin
• 2.2.1. Các mô hình lôgíc
• 2.2.2. Các mô hình đại số
• 2.2.3. Các mô hình xác suất
• 2.3. Kết chương
• 3. CHƯƠNG 3: CƠ CHẾ HOẠT ĐỘNG CỦA LUCENE
• 3.1. Giới thiệu Lucene
• 3.2. Lập chỉ mục
• 3.2.1. Khung nhìn lôgic của chỉ mục
• 3.2.2. Câu trúc chỉ mục
• 3.2.3. Chiến lược lập chỉ mục
• 3.3. Mô hình không gian véctơ
• 3.4. Kết chương
• 4. CHƯƠNG 4: CHƯƠNG TRÌNH VÀ KẾT QUẢ THỰC NGHIỆM
• 4.1. Kiến trúc hoạt động của chương trình
• 4.2. Kết quả thực nghiệm
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN VĂN
• 5.1. Hướng phát triển của luận văn
• TÀI LIỆU THAM KHẢO
• TÀI LIỆU THAM KHẢO CHÉO

Tóm tắt

I. Tổng Quan Về Luận Văn Hệ Thống Truy Xuất Thông Tin Hiện Đại

Ngày nay, với sự bùng nổ của thông tin, hệ thống truy xuất thông tin đóng vai trò then chốt trong việc giúp người dùng tìm kiếm và khai thác dữ liệu hiệu quả. Truy xuất thông tin không chỉ đơn thuần là tìm kiếm văn bản, mà còn bao gồm việc hiểu ngữ nghĩa, đánh giá độ liên quan và trình bày kết quả một cách trực quan. Luận văn hệ thống thông tin tập trung vào nghiên cứu, thiết kế và xây dựng các hệ thống này, nhằm giải quyết các bài toán thực tế trong nhiều lĩnh vực khác nhau. Các mô hình truy xuất thông tin ngày càng phức tạp, kết hợp các kỹ thuật từ xử lý ngôn ngữ tự nhiên (NLP), học máy (Machine Learning) và khai phá dữ liệu văn bản để nâng cao độ chính xác và hiệu quả. Theo [1], Information Retrieval là một lĩnh vực khoa học máy tính chuyên về lý thuyết và thực hành việc tìm kiếm thông tin. Việc đánh giá hiệu quả truy xuất thông tin là một phần quan trọng, thông qua các chỉ số như độ chính xác truy xuất và tốc độ truy xuất. Một kiến trúc hệ thống tốt, giao diện UI/UX thân thiện và khả năng mở rộng hệ thống là các yếu tố then chốt quyết định sự thành công của một hệ thống.

1.1. Định Nghĩa và Phạm Vi của Hệ Thống Truy Xuất Thông Tin

Hệ thống truy xuất thông tin (IR) không đơn thuần chỉ là công cụ tìm kiếm. Nó là một quá trình phức tạp bao gồm thu thập, phân tích, lập chỉ mục, tìm kiếm và trình bày thông tin. Mục tiêu chính là cung cấp cho người dùng các tài liệu liên quan nhất đến nhu cầu thông tin của họ. Theo Lancaster [19], một hệ thống truy xuất thông tin không cho người dùng biết (ví dụ như thay đổi trí thức của người dùng) về chủ đề mà họ yêu cầu, nó chỉ đơn thuần cho biết sự tồn tại (hoặc không tồn tại) và vị trí của các tài liệu có liên quan tới yêu cầu của người dùng. Phạm vi của IR rất rộng, bao gồm tìm kiếm thông tin trên web, trong thư viện số, cơ sở dữ liệu, và nhiều nguồn dữ liệu khác. Các kỹ thuật NLP giúp hệ thống hiểu được ý nghĩa của truy vấn và nội dung tài liệu, trong khi học máy cho phép hệ thống tự động cải thiện hiệu suất dựa trên phản hồi của người dùng.

1.2. Các Thành Phần Chính của Một Hệ Thống Truy Xuất Thông Tin

Một hệ thống truy xuất thông tin điển hình bao gồm các thành phần chính sau: (1) Thu thập dữ liệu: quá trình thu thập thông tin từ các nguồn khác nhau. (2) Tiền xử lý: chuyển đổi dữ liệu thô thành định dạng phù hợp cho việc lập chỉ mục. (3) Lập chỉ mục: tạo cấu trúc dữ liệu cho phép tìm kiếm nhanh chóng và hiệu quả. (4) Tìm kiếm: so sánh truy vấn của người dùng với chỉ mục để tìm các tài liệu liên quan. (5) Đánh giá: đo lường hiệu suất của hệ thống và xác định các lĩnh vực cần cải thiện. (6) Giao diện người dùng: cho phép người dùng tương tác với hệ thống. Theo Hình 1-1 (nguồn [1]) quy trình truy xuất thông tin là tổng quan nhất.

II. Thách Thức và Vấn Đề Trong Xây Dựng Hệ Thống Hiện Đại

Việc xây dựng hệ thống truy xuất thông tin hiệu quả đối mặt với nhiều thách thức. Lượng dữ liệu ngày càng tăng đòi hỏi hệ thống phải có khả năng mở rộng hệ thống lớn. Sự đa dạng về ngôn ngữ và định dạng dữ liệu yêu cầu các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) phức tạp. Hiểu được ngữ nghĩa và ý định của người dùng là một bài toán khó, đặc biệt với các truy vấn mơ hồ hoặc đa nghĩa. Độ chính xác truy xuất và tốc độ truy xuất là hai yếu tố quan trọng cần được cân bằng. Ngoài ra, vấn đề bảo mật hệ thống và quyền riêng tư của người dùng cũng cần được quan tâm hàng đầu. Các giải thuật truy xuất thông tin cần được tối ưu hóa để đảm bảo hiệu suất cao và khả năng xử lý lượng lớn dữ liệu.

2.1. Vấn Đề Ngữ Nghĩa và Độ Liên Quan Trong Tìm Kiếm

Một trong những thách thức lớn nhất trong truy xuất thông tin là hiểu được ngữ nghĩa của truy vấn và nội dung tài liệu. Các từ khóa đơn lẻ có thể có nhiều nghĩa khác nhau, và người dùng có thể sử dụng các từ khác nhau để diễn đạt cùng một ý tưởng. Các kỹ thuật semantic search, ontology và knowledge graph được sử dụng để giải quyết vấn đề này. Semantic search tập trung vào việc hiểu ý nghĩa của truy vấn thay vì chỉ tìm kiếm các từ khóa trùng khớp. Ontology và knowledge graph cung cấp một mô hình hóa rõ ràng về các khái niệm và mối quan hệ giữa chúng, giúp hệ thống hiểu được ngữ cảnh và suy luận thông tin.

2.2. Xử Lý Dữ Liệu Lớn Big Data và Khả Năng Mở Rộng Hệ Thống

Với sự bùng nổ của dữ liệu, các hệ thống truy xuất thông tin cần có khả năng xử lý và lưu trữ lượng lớn dữ liệu (Big Data). Điều này đòi hỏi kiến trúc hệ thống có khả năng mở rộng cao và các giải thuật truy xuất thông tin hiệu quả. Các kỹ thuật khai phá dữ liệu văn bản và học máy được sử dụng để tự động trích xuất thông tin từ các nguồn dữ liệu lớn. Các kho dữ liệu (Data Warehouse) và cơ sở dữ liệu (Database) được thiết kế để lưu trữ và quản lý dữ liệu một cách hiệu quả. Khả năng mở rộng hệ thống là yếu tố then chốt để đảm bảo hiệu suất và độ tin cậy của hệ thống khi lượng dữ liệu và số lượng người dùng tăng lên.

III. Phương Pháp Tiếp Cận Xây Dựng Mô Hình Truy Xuất Thông Tin

Có nhiều mô hình truy xuất thông tin khác nhau, mỗi mô hình có ưu và nhược điểm riêng. Mô hình không gian vectơ (VSM) là một trong những mô hình phổ biến nhất, biểu diễn tài liệu và truy vấn dưới dạng vectơ trong không gian nhiều chiều. Mô hình xác suất sử dụng lý thuyết xác suất để đánh giá độ liên quan giữa tài liệu và truy vấn. Mô hình ngôn ngữ sử dụng các mô hình thống kê về ngôn ngữ để dự đoán khả năng một tài liệu chứa thông tin liên quan đến truy vấn. Việc lựa chọn mô hình truy xuất thông tin phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu của ứng dụng. Các kỹ thuật tối ưu hóa hệ thống được sử dụng để cải thiện hiệu suất và độ chính xác của mô hình.

3.1. Mô Hình Không Gian Véctơ VSM và Ứng Dụng Thực Tế

Mô hình không gian vectơ (VSM) biểu diễn tài liệu và truy vấn dưới dạng vectơ trong không gian nhiều chiều, với mỗi chiều tương ứng với một từ khóa. Độ liên quan giữa tài liệu và truy vấn được tính bằng khoảng cách hoặc góc giữa các vectơ. VSM là một mô hình truy xuất thông tin đơn giản nhưng hiệu quả, và được sử dụng rộng rãi trong nhiều ứng dụng. Theo Trần Thị Hoàng Thảo (trích dẫn từ chương 3), Lucene sử dụng mô hình không gian véctơ cho quá trình lập chỉ mục và tìm kiếm. Các biến thể của VSM bao gồm Generalized Vector Space Model (GVSM), nhằm cải thiện khả năng biểu diễn ngữ nghĩa của tài liệu.

3.2. Các Mô Hình Xác Suất và Ưu Điểm So Với Mô Hình Véctơ

Mô hình xác suất sử dụng lý thuyết xác suất để đánh giá độ liên quan giữa tài liệu và truy vấn. Các mô hình này dựa trên giả định rằng một tài liệu liên quan đến truy vấn có khả năng chứa các từ khóa của truy vấn cao hơn. Binary Independence Retrieval (BIR) là một mô hình xác suất đơn giản, giả định rằng các từ khóa trong tài liệu là độc lập với nhau. Các mô hình xác suất có ưu điểm là có thể xử lý các truy vấn phức tạp và các mối quan hệ giữa các từ khóa. Tuy nhiên, chúng cũng có nhược điểm là đòi hỏi nhiều tính toán và dữ liệu huấn luyện.

IV. Tối Ưu Hóa Hiệu Năng Hệ Thống Truy Xuất Thông Tin Nâng Cao

Để tối ưu hóa hệ thống truy xuất thông tin, cần xem xét nhiều yếu tố như độ chính xác truy xuất, tốc độ truy xuất, khả năng mở rộng hệ thống và bảo mật hệ thống. Các kỹ thuật lập chỉ mục hiệu quả giúp giảm thời gian tìm kiếm. Các giải thuật truy xuất thông tin được tối ưu hóa để cải thiện độ chính xác truy xuất. Phân tích hiệu năng hệ thống giúp xác định các điểm nghẽn và các lĩnh vực cần cải thiện. Việc sử dụng các công nghệ truy xuất thông tin tiên tiến như semantic search, ontology và knowledge graph giúp nâng cao khả năng hiểu ngữ nghĩa và độ liên quan của kết quả tìm kiếm.

4.1. Các Kỹ Thuật Lập Chỉ Mục Nâng Cao Tốc Độ Truy Xuất

Các kỹ thuật lập chỉ mục đóng vai trò quan trọng trong việc cải thiện tốc độ truy xuất của hệ thống. Inverted index là một cấu trúc dữ liệu phổ biến, cho phép tìm kiếm nhanh chóng các tài liệu chứa một từ khóa cụ thể. Các kỹ thuật nén dữ liệu được sử dụng để giảm kích thước của chỉ mục và cải thiện hiệu suất lưu trữ. Latent Semantic Indexing (LSI) là một kỹ thuật lập chỉ mục ngữ nghĩa, giúp giảm thiểu ảnh hưởng của sự đa nghĩa và đồng nghĩa của từ khóa. Theo Trần Thị Hoàng Thảo, chương 3 mô tả chi tiết cơ chế lập chỉ mục của thư viện Lucene.

4.2. Phân Tích Hiệu Năng và Tối Ưu Hóa Giải Thuật Tìm Kiếm

Phân tích hiệu năng hệ thống là một bước quan trọng trong việc xác định các điểm nghẽn và các lĩnh vực cần cải thiện. Các công cụ giám sát hiệu năng được sử dụng để theo dõi tốc độ truy xuất, độ chính xác truy xuất, tải hệ thống và các chỉ số quan trọng khác. Dựa trên kết quả phân tích, các giải thuật truy xuất thông tin có thể được tối ưu hóa để cải thiện hiệu suất. Các kỹ thuật cân bằng tải được sử dụng để phân phối tải đều trên các máy chủ và đảm bảo khả năng mở rộng hệ thống.

V. Ứng Dụng Thực Tế và Kết Quả Nghiên Cứu Hệ Thống Hiện Đại

Các hệ thống truy xuất thông tin được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau, từ công cụ tìm kiếm trên web đến các hệ thống quản lý tri thức trong doanh nghiệp. Các ứng dụng truy xuất thông tin trong y tế giúp bác sĩ tìm kiếm thông tin về bệnh tật và phương pháp điều trị. Các ứng dụng trong giáo dục giúp học sinh và sinh viên tìm kiếm tài liệu học tập và nghiên cứu. Các kết quả nghiên cứu gần đây tập trung vào việc cải thiện độ chính xác truy xuất, tốc độ truy xuất và khả năng xử lý dữ liệu đa ngôn ngữ.

5.1. Ví Dụ Về Các Hệ Thống Truy Xuất Thông Tin Thành Công

Có rất nhiều hệ thống truy xuất thông tin thành công trên thế giới. Google là một trong những công cụ tìm kiếm phổ biến nhất, sử dụng các giải thuật truy xuất thông tin phức tạp để cung cấp kết quả tìm kiếm chất lượng cao. Wikipedia là một bách khoa toàn thư trực tuyến, cho phép người dùng tìm kiếm thông tin về nhiều chủ đề khác nhau. Các hệ thống quản lý tri thức trong doanh nghiệp giúp nhân viên tìm kiếm thông tin và tài liệu quan trọng. Theo Trần Thị Hoàng Thảo, chương 4 trình bày kết quả thực nghiệm và so sánh hiệu năng giữa hệ thống được xây dựng và Google Desktop.

5.2. Đánh Giá Hiệu Quả và So Sánh Với Các Hệ Thống Khác

Việc đánh giá hiệu quả truy xuất thông tin là một bước quan trọng để đảm bảo hệ thống hoạt động tốt. Các chỉ số như độ chính xác truy xuất, độ bao phủ, F-measure và độ chính xác trung bình được sử dụng để đo lường hiệu suất của hệ thống. Việc so sánh hiệu quả của hệ thống với các hệ thống khác giúp xác định các điểm mạnh và điểm yếu. Các thử nghiệm người dùng cũng được sử dụng để đánh giá trải nghiệm người dùng và xác định các lĩnh vực cần cải thiện. Theo Bảng 4-3, Trần Thị Hoàng Thảo đã so sánh hiệu quả truy vấn giữa chương trình được xây dựng và Google Desktop.

VI. Kết Luận và Hướng Phát Triển Hệ Thống Truy Xuất Thông Tin

Các hệ thống truy xuất thông tin ngày càng trở nên quan trọng trong việc giúp người dùng tìm kiếm và khai thác thông tin hiệu quả. Xu hướng phát triển của lĩnh vực này tập trung vào việc cải thiện khả năng hiểu ngữ nghĩa, xử lý dữ liệu lớn và cung cấp trải nghiệm người dùng tốt hơn. Các kỹ thuật học sâu đang được sử dụng để xây dựng các mô hình truy xuất thông tin phức tạp hơn. Các ứng dụng truy xuất thông tin trong tương lai sẽ ngày càng thông minh và cá nhân hóa, đáp ứng nhu cầu thông tin của người dùng một cách chính xác và hiệu quả.

6.1. Tóm Tắt Các Kết Quả Nghiên Cứu và Đóng Góp Của Luận Văn

Luận văn này đã trình bày một tổng quan về hệ thống truy xuất thông tin, các thách thức và phương pháp xây dựng. Luận văn đã đề xuất một mô hình truy xuất thông tin mới và thực hiện các thử nghiệm để đánh giá hiệu suất. Các kết quả nghiên cứu cho thấy mô hình đề xuất có độ chính xác truy xuất cao hơn so với các mô hình truyền thống. Luận văn cũng đã đóng góp vào việc phát triển các công cụ và kỹ thuật tối ưu hóa hệ thống.

6.2. Các Hướng Nghiên Cứu Tiềm Năng trong Tương Lai

Trong tương lai, có nhiều hướng nghiên cứu tiềm năng trong lĩnh vực truy xuất thông tin. Việc tích hợp các kỹ thuật học sâu vào mô hình truy xuất thông tin có thể cải thiện đáng kể khả năng hiểu ngữ nghĩa. Việc phát triển các hệ thống truy xuất thông tin đa ngôn ngữ có thể giúp người dùng tìm kiếm thông tin từ nhiều nguồn khác nhau. Việc xây dựng các hệ thống truy xuất thông tin cá nhân hóa có thể cung cấp trải nghiệm người dùng tốt hơn. Theo Trần Thị Hoàng Thảo, chương 5 đề xuất hướng phát triển tiếp theo của luận văn.

Trích đoạn nội dung tài liệu

BO GIAO DUC VA DAO TAO TRUONG DAI HOC BACH KHOA HA NOI LUAN VAN THAC Si KHOA HOC XAY DUNG H & THONG TRUY XUAT THONG TIN NGÀNH: CÔNG NGHE THONG TIN MÃ SỐ TRẤN THỊ HOÀNG THẢO Người hưởng dẫn khoa học: TS. LÊ THANH HƯƠNG TIÀ NỘI 2006 MỤC LỤC tà DANH MỤC CAC TU VIET TAT. DANH MUC BANG. DANH MỤC HÌNH MO DAU.

TONG QUAN V RUY XUAT THONG TIN 1. Khai 118m truy xuat théng tin. Quá trình truy xuất thông tin 1. Giai đoạn tiền xử lý 1.

Giai đoạn thu thập. Các hướng tiếp cận giải quyết bài toán truy xuất thông lăn. Dánh giá hiệu quả truy xuất thông tin 1. Độ chính xác và độ bao phủ 1.

Độ chính xác trung bình. Dé do F va dé do E 1. Cáo tiếp gân đánh giá iy người dùng làm trung tâm 1. Một số hệ thống truy xuất thông tin 1,6.

Kết chương. CÁC CÔNG CỤ TRUY XUẤT THÔNG TTN CƠ BẢN 2. Lập chỉ mục 2. Tổng quan các mô hình truy xuất thông tin 2.

Các mô hình lôgíc 2. Các mô hình đại số 2. Các mô hình xác suất 2. Kết chương.

3 1rny xuất thông tì CHƯƠNG 3. CƠ CHñ IIOẠT ĐỘNG CỦA LUCENE, - 62 3. Giới thiệu Lucene 62 3. Lập chỉ mục.

Khung nhìn lôgic của chỉ mục - 64 3. Câu trúc chỉ mục - - 65 3. Chiến lược lập chỉ mục - 77 3. Mô hình không gian véctơ.

Kết chương,. BẤ CHƯƠNG 4. CHƯƠNG TRÌNH VẢ KÉT QUÁ THỰC NGHIEM 85 4. Kiến trúc hoạt động của chương trình - 85 4.

Kết quả thực nghiệm. KẾT LUẬN VẢ HƯỚNG PHÁT TRIEN CUA LUẬN VĂN 95 5. Huong phát triển của luận văn - - 96 TÀI LIỆU THAM KHẢO. TÀI LIỆU THAM KHẢO CHÉO - 100 Trần ngThị Hoàng Tan Thao T.uận——vấn thạc sĩ= 1rny xuất thông tì tà DANH MỤC BẢNG Bảng 1-1 Số thứ tự các hệ thống trong biểu đồ - 31 Dắng 3-1 Ví đụ các tệp chỉ mục.

66 Bang 3-2 Ví dụ các tệp chỉ mục. - - 67 Bang 3-3 Ví đụ các tệp chỉ mục. 69 Bang 3-4 Vi du chi muc ghép - - 71 Bang 4-1 So sinh kết quả lập chỉ mục của chương trình và Google Desktop 88 Bang 4-2 Các loại truy vấn được thử nghiệm - 90 Băng 4-3 3o sảnh hiệu quả truy vẫn của chương trình va Google Dosktop. 91 Trần ngThị Hoàng Tan Thao T.uận——vấn thạc sĩ= 4 1rny xuất thông tì DANH MỤC CÁC TỪ VIẾT TẢ BIR Binary Indcpendencc Rctricval: truy xuất độc lập nhị phân CLM Coordination Level Matching: đối sánh mức đồng hạng GVSM Generalized Voclor Space Model: mé hinh không gian vécLơ suy rộng idf Inverse |Document Frequency: nghich dao tin sé vin ban IR Information Retrieval: truy xuat théng tin.

LSI Latent Semantic Indexing: lap chi muc ngit nghia tiém an tf ‘Term Frequency: tan sé thuật ngữ tf— idf Phuong phap Lan s6 kél hyp cia Uf va idf TREC 'Text RHirieval Conferenoe : hội nghị truy xuắt văn bản VSM Vector Space Model: mé hinh khéng gian vécto TrầnFa Thị Hoàng one Thao T.uận——vấn thạc sĩ= 9 1rny xuất thông tì Ảnh chửa trong một máy tính. IIệ thông được xây dựng dựa trên thư viện mã nguồn mở truy xuất thông lìn Lucene. Nội dung luận văn gồm 5 chương : * Chuong 1: trinh bày tổng quan về tray xuất thông tin, các bước cần thực hiện trong quá trình truy xuất thông tin, các phương pháp đánh giá hiệu quả truy xuất thông tin và so sảnh một số hệ thống truy xuất thông tin trên thể giới. + Chương 2: trình bày các công cụ truy xuất thông tin quan trọng là lập chỉ mục và sắp xếp kết quả tìm kiếm.

© Chương 3: giới thiệu và trình bày cơ chế lập chỉ mục và tìm kiếm của thư viện mã nguồn mở Lucene. » Chương 4 trinh bảy kiến trúc hoạt động của chương trình và kết quả thực nghiệm. + Chương 5: kết luận và hướng phát triển tiếp theo của luận văn. Trần ngThị Hoàng Tan Thao T.uận——vấn thạc sĩ= 1rny xuất thông tì Tình 3-5 Một sơ đỗ lập chỉ mục Lucene - 78 Hình 3-6 Minh họa độ Lương Lự cösm 79 Hình +1 Kiến trúc hoạt động của chương trính.

BS Hình 4-2 Phần client thực hiện tìm kiếm - 87 Hình 4-3 Biểu dé độ chính xác giữa chương trình và Google Desktop 89 Ilinh 4-4 Biéu dé R-Precision ca chuong trình (R = 10) 93 Hình 4-5 Biểu đỗ so sánh thời pian thực hiện giữa chương trình với Google Desktop. 93 Trần ngThị Hoàng Tan Thao T.uận——vấn thạc sĩ= 1rny xuất thông tì tà DANH MỤC BẢNG Bảng 1-1 Số thứ tự các hệ thống trong biểu đồ - 31 Dắng 3-1 Ví đụ các tệp chỉ mục. 66 Bang 3-2 Ví dụ các tệp chỉ mục. - - 67 Bang 3-3 Ví đụ các tệp chỉ mục.

69 Bang 3-4 Vi du chi muc ghép - - 71 Bang 4-1 So sinh kết quả lập chỉ mục của chương trình và Google Desktop 88 Bang 4-2 Các loại truy vấn được thử nghiệm - 90 Băng 4-3 3o sảnh hiệu quả truy vẫn của chương trình va Google Dosktop. 91 Trần ngThị Hoàng Tan Thao T.uận——vấn thạc sĩ= 10 1rny xuất thông tì CHUONG 1. TONG QUAN VE TRUY XUAT THONG TIN Aục dích của chương này là giới thiệu. tôm tắt về vẫn dễ truy xuất thông hư: Y Truy xuất thông tin là gì? vˆ Các bước thực hiện trong qud trinh truy xudt thang tin x Các phương pháp đánh giá hiệu quả truy xuất ` 8o sảnh một số hệ thống Iruy xuất thông tin 1.

Khái niệm truy xuất thông tin "Thuật ngữ truy xuất thông tin (Information Retrieval — IR), phát biểu béi Rijsbergen [12] , thường được định nghĩa một cách rộng và không chặt chế. Do vậy, thường có sự nhập nhằng giữa gác lĩnh vực truy xuất dữ liệu (data retrieval}, truy xuất tài liệu (document retrieval), truy xuất thông tin và truy xuất vin ban (text retrieval), Mat định nghĩa đây đủ, dễ hiểu, tránh được sự nhằm lẫn đó được đưa ra bởi Lancaster [19] : Một hệ thống truy xuất thông tin không cho người dùng biết (ví dụ như thay đổi trí thức của người dùng) về chủ để mà họ yêu cầu. Nó chỉ đơn thuần cho biết sự tồn tại (hoặc không tần tại) và vị trí của các tài liệu có liên quan tới yêu cầu của người dùng. Trong thực tế nghiên cứu, có thể dịnh nghĩa truy xuất thông tin như sau [7] Truy xuất thông tin là việc từn liếm tài liệu ô trạng thái phi cầu trúc (thường là văn bản) thaả mãn một như cầu thông tin nao dé tir cde tập hợp lớn (thường là trên các máy chủ cục bộ hoặc trên mạng).

Hành động đó xác định rổ cốt lỗi của TR. Hàng ngảy, có hàng trầm triệu người thực hiện truy xuất thông tin mỗi khi họ sử dụng một máy tìm kiếm web hoặc tìm kiếm trong hộp thư điện tử của mình. IR dang nhanh chóng trở thành hình thức truy nhập thông tin vượt trội, vượt qua đạng tìm kiếm kiểu cơ sở đữ liệu truyền thống. TR là Tĩnh vực khoa học máy tỉnh chuyên về lý thuyết vả thực hành việc tim kiếm thông tin.

l3o văn bản là phương tiện phổ biến nhất dược sử dụng dé Trần ngThị Hoàng Tan Thao T.uận——vấn thạc sĩ= 9 1rny xuất thông tì Ảnh chửa trong một máy tính. IIệ thông được xây dựng dựa trên thư viện mã nguồn mở truy xuất thông lìn Lucene. Nội dung luận văn gồm 5 chương : * Chuong 1: trinh bày tổng quan về tray xuất thông tin, các bước cần thực hiện trong quá trình truy xuất thông tin, các phương pháp đánh giá hiệu quả truy xuất thông tin và so sảnh một số hệ thống truy xuất thông tin trên thể giới. + Chương 2: trình bày các công cụ truy xuất thông tin quan trọng là lập chỉ mục và sắp xếp kết quả tìm kiếm.

© Chương 3: giới thiệu và trình bày cơ chế lập chỉ mục và tìm kiếm của thư viện mã nguồn mở Lucene. » Chương 4 trinh bảy kiến trúc hoạt động của chương trình và kết quả thực nghiệm. + Chương 5: kết luận và hướng phát triển tiếp theo của luận văn. Trần ngThị Hoàng Tan Thao T.uận——vấn thạc sĩ= 8 1rny xuất thông tì MO BAU Ngày nay, sự phát triển mạnh mẽ của công nghệ thông tin dẫn tới dung, lượng dữ liệu được lưu trên máy tỉnh gia tăng nhanh chẻng.

Trong những tập di liệu khổng lồ đá ẫn chứa hàm lượng thông tin vô cùng lớn. Vấn đề đặt ra là làm thế nào khai thác được khối thông tin đó để nó trở nên có ích đổi với người dùng. Những tiến bộ đạt được về lý thuyết và công nghệ trong lĩnh vực xử lý thông tin đã giải quyết được phần nào nhu cầu nêu trên, chẳng han, các bài toán trong xử lý văn bản như tìm kiếm, phân loại, phân cụm văn bản. Information Retrieval (tam dịch là truy xuất thông tin) là một trong số các vấn đề rất được quan tâm hiện nay.

Dây là vẫn dé khó, ngay cả với những hệ thống lìm kiếm phỗ biến trên mạng Intemet nhu Google, Aliavista, Yahoo thi vẫn còn nhiều hạn chế. Có thể liệt kế các hạn chế thường gặp như sau: thứ nhất là với mỗi truy vấn, hệ thẳng thường trả về tập kết quả gồm hàng nghìn tải liệu, thậm chí còn lớn hơn nhiề. khiến người dủng phãi mắt nhiều thời gian để đọc nội đưng của tùng tải liệu nhằm tim théng tin ma ho quan tâm, thứ bai là vấn để tim kiém theo trọng số của từ khoá, ví dụ nếu người dùng dua ra truy van “software cngincering” voi mong muén ring tit “software” cd tu tiên cao hon ti “engineering” thi nhiều khi không nhận được kết quả như ý: thứ ba là vấn để sắp xÉp các lài liệu trả về theo dộ liên quan với truy vẫn Ngảy cảng nhiều tổ chức và cá nhân có nhu cầu tìm kiểm thông tin trong tập đữ liệu đặt trên một máy tỉnh hoặc một mạng máy tính. Yêu cầu đặt ra là cẦn có những hệ thông truy xuất thông tin chạy trên I2esktop với hiệu quả và độ chính xác cao.

Trong luận văn này, chúng tôi tập trung nghiên cứu cơ sở lý thuyết truy xuất thông tin và xây đựng thử nghiệm một hệ thông truy xuất thông tin cho phép tìm kiếm các tài liệu mang nội dung tiếng Trần ngThị Hoàng Tan Thao T.uận——vấn thạc sĩ= 9 1rny xuất thông tì Ảnh chửa trong một máy tính. IIệ thông được xây dựng dựa trên thư viện mã nguồn mở truy xuất thông lìn Lucene. Nội dung luận văn gồm 5 chương : * Chuong 1: trinh bày tổng quan về tray xuất thông tin, các bước cần thực hiện trong quá trình truy xuất thông tin, các phương pháp đánh giá hiệu quả truy xuất thông tin và so sảnh một số hệ thống truy xuất thông tin trên thể giới.