Chương 1 giới thiệu tổng quan về đề tài bao gồm các khảo sát về thực trạng ứng dụng công nghệ thông tin trong công tác tổ chức lưu trữ, khai thác, tìm kiếm tài liệu theo ngữ nghĩa, những phân tích đánh giá về thực trạng, nhu cầu và khả năng nghiên cứu phát triển giải pháp cũng như ứng dụng. Nội dung tiếp theo là giới thiệu về bài toán trọng tâm trong nghiên cứu, đó là Biểu diễn tài liệu văn bản và Tìm kiếm tài liệu trong kho lưu trữ thuộc một miền tri thức nhất định, tóm tắt tình hình nghiên cứu có liên quan, nêu lên những vấn đề còn tồn tại. Định hướng nghiên cứu, mục tiêu chung, nội dung phạm vi nghiên cứu và các đóng góp của luận án sẽ được trình bày ở phần cuối chương.1 Thực trạng và nhu cầu xây dựng các hệ thống quản lý và tìm kiếm tài liệu theo ngũ nghĩa Từ vài thập niên gần đây, với những tác động mạnh mẽ của tiến bộ khoa học và công nghệ, đặc biệt của công nghệ thông tin (CNTT) và truyền thông, thế giới đang dần biến chuyển tới một nền kinh tế xã hội mới mà thông tin, tri thức được xem là nguồn lực chủ yếu. Với lượng thông tin khổng lồ như hiện nay, nhu cầu tìm kiếm thông tin trong vô vàn các thông tin được lưu trữ là một yêu cầu hết sức cần thiết, đặc biệt nhu cầu quản lý tài liệu điện tử và thông tin khoa học công nghệ phục vụ chia sẻ tri thức ngày càng trở nên quan trọng.
Đối với việc học tập và nghiên cứu khoa học Đối với việc học tập và nghiên cứu khoa học không thể phủ nhận vai trò quan trọng của công tác nghiên cứu tài liệu. Việc quản lý kho tài nguyên học tập chuyên ngành, hỗ trợ tìm kiếm các tài liệu theo một chủ đề người học quan tâm đang trở thành một nhu cầu khách quan, tất yếu và thiết thực của mọi người. Có thể nói, các thư viện điện tử, các hệ quản lý tài nguyên học tập là một trong những hệ thống không thể thiếu trong việc ứng dụng công nghệ thông tin trong giáo dục và đào tạo, đòi hỏi phải ngày càng hiệu quả hơn, phục vụ tốt hơn cho người học, người dạy và kể cả những người quản lý. Đây là một trong những nhu cầu thực tiễn và cập bách nhưng các kết quả vẫn còn rất hạn chế.
Nhìn chung, kho tài nguyên học tập ở các trường đại học chưa được tổ chức tập trung và thống nhất. Các tính năng của hệ thống còn sơ sài và chưa đủ để đáp ứng cho nhu cầu khai thác thông tin của người sử dụng trong giảng dạy, học tập và nghiên cứu. Điều này phần nào khiến người dùng thường chọn tìm kiếm trên các bộ máy tìm kiếm uy tín của Internet hoặc tìm đến sự giới thiệu của những người dùng khác. Các công trình trước đây cũng chỉ tập trung hầu hết vào nghiên cứu giải pháp số hóa tài liệu và ứng dụng công nghệ thông tin vào công tác quản lý thư viện, ít nghiên cứu tập trung chủ lực vào việc xây dựng giải pháp tổ chức lưu trữ kho tài liệu trên máy tính hỗ trợ quản lý, tìm kiếm và khai thác liên quan đến thông tin tri thức hay nội dung tài liệu.
Đối với lĩnh vực thông tin và truyền thông Đối với lĩnh vực thông tin và truyền thông, đặc biệt là trong báo chí xuất bản, có thể nói Báo điện tử đã trở thành món ăn tỉnh thần không thể thiếu của rất nhiều người. Với sự phong phú, cập nhật thông tin trong mọi lĩnh vực, từ chính trị, xã hội, kinh tế, văn hóa, giải trí, thể thao, công nghệ. các báo điện tử đã thu hút hàng triệu lượt truy cập mỗi ngày. Sự phát triển mạnh mẽ trên đã góp phần tạo nên một thị trường báo chí đa dạng và mới mẻ.
Tuy nhiên, cùng với sự phát triển mạnh mẽ của công nghệ kết nối, số lượng các trang báo điện tử trên khắp thế giới nói chung và ở nước ta nói riêng đã tăng lên đáng kể, kéo theo đó là một khối lượng lớn các tin bài với nhiều nội dung khác nhau được đăng tải hàng ngày liên quan đến nhiều lĩnh vực hoạt động. Điều đó đã ảnh hưởng không nhỏ đến một số cá nhân và tổ chức trong việc quản lí nội dung tin bài, thống kê, tìm kiếm, tổng hợp nhanh chóng các thông tin, tin bài có liên quan đến một lĩnh vực, một chủ đề mà họ quan tâm. Những công việc này vốn dĩ vẫn còn phụ thuộc rất nhiều vào sức người, tốn nhiều chi phi và thời gian thực hiện. Để giải quyết nhu cầu trên, nhiều hệ thống tổng hợp tin tức đã ra đời dưới nhiều hình thức, với khả năng tổng hợp tin tức từ nhiều nguồn khác nhau, tổng hợp một cách tự động hoặc bán tự động, chẳng hạn như Google News, Yahoo! News, Việt Báo, Báo Mới, .Một trong những hạn chế chung của các hệ thống này là ở chức năng tìm kiếm các tin bài chủ yếu dừng lại ở mức xử lí dữ liệu, do đó chưa đáp ứng được nhu cầu thông tin của người dùng, đặc biệt là những nhu cầu liên quan đến xử lý nội dung, ngữ nghĩa của tin bài.
Đối với lĩnh vực quản lý hành chính Nhà nước Đứng trước yêu cầu đổi mới của Nhà nước ta hiện nay, đặc biệt là trong công cuộc cải cách nền hành chính quốc gia diễn ra sôi động từ trung ương đến địa phương, không thể không nói đến việc nghiên cứu ứng dụng công nghệ thông tin nhằm hoàn thiện và hợp lý hoá công tác quản lý tài liệu lưu trữ. Thực tế cho thấy, việc quản lý tài liệu trong các cơ quan hành chính Nhà nước bên cạnh các kết quả đạt được còn nhiều tồn tại cần khắc phục như: tình trạng quá tải đối với công tác văn thư trong việc xử lý thông tin do lượng thông tin không ngừng tăng lên; phương tiện xử lý thông tin còn nghèo nàn thủ công, việc tổ chức công tác văn thư vẫn theo nề nếp cũ, không đáp ứng được nhu cầu mới, nhanh chóng, chính xác. Mặc dù văn bản vẫn còn nằm trong các kho lưu trữ hoặc được đăng trên Công báo, nhưng người ta vẫn không nhớ hết những văn bản, những thông tin cần thiết trước khi ban hành văn bản mới dẫn đến việc xây dựng ban hành văn bản còn bị trùng lặp, chồng chéo, thậm chí còn mâu thuẫn nhau. Có thể thấy rằng, trải qua bề dầy về thời gian, khối lượng tài liệu lưu trữ tại các cơ quan, đơn vị này ngày một lớn hơn, mà công cụ quản lý và khai thác sử dụng tài liệu lưu trữ vẫn chủ yếu là các công cụ truyền thống cho nên gặp rất nhiều khó khăn, nhiều khi không thể thực hiện được.
Do vậy, việc nghiên cứu phát triển các giải pháp, quản lý thống nhất việc ứng dụng công nghệ thông tin trong công tác quản lý, tìm kiếm và khai thác tài liệu là một tất yếu trong giai đoạn hiện nay. Đối với lĩnh vực tìm kiếm việc làm Ngày nay, đi kèm với sự phát triển của kinh tế, xã hội thì nhu cầu tìm việc và tuyển dụng ở các công ty, doanh nghiệp hay các cá nhân không ngừng tăng trưởng. Đi kèm với sự bùng nổ của các dịch vụ internet, tuyển dụng trực tuyến đang trở nên ngày càng phổ biến và phát triển mạnh mẽ. Người dùng phổ thông có xu hướng sử dụng máy tìm kiếm chuyên ngành để tìm việc làm thay vì các máy tìm kiếm phổ thông khác như google, bing.
Ở Việt Nam, đã tồn tại nhiều trang tuyển dụng trực tuyến có thể kể đến như: vietnam- work.vn, với lượng truy cập cao, ổn định cũng như đạt được độ tin cậy nhất định trong các hệ thống xếp hạng trang website của google. Tuy nhiên, hầu hết các trang tuyển dụng này còn khá đơn giản, người dùng phổ trông (nhà tuyển dụng, người tìm việc) đóng vai trò quyết định phần lớn đến hiệu suất của máy tìm kiếm. Hệ thống chưa áp dụng tốt các thành tựu của khoa học máy tính như: quá trình phân tích câu truy vấn của người dùng và nội dung tin bài còn đơn giản, chưa nắm bắt hết các nhu cầu thông tin của người tìm việc cũng như thông tin trong các tin bài tuyển dụng, không hỗ trợ tự động phân lớp, gán nhãn tin bài, thông tin phân nhóm ngành chưa rõ ràng, dễ gây nhập nhằng cho quá trình gán nhãn bài viết của người đăng. Nhìn chung, nguồn tài nguyên được lưu trữ dưới dạng dữ liệu văn bản là rất rộng lớn và giàu thông tin nhưng việc khai thác nguồn dữ liệu này vẫn chưa đạt hiệu quả cao.
Hiện nay, trên thế giới đã có khá nhiều hệ thống thực hiện công việc này theo những phương pháp khác nhau, tuy chưa đạt được hiệu quả tối ưu nhưng cũng phần nào đáp ứng được các yêu cầu thông tin của người sử dụng. Su gia tăng va bùng nổ của các cơ sở dữ liệu lớn làm cho việc tìm kiếm văn bản càng trở nên quan trong hon bao gid hết. Chính vi vậy, việc nghiên cứu phương pháp quản lý và tìm kiếm tài liệu văn bản giúp cho người sử dụng có thể tìm kiếm được những thông tin cần thiết một cách chính xác, hiệu quả, phục vụ cho các mục đích trong công việc cũng như trong đời sống là rất cần thiết.2 Tóm tắt tình hình nghiên cứu liên quan đến lĩnh vực của đề tài Vấn đề Truy xuất thông tin (còn gọi là truy hồi thông tin hay truy tìm thông tin, thuật ngữ tiếng Anh là Information Retrieval, viết tắt IR), đóng vai trò rất quan trọng trong thiết kế và xây dựng các hệ thống quản lý và tìm kiếm tài liệu. Hiện nay có rất nhiều định nghĩa và cách giải thích khác nhau về khái niệm Truy xuất thông tin.
Một số định nghĩa được xem là kinh điển và được thừa nhận rộng rãi như sau: Theo (Salton, 1968)[49] thì “Truy xuất thông tin là một nhánh nghiên cứu của Khoa học máy tính liên quan đến việc cấu trúc hoá, phân tích, tổ chức, lưu trữ, tìm kiếm và truy hồi thông tin”. Định nghĩa tổng quát này có thể được áp dụng cho nhiều loại thông tin khác nhau và cho nhiều loại ứng dụng tìm kiếm khác nhau.Anderson đã định nghĩa “Truy xuất thông tin là tìm kiếm thông tin (thường là các tài liệu) ở một dạng không có cấu trúc (thông thường là văn bản), nhằm thỏa mãn nhu cầu thông tin của người dùng từ những nguồn thông tin lớn (được lưu trữ trên các máy tính)”. Các tác giả khác Bruce R. Schatz [21], Roberto Basili and Alessandro Moschitti [80] và Christopher D.