Chương 1: Tổng quan về tìm kiếm văn bản và công thức toán Chương này trình bày các kết quả nghiên cứu tổng quan liên quan đến văn bản và tìm kiếm văn bản; lưu trữ và tìm kiếm văn bản chứa công thức toán; các giải 7 pháp trong tìm kiếm và phân loại, đánh giá các vấn đề còn tồn tại để làm cơ sở cho những nghiên cứu trình bày trong các chương tiếp theo. Chương 2: Biểu diễn và lưu trữ công thức toán Chương này đề xuất mô hình thống nhất cách biểu diễn và lưu trữ công thức toán trong văn bản. Trong đó, các công thức được lưu trữ và xử lý dựa trên tiêu chuẩn định dạng MathML và giải pháp chuyển đổi các văn bản có chứa công thức toán giữa các công cụ soạn thảo khác nhau. Chương 3: Tìm kiếm tài liệu dựa trên công thức toán Chương này trình bày các giải pháp đề xuất phục vụ việc tìm kiếm tài liệu dựa trên công thức toán.
Các đề xuất này dựa trên một số hướng tiếp cận khác nhau cho cả việc tìm kiếm trên các Web thông thường và Semantic Web. Chương 4: Thử nghiệm và đánh giá Chương này trình bày tóm tắt qui trình xây dựng các ứng dụng thử nghiệm và đánh giá các mô hình đã đề xuất ở chương 2 và 3. Bao gồm thử nghiệm một hệ thống cho phép soạn thảo, biểu diễn, lưu trữ và tìm kiếm tài liệu dựa trên công thức toán, tìm kiếm trên các Web thường và tìm kiếm trên Sematic Web. TỔNG QUAN VỀ TÌM KIẾM VĂN BẢN VÀ CÔNG THỨC TOÁN Chương này trình bày một số kết quả nghiên cứu tổng quan liên quan đến đề tài gồm: Văn bản và hệ thống tìm kiếm văn bản.
Các vấn đề đối với lưu trữ và tìm kiếm tài liệu chứa công thức toán. Định hướng nghiên cứu của luận án. Khái niệm văn bản Theo nghĩa rộng, văn bản là vật mang tin (các vật liệu dùng để viết như: xương thú vật, đồng, đá, gỗ, da, tre, giấy,…) được ghi bằng ký hiệu ngôn ngữ nhất định như tiếng Anh, Pháp, Việt,. Theo định nghĩa này thì mọi vật có ghi ký hiệu ngôn ngữ như: bia đá, gia phả, câu đối, các tác phẩm văn học, các công trình nghiên cứu khoa học, các công văn, giấy tờ của các cơ quan … đều là văn bản.
Khái niệm này được dùng phổ biến trong nghiên cứu về ngôn ngữ học, sử học và văn bản học. Theo nghĩa hẹp, văn bản là các công văn, giấy tờ, hồ sơ được hình thành trong quá trình hoạt động của các cơ quan, doanh nghiệp, đoàn thể như: nghị định, chỉ thị, thông tư, nghị quyết, báo cáo, biên bản, tờ trình, thông báo… Khái niệm này được sử dụng rộng rãi trong hoạt động quản lý của các cơ quan. Cùng với phát triển của công nghệ thông tin, nhu cầu ứng dụng công nghệ thông tin trong thực tiễn đã sản sinh ra một loại hình đó là văn bản điện tử. Văn bản điện tử được tạo ra và đọc trong môi trường điện tử.
Đó là môi trường của các thiết bị kỹ thuật (phương tiện máy móc), hoạt động trên cơ sở các quy luật vật lý và được sử dụng vào công nghệ thông tin để xử lý, lưu giữ và truyền tải các dữ liệu [3]. Theo quy định tại Nghị định số 64/2007/NĐ-CP ngày 10/4/2007 của Chính phủ về ứng dụng công nghệ thông tin trong hoạt động quản lý nhà nước, “Văn bản 9 điện tử” là văn bản được thể hiện dưới dạng thông điệp dữ liệu. Như vậy, với tính chất là một loại hình văn bản, văn bản điện tử trước hết cũng phải đảm bảo yêu cầu ổn định, thống nhất, cố định và truyền đạt thông tin cho nhiều đối tượng. Điểm khác biệt giữa văn bản điện tử với văn bản giấy và các loại hình văn bản khác chính ở kỹ thuật ghi tin, lưu trữ và truyền tin.
Các công đoạn này được thực hiện bằng các phương tiện hoạt động dựa trên công nghệ điện, điện tử, kỹ thuật số, từ tính, truyền dẫn không dây, quang học, điện từ và các công nghệ tích hợp. Nói một cách khái quát, văn bản là phương tiện ghi tin và truyền đạt thông tin bằng một ngôn ngữ hay kí hiệu nhất định. Ở mỗi lĩnh vực, văn bản có những hình thức và nội dung khác nhau. Chẳng hạn, văn bản nghệ thuật khác với văn bản quản lí nhà nước; văn bản lập pháp khác với văn bản lập quy; văn bản báo cáo khác với văn bản kế hoạch.
Hệ thống tìm kiếm văn bản Một hệ thống tìm kiếm văn bản, nói chung, thường có hai phần khá tách biệt là: (i) Phần hệ thống quản lí, lưu trữ; và (ii) phần hệ thống tìm kiếm như Hình 1. Phần hệ thống quản lí, lưu trữ thường có các bước: - Thu thập tài liệu: Bước này tự động thu thập các tài liệu từ các nguồn khác nhau. Các tài liệu này sẽ được tiền xử lí về dạng thuần văn bản trước khi đưa vào hệ thống đánh chỉ mục. - Đánh chỉ mục văn bản: Thực hiện đánh chỉ mục theo các từ khóa và chỉ mục tương ứng với từng văn bản.
Kết quả bước này là tập các từ khóa, chỉ mục tương ứng với từng văn bản, sau đó được lưu vào hệ thống lưu trữ (lưu trữ thông tin văn bản và chỉ mục). Trong phần hệ thống quản lí, lưu trữ này, bước quan trọng nhất và thu hút được nhiều sự quan tâm nghiên cứu là bước đánh chỉ mục văn bản. Cho đến nay, có khá nhiều hệ thống đánh chỉ mục văn bản được đề xuất và sử dụng rộng rãi trong 10 các ứng dụng lưu trữ, quản lí và tìm kiếm văn bản, chẳng hạn như hệ thống đánh chỉ mục của Lucene [25]. Kiến trúc tổng quan hệ thống lưu trữ và tìm kiếm văn bản Phần hệ thống tìm kiếm, thường có các bước xử lí như sau: - Nhập từ khóa: Hệ thống cung cấp giao diện cho phép người dùng nhập từ khóa cần tìm kiếm vào hệ thống để xử lí tìm kiếm.
- Xử lí truy vấn: Máy tìm kiếm bắt đầu xử lí câu truy vấn của người dùng, tách thành các từ khóa đơn để đưa vào máy tìm kiếm. - Tìm kiếm: Máy tìm kiếm thực hiện việc tìm kiếm trong tập dữ liệu văn bản đã đánh chỉ mục với các từ khóa đã xử lí. Kết quả trả về là một tập các văn bản có chứa từ khóa đã nhập vào. 11 - Xếp hạng: Bước này sẽ tiến hành xếp hạng các văn bản trả về theo thứ tự giảm dần mức độ liên quan đến các từ khóa nhập vào.
Kết quả là thu được một tập các văn bản được xếp theo thứ tự giảm dần mức độ liên quan đến từ khóa của người dùng đã nhập vào. - Hiển thị kết quả: Hệ thống cung cấp giao diện hiển thị kết quả các văn bản có chứa từ khóa đã nhập vào, các văn bản được xếp theo thứ tự giảm dần mức độ liên quan đến từ khóa nhập vào. Trong các bước của phần hệ thống tìm kiếm, bước tìm kiếm và bước xếp hạng là các bước nằm trong phần lõi của máy tìm kiếm và thu hút được nhiều quan tâm nghiên cứu. Cho đến nay, đã có nhiều hệ thống tìm kiếm và xếp hạng được đề xuất.
Các mô hình tìm kiếm có thể được nhóm vào các hướng tiếp cận như sau: - Hướng tiếp cận dựa trên giả định các từ trong văn bản là độc lập với nhau. Chẳng hạn như mô hình dựa trên so khớp Boolean (Hiemstra and Mihajlovic [13]), mô hình dựa trên không gian vector (Salton et al. - Hướng tiếp cận dựa trên việc xem xét quan hệ giữa các từ trong văn bản. Chẳng hạn như mô hình ngữ nghĩa ngầm (Scott Deerwester et al.
[31]), mô hình lân cận (Ralf Schenkel et al. [28], Svore et al. - Hướng tiếp cận dựa trên việc xếp hạng mức độ quan trọng của văn bản trong mối quan hệ với các văn bản khác. Mô hình này thường được dùng để xếp hạng các trang web.
Chẳng hạn như hướng tiếp cận HITS (Hypertext Induced Topic Search) của Jon Kleinberg [15], PageRank bởi Lawrence Page et al. Mô hình lưu trữ và tìm kiếm văn bản này hiện đang được áp dụng phổ biến với nhiều ứng dụng tìm kiếm chẳng hạn như: Google search (google.com), Yahoo search (yahoo.com), Bing (bing.com), Coccoc (coccoc. Tìm kiếm văn bản chứa công thức toán 1. Đặc thù của tìm kiếm văn bản chứa công thức toán Mặc dù mô hình lưu trữ và tìm kiếm văn bản như đã trình bày trong mục 1.1 đã được áp dụng rộng rãi và được một số lượng lớn người dùng chấp nhận.
Tuy vậy, mô hình này vẫn còn gặp nhiều khó khăn, hạn chế khi áp dụng vào bài toán tìm kiếm văn bản chứa công thức toán. Một số khó khăn có thể kể đến như: - Phần nội dung công thức toán trong văn bản được xử lí như là một đối tượng độc lập (chẳng hạn như hình ảnh, bảng biểu, sơ đồ,…) nhúng vào văn bản, do đó, không thể áp dụng các kỹ thuật xử lí văn bản vào các bước xử lí cho công thức toán: Ở phần hệ thống lưu trữ, không thể trích rút các nội dung mã hóa của công thức toán thành các từ khóa để đánh chỉ mục và lưu trữ văn bản. Thậm chí một số hệ thống đã loại bỏ các phần nội dung không phải dạng thuần văn bản (trong đó có công thức toán) ra khỏi tài liệu trước khi đánh chỉ mục và lưu trữ tài liệu. Ở phần hệ thống tìm kiếm, phần lớn các giao diện với người dùng chỉ cho phép gõ từ khóa dạng văn bản thuần mà không hỗ trợ người dùng gõ từ khóa là một công thức toán.
Cùng với đó là hạn chế ở bước xử lí câu truy vấn: Hầu hết các giải pháp đề xuất đều chỉ tập trung hỗ trợ câu truy vấn dạng thuần văn bản mà không hỗ trợ xử lí câu truy vấn dạng công thức toán. - Phần nội dung công thức toán được biểu diễn và lưu trữ trong các tài liệu khác nhau là không giống nhau. Điều này dẫn đến việc khó khăn trong đánh chỉ mục các tài liệu chứa công thức toán, khó khăn trong việc tìm kiếm từ khóa chứa công thức toán và khó khăn trong việc xếp hạng tài liệu văn bản chứa công thức toán theo từ khóa nhập vào. Các mục tiếp theo sẽ trình bày một số công cụ và phương pháp hỗ trợ soạn thảo, biểu diễn và lưu trữ công thức toán trong văn bản.
Từ cái nhìn tổng quan này, 13 chúng ta sẽ thấy được mức độ nghiêm trọng của những khó khăn vừa nêu trên của bài toán lưu trữ và tìm kiếm tài liệu dựa trên công thức toán.