Nghiên Cứu Phương Pháp Tìm Kiếm Tài Liệu Bằng Toán Học

Khám phá luận án nghiên cứu phương pháp tìm kiếm tài liệu hiệu quả dựa trên công thức toán, nâng cao khả năng truy xuất thông tin.

• Tác giả: Cao Xuân Tuấn
• Người hướng dẫn: PGS. Võ Trung Hùng
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phương Pháp Tìm Kiếm Tài Liệu Dựa Trên Toán Học
• Loại tài liệu: luận án

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG
• MỞ ĐẦU
• 0.1. TỔNG QUAN VỀ TÌM KIẾM VĂN BẢN VÀ CÔNG THỨC TOÁN
• 0.2. Khái niệm văn bản
• 0.3. Hệ thống tìm kiếm văn bản
• 1. CHƯƠNG 1: BIỂU DIỄN VÀ LƯU TRỮ CÔNG THỨC TOÁN
• 1.1. Mô hình biểu diễn và tìm kiếm công thức toán trong văn bản
• 1.2. Biểu diễn và lưu trữ công thức toán với MathML
• 1.3. Soạn thảo và hiển thị công thức toán với Amaya
• 1.4. Sao chép công thức toán trong Amaya
• 1.5. Chuyển đổi công thức MathML với các định dạng khác
• 1.6. Kết luận
• 2. CHƯƠNG 2: TÌM KIẾM TÀI LIỆU DỰA TRÊN CÔNG THỨC TOÁN
• 2.1. Bài toán tìm kiếm tài liệu
• 2.2. Tìm kiếm tài liệu dựa trên công thức toán
• 2.3. Mô hình đề xuất
• 2.4. Mô-đun lập chỉ mục văn bản
• 2.5. Mô-đun tìm kiếm và hiển thị kết quả
• 2.6. Tìm kiếm tài liệu dựa trên Semantic Web
• 2.7. Mô tả ứng dụng Semantic Web toán học
• 2.8. Mô hình đề xuất
• 2.9. Kết luận
• 3. CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Chức năng soạn thảo và lưu trữ công thức toán
• 3.2. Tìm kiếm trực tiếp công thức toán
• 3.3. Tìm kiếm trên Ontology
• 3.4. Tìm kiếm văn bản dựa trên công thức toán
• 3.5. Phát triển hệ thống thử nghiệm
• 3.5.1. Mô tả chức năng hệ thống
• 3.5.2. Môi trường cài đặt hệ thống
• 3.5.3. Chuẩn bị dữ liệu
• 3.6. Đánh giá kết quả
• 3.6.1. Phương pháp đánh giá
• 3.6.2. Kết quả thử nghiệm và đánh giá kết quả
• 3.7. Kết luận
• DANH MỤC CÁC BÀI BÁO ĐÃ CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về tìm kiếm tài liệu dựa trên công thức toán

Trong bối cảnh hiện đại, việc tìm kiếm tài liệu trở thành một nhu cầu thiết yếu trong nghiên cứu và học tập. Đặc biệt, phương pháp nghiên cứu dựa trên công thức toán đã mở ra một hướng đi mới cho việc khai thác thông tin. Các công cụ tìm kiếm hiện tại chủ yếu hỗ trợ tìm kiếm văn bản và hình ảnh, trong khi việc tìm kiếm các công thức toán vẫn còn nhiều hạn chế. Do đó, việc phát triển các công cụ tìm kiếm chuyên biệt cho công thức toán là rất cần thiết. Hệ thống tìm kiếm văn bản cần phải có khả năng nhận diện và xử lý các công thức toán một cách chính xác, từ đó nâng cao hiệu quả trong việc phân tích dữ liệu và khai thác thông tin. Việc áp dụng toán học ứng dụng trong tìm kiếm tài liệu không chỉ giúp cải thiện độ chính xác mà còn tăng cường khả năng truy xuất thông tin. Các nghiên cứu hiện tại đã chỉ ra rằng, việc áp dụng các mô hình toán học trong phân tích dữ liệu có thể giúp tối ưu hóa quá trình tìm kiếm và lưu trữ tài liệu.

1.1. Khái niệm và tầm quan trọng của tìm kiếm tài liệu

Tìm kiếm tài liệu là quá trình thu thập, phân tích và tổng hợp thông tin từ các nguồn tài liệu khác nhau. Trong bối cảnh nghiên cứu khoa học, việc tìm kiếm tài liệu có vai trò quan trọng trong việc hỗ trợ người nghiên cứu tiếp cận thông tin cần thiết. Tài liệu học tập và tài liệu tham khảo là những nguồn thông tin quý giá, giúp nâng cao chất lượng nghiên cứu. Việc áp dụng các phương pháp phân tích dữ liệu và toán học ứng dụng trong tìm kiếm tài liệu không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác trong việc tìm kiếm thông tin. Các công cụ tìm kiếm hiện tại như Google hay Bing chủ yếu tập trung vào văn bản và hình ảnh, trong khi việc tìm kiếm công thức toán vẫn còn nhiều hạn chế. Do đó, việc phát triển các công cụ tìm kiếm chuyên biệt cho công thức toán là rất cần thiết.

II. Phương pháp tìm kiếm tài liệu dựa trên công thức toán

Phương pháp tìm kiếm tài liệu dựa trên công thức toán bao gồm nhiều bước quan trọng. Đầu tiên, cần có một mô hình biểu diễn công thức toán một cách chính xác. Việc sử dụng MathML và các tiêu chuẩn khác để lưu trữ công thức toán là rất cần thiết. Mô hình này không chỉ giúp lưu trữ mà còn hỗ trợ việc tìm kiếm và phân tích dữ liệu. Tiếp theo, việc xây dựng hệ thống thông tin có khả năng nhận diện và xử lý các công thức toán là một yếu tố quan trọng. Hệ thống này cần phải có khả năng tìm kiếm theo ngữ nghĩa, từ đó giúp người dùng dễ dàng truy cập thông tin cần thiết. Các công cụ như MathWebSearch đã được phát triển để hỗ trợ việc tìm kiếm tài liệu dựa trên công thức toán. Hệ thống này cho phép người dùng tìm kiếm tài liệu một cách nhanh chóng và hiệu quả, từ đó nâng cao chất lượng nghiên cứu.

2.1. Mô hình đề xuất cho tìm kiếm tài liệu

Mô hình đề xuất cho việc tìm kiếm tài liệu dựa trên công thức toán cần phải đảm bảo tính chính xác và hiệu quả. Mô hình này bao gồm các thành phần chính như mô-đun lập chỉ mục văn bản và mô-đun tìm kiếm. Mô-đun lập chỉ mục sẽ thu thập và lưu trữ các công thức toán từ các tài liệu khác nhau, trong khi mô-đun tìm kiếm sẽ xử lý các truy vấn từ người dùng. Việc áp dụng các kỹ thuật phân tích dữ liệu và toán học ứng dụng trong mô hình này sẽ giúp tối ưu hóa quá trình tìm kiếm. Hệ thống cũng cần phải có khả năng tương tác với các nền tảng khác nhau, từ đó mở rộng khả năng tìm kiếm và khai thác thông tin.

III. Thử nghiệm và đánh giá hệ thống tìm kiếm

Thử nghiệm và đánh giá hệ thống tìm kiếm là bước quan trọng để xác định hiệu quả của các phương pháp đã đề xuất. Các thử nghiệm cần được thực hiện trên nhiều loại tài liệu khác nhau để đảm bảo tính chính xác và độ tin cậy của hệ thống. Việc sử dụng các chỉ số như độ triệu hồi và độ chính xác sẽ giúp đánh giá hiệu quả của hệ thống. Các kết quả thử nghiệm cho thấy rằng, việc áp dụng các phương pháp phân tích dữ liệu và toán học ứng dụng trong tìm kiếm tài liệu có thể cải thiện đáng kể hiệu quả tìm kiếm. Hệ thống cũng cần phải được cập nhật thường xuyên để đảm bảo tính chính xác và hiệu quả trong việc tìm kiếm tài liệu.

3.1. Kết quả thử nghiệm và phân tích

Kết quả thử nghiệm cho thấy rằng, hệ thống tìm kiếm tài liệu dựa trên công thức toán đã đạt được những kết quả khả quan. Các chỉ số như độ triệu hồi và độ chính xác đều đạt mức cao, cho thấy hệ thống có khả năng tìm kiếm và phân tích thông tin hiệu quả. Việc áp dụng các phương pháp phân tích dữ liệu và toán học ứng dụng đã giúp tối ưu hóa quá trình tìm kiếm. Hệ thống cũng cho phép người dùng dễ dàng truy cập thông tin cần thiết, từ đó nâng cao chất lượng nghiên cứu. Tuy nhiên, cần tiếp tục cải thiện và phát triển hệ thống để đáp ứng nhu cầu ngày càng cao của người dùng.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan về tìm kiếm văn bản và công thức toán Chương này trình bày các kết quả nghiên cứu tổng quan liên quan đến văn bản và tìm kiếm văn bản; lưu trữ và tìm kiếm văn bản chứa công thức toán; các giải 7 pháp trong tìm kiếm và phân loại, đánh giá các vấn đề còn tồn tại để làm cơ sở cho những nghiên cứu trình bày trong các chương tiếp theo. Chương 2: Biểu diễn và lưu trữ công thức toán Chương này đề xuất mô hình thống nhất cách biểu diễn và lưu trữ công thức toán trong văn bản. Trong đó, các công thức được lưu trữ và xử lý dựa trên tiêu chuẩn định dạng MathML và giải pháp chuyển đổi các văn bản có chứa công thức toán giữa các công cụ soạn thảo khác nhau. Chương 3: Tìm kiếm tài liệu dựa trên công thức toán Chương này trình bày các giải pháp đề xuất phục vụ việc tìm kiếm tài liệu dựa trên công thức toán.

Các đề xuất này dựa trên một số hướng tiếp cận khác nhau cho cả việc tìm kiếm trên các Web thông thường và Semantic Web. Chương 4: Thử nghiệm và đánh giá Chương này trình bày tóm tắt qui trình xây dựng các ứng dụng thử nghiệm và đánh giá các mô hình đã đề xuất ở chương 2 và 3. Bao gồm thử nghiệm một hệ thống cho phép soạn thảo, biểu diễn, lưu trữ và tìm kiếm tài liệu dựa trên công thức toán, tìm kiếm trên các Web thường và tìm kiếm trên Sematic Web. TỔNG QUAN VỀ TÌM KIẾM VĂN BẢN VÀ CÔNG THỨC TOÁN Chương này trình bày một số kết quả nghiên cứu tổng quan liên quan đến đề tài gồm: Văn bản và hệ thống tìm kiếm văn bản.

Các vấn đề đối với lưu trữ và tìm kiếm tài liệu chứa công thức toán. Định hướng nghiên cứu của luận án. Khái niệm văn bản Theo nghĩa rộng, văn bản là vật mang tin (các vật liệu dùng để viết như: xương thú vật, đồng, đá, gỗ, da, tre, giấy,…) được ghi bằng ký hiệu ngôn ngữ nhất định như tiếng Anh, Pháp, Việt,. Theo định nghĩa này thì mọi vật có ghi ký hiệu ngôn ngữ như: bia đá, gia phả, câu đối, các tác phẩm văn học, các công trình nghiên cứu khoa học, các công văn, giấy tờ của các cơ quan … đều là văn bản.

Khái niệm này được dùng phổ biến trong nghiên cứu về ngôn ngữ học, sử học và văn bản học. Theo nghĩa hẹp, văn bản là các công văn, giấy tờ, hồ sơ được hình thành trong quá trình hoạt động của các cơ quan, doanh nghiệp, đoàn thể như: nghị định, chỉ thị, thông tư, nghị quyết, báo cáo, biên bản, tờ trình, thông báo… Khái niệm này được sử dụng rộng rãi trong hoạt động quản lý của các cơ quan. Cùng với phát triển của công nghệ thông tin, nhu cầu ứng dụng công nghệ thông tin trong thực tiễn đã sản sinh ra một loại hình đó là văn bản điện tử. Văn bản điện tử được tạo ra và đọc trong môi trường điện tử.

Đó là môi trường của các thiết bị kỹ thuật (phương tiện máy móc), hoạt động trên cơ sở các quy luật vật lý và được sử dụng vào công nghệ thông tin để xử lý, lưu giữ và truyền tải các dữ liệu [3]. Theo quy định tại Nghị định số 64/2007/NĐ-CP ngày 10/4/2007 của Chính phủ về ứng dụng công nghệ thông tin trong hoạt động quản lý nhà nước, “Văn bản 9 điện tử” là văn bản được thể hiện dưới dạng thông điệp dữ liệu. Như vậy, với tính chất là một loại hình văn bản, văn bản điện tử trước hết cũng phải đảm bảo yêu cầu ổn định, thống nhất, cố định và truyền đạt thông tin cho nhiều đối tượng. Điểm khác biệt giữa văn bản điện tử với văn bản giấy và các loại hình văn bản khác chính ở kỹ thuật ghi tin, lưu trữ và truyền tin.

Các công đoạn này được thực hiện bằng các phương tiện hoạt động dựa trên công nghệ điện, điện tử, kỹ thuật số, từ tính, truyền dẫn không dây, quang học, điện từ và các công nghệ tích hợp. Nói một cách khái quát, văn bản là phương tiện ghi tin và truyền đạt thông tin bằng một ngôn ngữ hay kí hiệu nhất định. Ở mỗi lĩnh vực, văn bản có những hình thức và nội dung khác nhau. Chẳng hạn, văn bản nghệ thuật khác với văn bản quản lí nhà nước; văn bản lập pháp khác với văn bản lập quy; văn bản báo cáo khác với văn bản kế hoạch.

Hệ thống tìm kiếm văn bản Một hệ thống tìm kiếm văn bản, nói chung, thường có hai phần khá tách biệt là: (i) Phần hệ thống quản lí, lưu trữ; và (ii) phần hệ thống tìm kiếm như Hình 1. Phần hệ thống quản lí, lưu trữ thường có các bước: - Thu thập tài liệu: Bước này tự động thu thập các tài liệu từ các nguồn khác nhau. Các tài liệu này sẽ được tiền xử lí về dạng thuần văn bản trước khi đưa vào hệ thống đánh chỉ mục. - Đánh chỉ mục văn bản: Thực hiện đánh chỉ mục theo các từ khóa và chỉ mục tương ứng với từng văn bản.

Kết quả bước này là tập các từ khóa, chỉ mục tương ứng với từng văn bản, sau đó được lưu vào hệ thống lưu trữ (lưu trữ thông tin văn bản và chỉ mục). Trong phần hệ thống quản lí, lưu trữ này, bước quan trọng nhất và thu hút được nhiều sự quan tâm nghiên cứu là bước đánh chỉ mục văn bản. Cho đến nay, có khá nhiều hệ thống đánh chỉ mục văn bản được đề xuất và sử dụng rộng rãi trong 10 các ứng dụng lưu trữ, quản lí và tìm kiếm văn bản, chẳng hạn như hệ thống đánh chỉ mục của Lucene [25]. Kiến trúc tổng quan hệ thống lưu trữ và tìm kiếm văn bản Phần hệ thống tìm kiếm, thường có các bước xử lí như sau: - Nhập từ khóa: Hệ thống cung cấp giao diện cho phép người dùng nhập từ khóa cần tìm kiếm vào hệ thống để xử lí tìm kiếm.

- Xử lí truy vấn: Máy tìm kiếm bắt đầu xử lí câu truy vấn của người dùng, tách thành các từ khóa đơn để đưa vào máy tìm kiếm. - Tìm kiếm: Máy tìm kiếm thực hiện việc tìm kiếm trong tập dữ liệu văn bản đã đánh chỉ mục với các từ khóa đã xử lí. Kết quả trả về là một tập các văn bản có chứa từ khóa đã nhập vào. 11 - Xếp hạng: Bước này sẽ tiến hành xếp hạng các văn bản trả về theo thứ tự giảm dần mức độ liên quan đến các từ khóa nhập vào.

Kết quả là thu được một tập các văn bản được xếp theo thứ tự giảm dần mức độ liên quan đến từ khóa của người dùng đã nhập vào. - Hiển thị kết quả: Hệ thống cung cấp giao diện hiển thị kết quả các văn bản có chứa từ khóa đã nhập vào, các văn bản được xếp theo thứ tự giảm dần mức độ liên quan đến từ khóa nhập vào. Trong các bước của phần hệ thống tìm kiếm, bước tìm kiếm và bước xếp hạng là các bước nằm trong phần lõi của máy tìm kiếm và thu hút được nhiều quan tâm nghiên cứu. Cho đến nay, đã có nhiều hệ thống tìm kiếm và xếp hạng được đề xuất.

Các mô hình tìm kiếm có thể được nhóm vào các hướng tiếp cận như sau: - Hướng tiếp cận dựa trên giả định các từ trong văn bản là độc lập với nhau. Chẳng hạn như mô hình dựa trên so khớp Boolean (Hiemstra and Mihajlovic [13]), mô hình dựa trên không gian vector (Salton et al. - Hướng tiếp cận dựa trên việc xem xét quan hệ giữa các từ trong văn bản. Chẳng hạn như mô hình ngữ nghĩa ngầm (Scott Deerwester et al.

[31]), mô hình lân cận (Ralf Schenkel et al. [28], Svore et al. - Hướng tiếp cận dựa trên việc xếp hạng mức độ quan trọng của văn bản trong mối quan hệ với các văn bản khác. Mô hình này thường được dùng để xếp hạng các trang web.

Chẳng hạn như hướng tiếp cận HITS (Hypertext Induced Topic Search) của Jon Kleinberg [15], PageRank bởi Lawrence Page et al. Mô hình lưu trữ và tìm kiếm văn bản này hiện đang được áp dụng phổ biến với nhiều ứng dụng tìm kiếm chẳng hạn như: Google search (google.com), Yahoo search (yahoo.com), Bing (bing.com), Coccoc (coccoc. Tìm kiếm văn bản chứa công thức toán 1. Đặc thù của tìm kiếm văn bản chứa công thức toán Mặc dù mô hình lưu trữ và tìm kiếm văn bản như đã trình bày trong mục 1.1 đã được áp dụng rộng rãi và được một số lượng lớn người dùng chấp nhận.

Tuy vậy, mô hình này vẫn còn gặp nhiều khó khăn, hạn chế khi áp dụng vào bài toán tìm kiếm văn bản chứa công thức toán. Một số khó khăn có thể kể đến như: - Phần nội dung công thức toán trong văn bản được xử lí như là một đối tượng độc lập (chẳng hạn như hình ảnh, bảng biểu, sơ đồ,…) nhúng vào văn bản, do đó, không thể áp dụng các kỹ thuật xử lí văn bản vào các bước xử lí cho công thức toán:  Ở phần hệ thống lưu trữ, không thể trích rút các nội dung mã hóa của công thức toán thành các từ khóa để đánh chỉ mục và lưu trữ văn bản. Thậm chí một số hệ thống đã loại bỏ các phần nội dung không phải dạng thuần văn bản (trong đó có công thức toán) ra khỏi tài liệu trước khi đánh chỉ mục và lưu trữ tài liệu.  Ở phần hệ thống tìm kiếm, phần lớn các giao diện với người dùng chỉ cho phép gõ từ khóa dạng văn bản thuần mà không hỗ trợ người dùng gõ từ khóa là một công thức toán.

Cùng với đó là hạn chế ở bước xử lí câu truy vấn: Hầu hết các giải pháp đề xuất đều chỉ tập trung hỗ trợ câu truy vấn dạng thuần văn bản mà không hỗ trợ xử lí câu truy vấn dạng công thức toán. - Phần nội dung công thức toán được biểu diễn và lưu trữ trong các tài liệu khác nhau là không giống nhau. Điều này dẫn đến việc khó khăn trong đánh chỉ mục các tài liệu chứa công thức toán, khó khăn trong việc tìm kiếm từ khóa chứa công thức toán và khó khăn trong việc xếp hạng tài liệu văn bản chứa công thức toán theo từ khóa nhập vào. Các mục tiếp theo sẽ trình bày một số công cụ và phương pháp hỗ trợ soạn thảo, biểu diễn và lưu trữ công thức toán trong văn bản.

Từ cái nhìn tổng quan này, 13 chúng ta sẽ thấy được mức độ nghiêm trọng của những khó khăn vừa nêu trên của bài toán lưu trữ và tìm kiếm tài liệu dựa trên công thức toán.