mở đầu, nội dung), thẻ nhấn trình bày chữ (đậm, nghiêng. Nhờ các thẻ này mà chúng ta có thêm một tiêu chuẩn (so với tài liêu Fulltext) để có thể tìm kiếm và phân lớp chúng. Dựa vào các thẻ đã quy định trước chúng ta có thể phân thành các độ ưu tiên khác nhau cho các từ khoá nếu chúng xuất hiện ở các vị trí khác nhau. Ví dụ khi tìm kiếm các tài liệu có nội dung liên quan đến “computer” thì chúng ta đưa vào từ khoá tìm kiếm là “computer”.
Rõ ràng các tài liệu mà từ “computer” xuất hiện ở phần tiêu đề sẽ có nội dung nói về computer, và sẽ gần với yêu cầu tìm kiếm của chúng ta hơn.3 So sánh đặc điểm của dữ liệu Fulltext và dữ liệu trang web Như đã được trình bày, trang web là một dạng đặc biệt của dữ liệu Full-text. Qua khảo sát sơ bộ tính chất của hai loại dữ liệu này, chúng tôi có một số nhận xét sau đây về đặc điểm giống nhau và khác nhau giữa trang web và một trang Fulltext thông thường. Bảng dưới đây liệt kê ra một số các đặc điểm khác nhau cơ bản như vậy. STT Trang web Văn bản thông thường (Fulltext) 1 Văn bản trang web là “nửa Văn bản Fulltext là “phi cấu cấu trúc”.
Trong nội dung có phần trúc”. Trong phần nội dung không có tiêu đề, và có các thẻ nhấn mạnh một tiêu chuẩn nào cho phép chúng ta nghĩa của từ hoặc cụm từ. dựa vào để đánh giá. 2 Nội dung của các trang web Nội dung của văn bản Fulltext thường được mô tả ngắn gọn, cô thường rất chi tiết và đầy đủ.
đọng, có các siêu liên kết chỉ đến Mét sè gi¶i ph¸p cho bµi to¸n t×m kiÕm trong CSDL Hypertext LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 16 các web có nội dung liên quan 3 Trong nội dung các trang Các trang văn bản thông thường web có chứa các siêu liên kết cho không liên kết được đến nội dung của phép liên kết đến các trang khác các trang khác có nội dung liên quan Bảng 1. Đối sánh trang Web và trang Fulltext 1.2 Tổng quan về phương pháp biểu diễn văn bản trong cơ sở dữ liệu trang web Cùng với sự phát triển nhanh chóng của số lượng các trang web trên mạng máy tính toàn cầu Internet, cũng như số lượng người dùng mạng Internet trong những năm gần đây thì việc xử lý văn bản trang web cũng nhận được mối quan tâm đặc biệt. Do các trang web chỉ là các tài liệu “nửa cấu trúc” nên việc biểu diễn trang web là đặc biệt quan trọng bởi vì việc biểu diễn là bước thực hiện đầu tiên, làm tiền đề cho việc giải quyết rất nhiều bài toán như tìm kiếm, phân lớp, phân cụm văn bản. Hiện nay có rất nhiều các cách tiếp cận khác nhau trong việc biểu diễn văn bản trong cơ sở dữ liệu trang web.
Với mỗi mục đích khác nhau thì mỗi người lại có cách biểu diễn trang web riêng. Có thể kể ra một số cách biểu diễn trang web khác nhau như: Dôna Mladenic [10], Seán Slattery [11] hay Hwanjo Yu, Jiawei Han, Kevin Chen-Chuan [14] coi trang web như văn bản thông thường và chọn mô hình vector biểu diễn; các máy tìm kiếm như Yahoo, Altavista, Google hay Vietseek. không sử dụng mô hình vector mà sử dụng hệ thống từ khóa móc nối song không biểu diễn nội dung văn bản. Một cách tiếp cận khác đang nhận được mối quan tâm của nhiều người hiện nay, đó là cách tiếp cận biểu diễn website, đối tượng quan tâm không là webpage mà là website: Nghĩa là đối tượng tìm kiếm không phải là các trang web đơn nữa mà là cả một website [6].
Mét sè gi¶i ph¸p cho bµi to¸n t×m kiÕm trong CSDL Hypertext LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 17 Sau đây chúng tôi giới thiệu sơ bộ về mỗi cách tiếp cận biểu diễn văn bản trang web cùng một số nhận xét đánh giá của chúng tôi về điểm mạnh và điểm yếu của mỗi cách tiếp cận. Trình bày của chúng tôi tuân theo sự phân loại, loại đầu tiên về các phương pháp biểu diễn trang web đơn và loại thứ hai về các phương pháp biểu diễn website. Vì các phương pháp biểu diễn trang web đơn là đối tượng nghiên cứu của luận văn mà sẽ được khảo sát kỹ lưỡng trong các chương sau của luận văn, nên trong phần dưới đâyluận văn trình bày một cách sơ lược những nội dung này.1 Giới thiệu sơ bộ về các phương pháp biểu diễn trang web Phương pháp biểu diễn trang web trong các máy tìm kiếm Trong hầu hết các máy tìm kiếm hiện nay đều không sử dụng mô hình vector để biểu diễn các trang web. Nhằm giải quyết bài toán tìm kiếm theo cụm từ, các máy tìm kiếm hiện nay sử dụng phương pháp biểu diễn văn bản trang web theo xâu các từ khóa xuất hiện trong văn bản đó.
Trong một số trường hợp, để phục vụ cho việc tìm kiếm nhanh các văn bản chứa một từ do người dùng đưa vào, từ khóa được coi là đối tượng trung tâm của hệ thống (xem mục 2. Lý do không sử dụng mô hình vector để biểu diễn trang web trong các máy tìm kiếm được diễn giải theo các lập luận sau đây. Trong các cơ sở dữ liệu Fulltext truyền thống, các tài liệu có cấu trúc thông tin đồng nhất (về nội dung, ngôn ngữ diễn đạt, định dạng file.), chúng phổ biến là tập các tài liệu trong cùng một lĩnh vực hẹp nào đó, và thường là được kiểm soát tốt. Do đó việc sử dụng mô hình vector để biểu diễn là rất phù hợp.
Trong khi đó cơ sở dữ liệu trang web là một cơ sở dữ liệu phức tạp cả về nội dung, kích thước lẫn hình thức trình bày. Những người thiết kế máy tìm kiếm coi rằng hệ thống trang Web là một tập dữ liệu khổng lồ, không đồng nhất và rất khó kiểm soát. Không ai có thể biết chính xác được kích thước của web hiện nay ra sao, và nó sẽ tiếp tục phát triển như thế nào về nội dung lẫn kích thước, vì hầu như mọi người đều có thể xoá, sửa chữa và đưa thêm các trang mới lên Internet bất cứ lúc nào. Web đa dạng Mét sè gi¶i ph¸p cho bµi to¸n t×m kiÕm trong CSDL Hypertext LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 18 cả về nội dung, ngôn ngữ (ngôn ngữ của con người và ngôn ngữ máy) lẫn định dạng file (text, HTML, PDF, images, sounds.) chính vì thế mà việc sử dụng mô hình vector để biểu diễn có thể là không còn phù hợp nữa mà cần phải sử dụng các mô hình biểu diễn khác hoặc phải cải tiến mô hình vector để có thể phù hợp với việc xử lý web.
Trong phương án phổ biến hiện nay trong các máy tìm kiếm, người ta chưa sử dụng mô hình vector để biểu diễn trang web. Các máy tìm kiếm xử lý bài toán tìm kiếm trang web bằng cách kiểm soát nội dung của các trang theo hệ thống các từ khóa và kiểm soát các mối liên kết giữa các trang. Các máy tìm kiếm phân tích các trang để lấy ra các từ khóa xuất hiện trong các trang đó và lưu trữ để làm cơ sở cho việc tìm kiếm theo nội dung. Trong khi phân tích các từ trong trang web thì các máy tìm kiếm đều ghi lại các thông tin chung nhất về từ như: vị trí xuất hiện trong trang, chữ hoa hay chữ thường.
nên có thể sử dụng được các thông tin tiềm ẩn mà người viết các trang web đó muốn diễn đạt. Các máy tìm kiếm còn phân tích được các mối liên kết giữa các trang để phục vụ cho việc xếp hạng các trang làm cơ sở để sắp xếp các trang kết quả khi hiển thị cho người dùng. Chi tiết về cách biểu diễn cũng như xử lý tài liệu web trong các máy tìm kiếm được đề cập đến ở phần 2.1 của luận văn này. Các phương pháp dựa trên mô hình vector Phát triển kết quả của các nghiên cứu trước đây, trong luận văn tiến sĩ năm 2002 của mình, Seán Slattery [11] đã giới thiệu và đề xuất sử dụng mô hình vector biểu diễn văn bản.
Trong lĩnh vực xử lý văn bản truyền thống từ trước đến nay thì thông thường vẫn thực hiện các công việc biểu diễn, tìm kiếm, phân lớp. trên cơ sở coi trang web như là các trang văn bản thông thường và sử dụng mô hình không gian vector để biểu diễn văn bản. Cũng tiến hành việc biểu diễn và xử lý tài liệu web dựa trên cách tiếp cận đó, tuy nhiên Seán Slattery cũng đã có những cải tiến để có thể tận dụng được tính nửa cấu trúc, đặc biệt là khai thác thế mạnh của siêu liên kết trong văn bản. Seán Slattery đã sử dụng các siêu liên kết giữa các trang web để có thể lấy được các thông Mét sè gi¶i ph¸p cho bµi to¸n t×m kiÕm trong CSDL Hypertext LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 19 tin về mối liên hệ giữa nội dung các trang, và dựa vào đó để nâng cao hiệu quả phân lớp và tìm kiếm.
Tuy nhiên, một số phương pháp theo cách thức khai thác yếu tố siêu liên kết lại làm tăng nhanh kích thước vector biểu diễn văn bản trang web và vì vậy một số cải tiến nhằm khắc phục tình huống này đã được đề xuất. Cải tiến các phương pháp biểu diễn của Seán Slattery, chúng tôi cũng đề xuất bổ sung thêm một phương pháp biểu diễn khác. Một số tác giả khác đưa ra cách cải tiến định hướng vào việc cách liệt kê thêm các từ khóa từ các trang web láng giềng bằng cách chỉ bổ sung các từ khóa xuất hiện trong đoạn văn bản lân cận với siêu liên kết. Vấn đề này hiện cũng đang được quan tâm nghiên cứu và triển khai.
Ưu điểm của tất cả các phương pháp biểu diễn trên đây là vừa khai thác được thế mạnh của mô hình vector trong biểu diễn văn bản lại vừa đưa thêm được yếu tố liên kết của các trang web theo các siêu liên kết. Chi tiết theo cách tiếp cận biểu diễn trang web theo mô hình vector, mà trọng tâm là các giải pháp của Seán Slattery bao gồm cách biểu diễn webpage do luận văn đề xuất, được đề cập tại phần 2.2 Cách tiếp cận theo web site Cách tiếp cận theo website là cách coi đối tượng tìm kiếm là các web site thay cho các trang web trong cách tiếp cận thông thường. Vào những năm 1999-2000, một số tác giả [2,4] đã đề xuất sơ bộ về việc sử dụng website như đối tượng của biểu diễn, phân lớp và tìm kiếm.