chương 1 0 dụng 0 1 được 0 1 gõ 1 0 hầu 0 1 hết 0 1 hỗ 1 0 là 1 0 môi 1 1 Đặng Tiểu Hùng – Luận văn cao học LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 15 Phương pháp biểu diễn ngữ nghĩa lân cận siêu liên kết cho máy tìm kiếm VietSeek microsoft 1 0 nhúng 0 1 thể 0 1 tiếng 1 1 trình 1 0 trường 1 1 trợ 1 0 trong 1 2 ứng 0 1 và 0 1 vietkey 1 1 việt 1 1 windows 1 1 Bảng 1.: Vector biểu diễn văn bản Mô hình biểu diễn thông tin theo nội dung Đối với bài toán tìm kiếm theo nội dung, phần lớn các giải pháp tìm kiếm thông tin đều lựa chọn mô hình vector. Có 3ba phƣơng pháp tiếp cận trong việc xác định từ khoá trong vector biểu diễn văn bản. Phƣơng pháp biểu diễn theo nội dung văn bản: Từ khoá trong vector biểu diễn văn bản u là những từ có mặt trong văn bản u. CáchPhƣơng pháp tiếp cận theo liên kết: Từ khoá trong vector biểu diễn văn bản u là những từ khoá có trong định danh của những văn bản v có liên kết đến văn bản u.
Đặng Tiểu Hùng – Luận văn cao học LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 16 Phương pháp biểu diễn ngữ nghĩa lân cận siêu liên kết cho máy tìm kiếm VietSeek 3. CáchPhƣơng pháp tiếp cận theo ngữ nghĩa lân cận liên kết: Từ khoá trong vector biểu diễn văn bản u là những từ xuất hiện trong cửa sổ ngữ nghĩa lân cận liên kết từ những văn bản v đến văn bản u. Luận văn đề cập tới giải pháp kết hợp các phƣơng pháp tiếp cận trên đây. Phân tích cú pháp và ngữ nghĩa Trong trang web không chỉ có thông tin thể hiện nội dung mà còn các thông tin phụ trợ nhƣ các comment, các đoạn mã, các thẻ HTML.
Do đó cần phải tách lọc thông tin mà trang web biểu diễn, tách thông tin về các liên kết. Cần phải xác định từ gốc của từ biểu diễn văn bản, xác định vị trí của từ trong văn bản, xác định các biên của đoạn văn theo cú pháp câu (dấu ngắt câu) hoặc biên theo chủ đề đoạn văn (ngắt đoạn, ngắt bảng, ngắt trang). Phân lớp văn bản Phân lớp văn bản đƣợc xem nhƣ là quá trình gán các văn bản vào một hay nhiều lớp văn bản đã đƣợc xác định trƣớc. Sau khi đƣợc phân lớp, các văn bản sẽ đƣợc đánh chỉ số đối với từng lớp tƣơng ứng.
Ngƣời dùng có thể yêu cầu hệ tìm kiếm giới hạn số kết quả trong một chủ đề hoặc lớp văn bản mong muốn. Phân lớp văn bản có thể thực hiện tự động bằng các phƣơng pháp cây quyết định [3], mạng Bayer, máy vector trợ giúp. Ngoài ra, các trang web có thể thể đƣợc phân lớp bằng thủ công nhờ sự tình nguyện của ngƣời dùng trên internet nhƣ thƣ mục chủ đề các trang web ODP (Open Directory Project) [19]. Phân cụm văn bản Phân cụm văn bản là việc tự động sinh ra các lớp văn bản dựa vào sự tƣơng tự của các văn bản.
Các lớp văn bản ở đây là chƣa biết trƣớc, ngƣời dùng có thể chỉ yêu cầu số lƣợng các lớp cần phân loại, hệ sẽ đƣa ra các văn bản theo từng tập hợp, từng cụm, mỗi tập hợp chứa các văn bản tƣơng tự nhau. Đặng Tiểu Hùng – Luận văn cao học LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 17 Phương pháp biểu diễn ngữ nghĩa lân cận siêu liên kết cho máy tìm kiếm VietSeek Khai thác thông tin cấu trúc web Trong tìm kiếm thông tin trên web, các trang web đã chứa đựng thông tin nửa cấu trúc, đó chính là các liên kết giữa các trang web. Thông thƣờng, các web đem lại nhiều thông tin sẽ đƣợc trích dẫn nhiều do đó có thể khai thác thông tin liên kết giữa các trang web để đánh giá trọng số của trang web nhƣ Slattery đã đề xuất [13]. Khai thác thông tin sử dụng web Thông tin sử dụng web đƣợc chứa tronglà một tập hợp các file liên quan ngầm đến những máy chủ web.
Mục đích của việc khai thác thông tin sử dụng web để phát hiện ra những mẫu dữ liệu có ý nghĩa đƣợc sinh ra trong những giao dịch khách/chủ. Thông thƣờng các dữ liệu đó ở phía máy chủ là access logs, referrer logs, agent logs và phía máy trạm là cookies. Một dạng thông tin nữa về ngƣời dùng web là các profile của họ. Trong tìm kiếm thông tin, các trang web đem lại nhiều thông tin thƣờng đƣợc truy cập nhiều hơn các trang web khác trong cùng chủ đề.
Do đó tần suất truy cập (thông tin sử dụng web) của các trang web cũng là một thành phần cần xem xét khi đánh giá trọng số của trang web. Tuy nhiên, với mỗi ngƣời dùng thì có thể có tập hợp các trang web đƣợc yêu thích của riêng mình. Ngƣời sử dụng có thể yêu cầu mà hệ tìm kiếm cho phép giới hạn các trang kết quả trong một tên miền nào đó nhƣ .vn và những tham số nhƣ vậy có thể đƣợc định nghĩa trong các profile. KẾT LUẬN CHƢƠNG 1 Trong chƣơng này, luận văn đã giới thiệu tổng quát bài toán tìm kiếm thông tin trên web và các phƣơng pháp tìm kiếm thông tin trên web: 1.
Các phƣơng pháp tìm kiếm theo từ khoá gồm mô hình cú pháp, mô hình logic và mô hình vector. Các phƣơng pháp này đã đƣợc nghiên cứu khá kỹ lƣỡng và tiêu biểu nhất là mô hình vector đƣợc áp dụng nhiều trong các máy tìm kiếm hiện nay. Đặng Tiểu Hùng – Luận văn cao học LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 18 Phương pháp biểu diễn ngữ nghĩa lân cận siêu liên kết cho máy tìm kiếm VietSeek 2. Các phƣơng pháp tìm kiếm theo nội dung đang đƣợc nghiên cứu hiện nay là tìm kiếm theo nội dung toàn văn, theo liên kết và theo ngữ nghĩa lân cận liên kết.
Luận văn đã phân tích nguyên tắc hoạt động cũng nhƣ ƣu điểm và nhƣợc điểm của mỗi phƣơng pháp. Từ những phân tích trên, luận văn sẽ trình bày phƣơng pháp biểu diễn văn bản mới trong chƣơng 2 và đề xuất thuật toán tìm kiếm theo nội dung trong chƣơng 3. Đặng Tiểu Hùng – Luận văn cao học LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 19 Phương pháp biểu diễn ngữ nghĩa lân cận siêu liên kết cho máy tìm kiếm VietSeek CHƢƠNG 2. PHƢƠNG PHÁP BIỂU DIỄN TRANG WEB THEO NGỮ NGHĨA LÂN CẬN SIÊU LIÊN KẾT Giới thiệu Mục tiêu của việc tìm kiếm trang Web tƣơng tự là cho phép ngƣời sử dụng tìm những trang Web tƣơng tự với trang Web mẫu.
Về cơ bản, khi đƣa ra một văn bản, một thuật toán tìm kiếm tƣơng tự phải cung cấp danh sách thứ tự của các văn bản tƣơng tự với văn bản mẫu. Trong chƣơng này, luận văn sẽ trình bày một số phƣơng pháp tiếp cận của giải pháp tìm kiếm theo nội dung và sự đánh giá chất lƣợng của mỗi phƣơng pháp. Trên cơ sở phƣơng pháp biểu diễn trang web theo ngữ nghĩa lân cận siêu liên kết [16], luận văn đề xuất một số bổ sung, cải tiến thành giải pháp tìm kiếm theo nội dung. Căn cứ trên những kết quả đánh giá qua thử nghiệm, giải pháp tìm kiếm theo nội dung do luận văn đề xuất đƣợc xem là có chất lƣợng tốt hơn so với các phƣơng pháp đã khảo sát khác và đƣợc áp dụng cho máy tìm kiếm VietSeek.
Thuật toán tìm kiếm sẽ gồm hai bƣớc: 1. Tiền xử lý các trang web: Tạo vector biểu diễn trang web. So sánh các trang web trong cùng chủ đề của ODP để tính toán sẵn độ tƣơng tự các trang web. Thực hiện tìm kiếm thông tin, chỉ đơn thuần là thao tác định vị và đọc dữ liệu sẵn có trong cơ sở dữ liệu.
Phƣơng pháp này đã đƣợc thử nghiệm bằng tập dữ liệu lớn và chứng tỏ tính khả thi của nó. Các vấn đề chính cần phải giải quyết trong phƣơng pháp biểu diễn ngữ nghĩa lân cận siêu liên kết là: 1. Xác đĐịnh nghĩa phƣơng pháp đánh giá chất lƣợng cho độ đo tƣơng tự. Xác địnhĐịnh nghĩa mô hình vector biểu diễn trang web.
Xác đĐịnh nghĩa độ đo tƣơng tự với mô hình biểu diễn đã chọn 4. Khảo sát các thành phần của vector biểu diễn trang web 5. Xây dựng các thuật toán: Đặng Tiểu Hùng – Luận văn cao học LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 20 Phương pháp biểu diễn ngữ nghĩa lân cận siêu liên kết cho máy tìm kiếm VietSeek - Thuật toán tạo vector biểu diễn trang web - Thuật toán tính độ tƣơng tự giữa các trang web - Thuật toán tìm kiếm trang web tƣơng tự Các vấn đề 1, 2, 3 và 4 sẽ đƣợc trình bày trong chƣơng 2 của luận văn. Vấn đề 5 có trong đƣợc đề xuất phƣơng án thực hiện cho máy tìm kiếm VietSeek trong chƣơng 3.
Phƣơng pháp đánh giá chất lƣợng độ đo tƣơng tự Chọn phƣơng pháp đánh giá Khi khảo sát các cách tiếp cận để tìm ra đƣợc một giải pháp tìm kiếm thông tin tốt nhất thì cần thiết phải có một phƣơng pháp đánh giá chất lƣợng cho các mỗi phƣơng án. Chất lƣợng xếp hạng trang web của máy tìm kiếm thƣờng đƣợc đánh giá bởi ngƣời dùng dựa trên các độ đo về khoảng cách và đặc trƣng của văn bản. Tuy nhiên, sử dụng trực tiếp sự đánh giá của ngƣời dùng thƣờng tốn thời gian và công sức, nên điều đó không thích hợp cho những nghiên cứu mà đòi hỏi sự so sánh đánh giá của nhiều tham số. Trong văn bản về phân cụm, nhiều phƣơng pháp đánh giá chất lƣợng tự động đã đƣợc đề xuất [8].
Steinback [15] chia những phƣơng pháp này thành 2 lớp tổng quát. Phƣơng pháp đánh giá sử dụng các độ đo chất lƣợng nội tại, nhƣ độ tƣơng tự trung bình, chỉ ra chất lƣợng của một cụm văn bản đƣợc đề xuất dựa hoàn toàn trên nội tại hình học và thống kê, không dựa trên một tập chân lý nền có sẵn. Phƣơng pháp đánh giá dựa trên các độ đo chất lƣợng ngoài, nhƣ độ đo entropy, kiểm tra sự tƣơng quan của một cụm với một tập chân lý nền có sẵn. Đây cũng là phƣơ ng pháp đánh giá đƣợc sử dụng để đo chất lƣợng của một phƣơng án.
Cây phân loại chủ đề các trang web ODP [19] đƣợc xây dựng và phổ dụng trên Iinternet. Trong ODP, các trang web đƣợc sắp phân lớp theo các chủ đề và thứ tự của nó trong chủ đề có thể coi là hạng của trang web trong chủ đề tƣơng ứng. Độ đo tƣơng tự của các văn bản tƣơng ứng với một phƣơng án biểu diễn thông tin về văn bản cung cấp một tập thứ tự.