Mở đầu Trình bày lý do chọn đề tài, mục tiêu nội dung và phƣơng pháp nghiên cứu, cấu trúc của luận văn Chƣơng 2. Nghiên cứu tổng quan Phân tích, đánh giá các công trình nghiên cứu đã có của các tác giả trong và ngoài nƣớc liên quan mật thiết đến đề tài; nêu những vấn đề còn tồn tại; chỉ ra những vấn đề mà đề tài cần tập trung nghiên cứu, giải quyết. Phƣơng pháp nhận biết và rút trích chủ đề Trình bày các cơ sở lý thuyết, lý luận, giả thuyết khoa học và phƣơng pháp nghiên cứu đã đƣợc sử dụng trong Luận văn. Thực nghiệm và đánh giá Mô tả công việc nghiên cứu khoa học đã tiến hành, các số thực nghiệm.
Đánh giá độ chính xác của thuật toán Chƣơng 5. Kết luận và hƣớng phát triển Kết luận những việc đã đạt đƣợc và còn hạn chế của luận văn. Đề xuất hƣớng phát triển 5 CHƢƠNG 2. NGHIÊN CỨU TỔNG QUAN Chƣơng 2 phân tích một số nghiên cứu trong và ngoài nƣớc có liên quan đến luận văn.
Mục đích nhằm xác định những ƣu điểm hạn chế và các khó khăn của những nghiên cứu có liên quan đến luận văn để từ đó luận văn đƣa ra các giải pháp nhằm phát triển hệ thống đạt kết quả. Trong chƣơng này, 2.1 trình bày tóm lƣợc các nghiên cứu trên thế giới, phần 2.2 trình bày tóm lƣợc về các nghiên cứu trong nƣớc có liên quan đến luận văn, trong đó tập trung các nghiên cứu có liên quan đến Wikipedia để nghiên cứu trong luận văn.1 Tình hình nghiên cứu trên thế giới Trên thế giới, có rất nhiều mô hình phân nhóm chủ đề tài liệu ra đời, một số thì đã đƣợc thƣơng mại hóa, số còn lại là xây dựng riêng cho mình một hệ thống phân nhóm chủ đề tài liệu hay chỉ đóng góp một phần nhỏ cho khoa học. Aslandogan [11] Nhận diện chủ đề trong văn bản động với mức độ phức tạp cao. Vấn đề phân tích tự động phát hiện dữ liệu văn bản đã phát triển trong vài năm qua.
Một ví dụ về dữ liệu đó là các cuộc thảo luận xuất hiện trong dòng chat Internet. Trong nghiên cứu này đề cập đến một phƣơng pháp tách nguồn đƣợc giới thiệu gần đây, đƣợc gọi là theo dõi mức độ phức tạp, đƣợc áp dụng cho các vấn đề tìm kiếm chủ đề trong văn bản động học và đƣợc so sánh ngƣợc lại với một số thuật toán tách mù đối với nội dung xem xét. Theo dõi mức độ phức tạp là khái niệm tổng quát của một phép chiếu chuỗi thời gian và nó có thể sử dụng cả hai biện pháp thống kê bậc cao và thông tin phụ thuộc thời gian trong việc tách các chủ đề. Kết quả thực nghiệm trên dữ liệu dòng chat và nhóm tin đã chứng minh rằng chuỗi thời gian tối thiểu đáp ứng các chủ đề có ý nghĩa vốn có trong dữ liệu văn bản động, và cũng cho thấy khả năng ứng dụng của phƣơng pháp để thu hồi từ một văn bản tạm thời thay đổi truy vấn dựa trên dòng.
Lin [15] nhận diện tự động chủ đề dựa trên tri thức. Nhƣ là bƣớc đầu tiên trong một thuật toán tổng hợp văn bản động, tác giả đã giới thiệu một phƣơng pháp mới nhằm tự động xác định các ý tƣởng trung tâm trong một văn bản dựa trên một khái niệm đếm mô hình tri thức. Để tiện cho việc trình bày, khái quát các khái niệm, tác giả sử dụng khái niệm phân loại theo cấp bậc WordNet bằng cách thiết lập các giá trị cắt phù hợp với các thông số, nhƣ khái niệm tổng quát và tần số mối quan hệ cha- con để kiểm soát số lƣợng và mức độ tổng quát của khái niệm trích xuất từ các văn bản M. Castells [20] Tự động khai thác các mối quan hệ ngữ nghĩa cho WordNet bằng bách khoa toàn thƣ Wikipedia.
Tác giả giới thiệu cách tiếp cận nhằm tự động kết hợp các mục từ trong bách khoa toàn thƣ trực tuyến với các khái niệm trong hệ thống ngữ nghĩa từ vựng. Cách tiếp cận này đã đƣợc thử nghiệm với Wikipedia tiếng Anh đơn giản và WordNet, mặc dù nó có thể đƣợc sử dụng với các nguồn khác nhau. Độ chính xác trong việc nhận diện lƣỡng nghĩa của các mục từ điển bách khoa đạt 91,11% (83,89% cho các từ đa nghĩa). Bƣớc tiếp cận này sẽ đƣợc áp dụng để làm phong phú thêm bản thể học với kiến thức bách khoa.
Trong bài báo này, tác giả trình bày một thủ tục tự động làm giàu một mạng ngữ nghĩa từ trong hiện tại với thông tin bách khoa toàn thƣ giúp định nghĩa các khái niệm. Mạng đƣợc chọn là WordNet, vì nó hiện đang đƣợc sử dụng, ứng dụng trong nhiều lĩnh vực khác nhau, mặc dù các thủ tục nói chung là đủ khái quát hóa để đƣợc sử dụng với bản thể học khác. Wikipedia cũng đƣợc chọn với phiên bản tiếng Anh đơn. Các cấu trúc cú pháp đơn giản trong tiếng Anh dễ dàng xử lý và phân tích thông tin dễ hơn so với văn bản hoàn toàn không bị giới hạn, từ đó xử lý các định nghĩa đƣợc dễ dàng hơn trong tƣơng lai.
Castells [21] Tự động khai thác các mối quan hệ ngữ nghĩa đối với WordNet bằng phƣơng tiện học tập mô hình mẫu từ Wikipedia. Bài viết mô tả một cách tiếp cận tự động xác định mẫu từ vựng mà đại diện cho mối quan hệ ngữ nghĩa giữa các khái niệm, từ một bách khoa toàn thƣ trực tuyến. 7 Tiếp theo, các mô hình có thể đƣợc áp dụng để mở rộng bản thể hiện có hoặc mạng ngữ nghĩa với mối quan hệ mới. Các thí nghiệm đã đƣợc thực hiện với Wikipedia tiếng Anh đơn giản và WordNet 1.
Một thuật toán mới đã đƣợc đặt ra cho các mô hình tự động việc tổng quát từ vựng đƣợc tìm thấy trong các mục bách khoa toàn thƣ. Tác giả đã tìm thấy mô hình chung của các mối quan hệ thƣợng tầng vị, hạ tầng vị, bộ phận và tổng thể. Tác giả đã rút ra hơn 1200 mối quan hệ mới không xuất hiện trong WordNet ban đầu. Độ chính xác của những mối quan hệ trong khoảng giữa 0,61 và 0,69, tùy thuộc vào mối quan hệ.
Xác định chủ đề là điều cần thiết để kết nối trong phân loại các ứng dụng tìm kiếm, trong đó bộ tài liệu đƣợc cung cấp và những mô tả ý nghĩa đối với mỗi loại đƣợc xây dựng. Những đóng góp của bài viết này gồm 3 nội dung. (1) Đƣa ra một khung chuẩn chính thức xác định chủ đề cùng với đặc tính mong muốn của mình, (2) giới thiệu một hệ thống phân loại cho các thuật toán xác định chủ đề và đề xuất các thuật toán tƣơng ứng của các công cụ tìm kiếm, (3) đề xuất một cách tiếp cận để xác định chủ đề, dựa vào kiến thức phân loại các bản thể hiện có. Bài viết này đề xuất một phƣơng pháp sử dụng hệ thống phân cấp bản thể trong xác định chủ đề tự động.
Ý tƣởng cơ bản của cách tiếp cận này là khai thác một cấu trúc phân cấp bản thể để tìm một chủ đề của một văn bản. Các từ khóa đƣợc trích xuất từ một văn bản sẽ đƣợc ánh xạ vào các khái niệm tƣơng ứng của phân cấp trong bản thể học. Bằng cách tối ƣu các khái niệm tƣơng ứng, chúng tôi sẽ chọn một điểm nút duy nhất trong số các nút khái niệm mà chúng tôi tin là chủ đề của nghiên cứu này. Tuy nhiên, từ vựng hạn chế là vấn đề gặp phải khi lập bản đồ các từ khóa vào các khái niệm tƣơng ứng của phân cấp bản thể.
Tình trạng này buộc chúng ta phải mở rộng bản thể học để làm phong phú mỗi khái niệm những khái niệm mới bằng cách sử dụng ngôn ngữ bên ngoài kiến thức cơ bản (WordNet). Sử dụng từ khóa ánh xạ lên các khái niệm bản thể là kỹ thuật xác định chủ đề mà chúng tôi tin rằng là phƣơng cách thực hiện hiệu quả nhất 8 Tuoi T. Nguyen [27] đề xuất một giải pháp trích xuất cụm từ khóa trong văn bản tiếng Việt trong đó khai thác từ điển bách khóa Wikipedia tiếng Việt và khai thác những đặc tính riêng biệt của tiếng Việt trong giai đoạn chọn lựa từ khóa để trích xuất. Bài báo cũng tìm hiểu kỹ thuật xử lý ngôn ngữ tự nhiên tiếng Việt đề xuất để phân tích văn bản tiếng Việt, tập trung gắn thẻ vào các cụm từ, cũng nhƣ loại từ.
Cuối cùng, xem xét kết quả thử nghiệm để kiểm tra sự tác động của chiến lƣợc đã chọn trong việc trích xuất cụm từ khóa tiếng Việt.2 Tình hình nghiên cứu trong nƣớc Các nghiên cứu liên quan: Đinh Quang Định [2] đƣa ra đƣợc cái nhìn khái quát việc triển khai mô hình Web3.0 trên thế giới đồng thời đánh giá hiện trạng việc sử dụng Web 2.0 trong nƣớc từ đó đƣa ra lộ trình thực hiện áp dụng công nghệ Web 3.0 tại Việt Nam. Nguyễn Đình Bình [5] Nghiên cứu khai phá dữ liệu Web và ứng dụng tìm kiếm trích chọn thông tin theo chủ đề. Mục đích của đề tài là nghiên cứu áp dụng tìm kiếm và trích chọn mẫu mới, hữu ích, hiểu đƣợc, tiềm ẩn trong Web. Những thông tin theo chủ đề nhanh, chính xác và đầy đủ, thông tin tiềm ẩn bên trong nội dung trang Web đó và những thông tin quan trọng hay những luồng thông tin tốt nhất trên trang Web tìm kiếm trả về kết quả phù hợp với yêu cầu ngƣời dùng.
Tác giả trích chọn thông tin dựa trên mô hình phân cụm, gán nhãn, CRFs, mô hình Latent Dirichlet Allocation (LDA) và thuật toán Viterbi. Tác giả khai phá dữ liệu Web (chủ yếu là kho dữ liệu Google), trích chọn thông tin theo chủ đề, cho ra kết quả rất khả quan về mặt khoa học và mặt thực tiễn, giúp cho ngƣời dùng nắm đƣợc những chủ đề thời sự nổi bật và có thêm giải pháp hỗ trợ về công tác quản lý. Nguyễn Thị Hồng Nhung và Nguyễn Thị Tuyết Mai [6] đã xây dựng một hệ thống tìm kiếm thông tin ấn tƣợng với 3 ngôn ngữ Việt-Anh-Hoa dựa trên từ điển bởi 9 rất nhiều ƣu điểm. Tuy vậy kết quả đạt không cao bởi số lƣợng các mục từ còn hạn chế (liên quan đến lĩnh vực tin học và bài báo tiếng Hoa) nên việc chuyển ngữ chƣa có độ chính xác cao.
Hƣớng phát triển bổ sung một số kho ngữ liệu ở nhiều lĩnh vực khác để khử nhập nhằng, cho hiệu suất cao. Nguyễn Tiến Thanh [7] Luận văn nghiên cứu về trích chọn quan hệ thực thể trên Wikipedia Tiếng Việt dựa vào cây phân tích cú pháp.