MỞ ĐẦU 1. Tính cấp thiết của đề tài Trong thời đại công nghệ số nhƣ hiện nay, các nguồn tài liệu là vô cùng phong phú. Việc “sao chép tài liệu” theo nghĩa tiêu cực nhƣ đạo văn, sao chép các luận án, luận văn, đồ án trở nên phổ biến và đang là vấn nạn. Ở qui mô rộng hơn, các thƣ viện điện tử ngày càng nhiều, một tài liệu có thể đƣợc phát hành trên internet nhiều lần trong những thƣ viện điện tử khác nhau, trên các trang web khác nhau.
Làm thế nào để phát hiện sự sao chép tài liệu theo nghĩa tiêu cực? Làm thế nào ngăn chặn việc sao chép trái phép, đạo văn, đạo nhạc, đạo luận văn, đồ án? Chủ đề này đã đƣợc nghiên cứu từ khoảng hơn 10 năm qua. Hiện tại, đã có một số giải pháp cho việc phát hiện sao chép và một vài công cụ phần mềm cho phép phát hiện một tài liệu (gọi là văn bản kiểm tra) có sao chép từ một tập hợp các tài liệu nguồn hay không. Tập hợp các tài liệu nguồn có thể là đóng- tức là các tài liệu tập hợp trƣớc trong một thƣ viện điện tử- hoặc là mở, chẳng hạn nhƣ tập các tài liệu văn bản trên internet. Đã có một số nghiên cứu đề xuất các phƣơng pháp khác nhau để xác định xem một đoạn văn bản của một tài liệu có nằm trong một tài liệu nào khác hay không.
Các phƣơng pháp này chủ yếu dựa trên tìm kiếm và so khớp chuỗi. Tuy nhiên, các phƣơng pháp so khớp chuỗi chỉ có hiệu quả nếu việc sao chép là “nguyên văn”. Do vậy một yêu cầu cấp bách đặt ra là làm thế nào để phát hiện việc sao chép khi có sửa đổi đôi chút nhƣ thay thế một số từ bằng từ đồng nghĩa hay thay đổi một ít trong thứ tự các câu trong văn bản. Chính vì vậy, đề tài “Tính toán độ tƣơng tự ngữ nghĩa văn bản dựa vào độ tƣơng tự giữa từ với từ” đƣợc chọn làm đề tài luận văn tốt nghiệp của tôi.
Mục tiêu của luận văn Vận dụng các phƣơng pháp tính độ tƣơng tự giữa từ với từ để tính độ tƣơng đồng ngữ nghĩa giữa hai văn bản giúp phát hiện một văn bản có đƣợc sao chép từ văn bản kia hay không. Đối tượng và nhiệm vụ của luận văn Đối tƣợng: Tập các văn bản trong bộ dữ liệu mẫu. Tập các tài liệu trên Internet. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4 Nhiệm vụ: Luận văn tập trung vào tính độ tƣơng tự ngữ nghĩa văn bản dựa trên tập ngữ liệu có sẵn.
Trong đó có tận dụng tối đa các đặc điểm của kho ngữ liệu, đến độ tƣơng tự giữa từ với từ và tập các từ đồng nghĩa. Phương pháp và nội dung nghiên cứu Nghiên cứu lý thuyết về độ tƣơng tự, các cách tính độ tƣơng tự giữa từ với từ. Nghiên cứu về kho ngữ liệu, hiện tƣợng từ đồng nghĩa. Tìm hiều các cách tách từ trong văn bản tiếng Việt.
Nghiên cứu các phƣơng pháp tính độ tƣơng tự ngữ nghĩa văn bản dựa trên độ tƣơng tự giữa từ với từ. Kết cấu của luận văn Nội dung chính của luận văn gồm 4 chƣơng: Chƣơng I: Khái niệm độ tƣơng tự. Chƣơng II: Độ tƣơng tự từ-từ. Chƣơng III: Độ tƣơng tự văn bản-văn bản.
Chƣơng IV: Tính độ tƣơng tự ngữ nghĩa văn bản dựa vào độ tƣơng tự giữa từ với từ. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 5 CHƢƠNG I. KHÁI NIỆM ĐỘ TƢƠNG TỰ 1. Tổng quan về độ tƣơng tự Nghiên cứu “sự tƣơng tự” (thƣờng ở dạng đối ngẫu của nó là “khoảng cách”) thuộc phạm vi toán học, chẳng hạn trong lý thuyết tôpô và xấp xỉ; nhƣng trong khoa học máy tính và các ứng dụng máy tính có phần khác.
Trong khoa học máy tính, phép tính xấp xỉ thƣờng đƣợc sử dụng theo một lối không có tính hệ thống (non-systematic) và không theo thể thức (ad-hoc). Trong ngữ cảnh này, khái niệm “sự tƣơng tự” xuất hiện ở nhiều dạng, diễn xuất, và nhiều ứng dụng. Khái niệm “sự tƣơng tự” có nhiều dạng khác nhau. Bất chấp những khác biệt, chúng đều có điểm chung: “sự tƣơng tự” đƣợc sử dụng để so sánh hai (hay nhiều) đối tƣợng, hai hoàn cảnh, hai vấn đề, v.v… với nhiều nguyên do khác nhau.
Luôn có mục đích nào đó với một phép so sánh nhƣ thế, bởi vì một hành động tiếp sau đó đƣợc thực hiện và cuối cùng thì một vấn đề nào đó phải đƣợc giải quyết. Vì lý do đó, hai đối tƣợng đƣợc đem so sánh giữ những vai trò khác nhau. Đối tƣợng thứ nhất đang đƣợc xem xét và đƣợc gọi là vấn đề (problem). Đối tƣợng thứ hai là đã biết và đã lƣu; thƣờng đƣợc gọi là bản mẫu (prototype) hay tình huống (case).
“Sự tƣơng tự” đƣợc sử dụng một cách gián tiếp trong quá trình giải quyết vấn đề, nổi bật là các phƣơng pháp dựa trên phép loại suy (Analogy), lập luận dựa theo tình huống (Case-Based Reasoning), và nhận dạng mẫu (Pattern Recognition). Chúng có liên hệ với nhau và không có ranh giới rõ ràng giữa phép loại suy và các phƣơng pháp khác. Ở đây, chúng ta chấp nhận quan điểm rằng phép loại suy gắn với các đối tƣợng thuộc nhiều lĩnh vực, trong khi CBR và nhận dạng mẫu sử dụng độ tƣơng tự trong cùng một lĩnh vực. Một khác biệt cơ bản giữa CBR và phép loại suy là CBR thƣờng (không phải luôn luôn) xét các đối tƣợng đƣợc mô tả theo cùng ngôn ngữ mô tả và thuật ngữ, trong khi phép loại suy có thể xét các lý thuyết hoàn toàn khác nhau.
Dƣới đây là một số ngữ cảnh cần đến “sự tƣơng tự”: Lập luận dựa theo tình huống (CBR) là một cách rất tổng quát để giải quyết vấn đề bằng cách sử dụng các kinh nghiệm trƣớc đó. Những kinh nghiệm này đƣợc ghi lại trong một cơ sở dữ liệu gọi là kho tình huống. Ý tƣởng bên dƣới nhằm tái sử dụng những kinh nghiệm là: “Nếu hai vấn đề là tƣơng tự thì chúng có các giải pháp tƣơng tự”. CBR cũng có một giả định cơ bản là luôn tồn tại kinh nghiệm.
Với điều kiện này, CBR có thể đƣợc áp dụng cho hầu hết các dạng ứng dụng. Thƣờng thì có rất nhiều kinh nghiệm đƣợc lƣu trữ và một khía cạnh thiết yếu là nhanh chóng tìm ra những kinh nghiệm hữu ích (bài toán thu hồi). LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 6 Trong cơ sở dữ liệu (Databases), “sự tƣơng tự” cũng có liên quan với tìm kiếm, và có quan hệ nào đó với CBR. Đa phần cơ sở dữ liệu cần so trùng chính xác.
Các phép đo độ tƣơng tự giữ một vai trò trong một số cơ sở dữ liệu đặc biệt nhƣ cơ sở dữ liệu không gian (spatial database) hay cơ sở dữ liệu địa lý (geo- database). Nhận dạng mẫu (Pattern Recognition) cũng là một vấn đề rất tổng quát, nghiên cứu sự vận hành và thiết kế các hệ thống nhận dạng các mẫu trong dữ liệu. Vì những mẫu nhƣ thế không phải lúc nào cũng giống hệt nhau, khái niệm “sự tƣơng tự” thƣờng đóng một vai trò quyết định. Trong phân loại (Classification) và phân tích cụm (Cluster Analysis), “sự tƣơng tự” đƣợc sử dụng để phân loại các đối tƣợng: các đối tƣợng tƣơng tự thuộc về cùng một lớp/cụm, các đối tƣợng không tƣơng tự thuộc về các lớp/cụm khác nhau.
Trong diễn xuất hình ảnh (Image Interpretation), các hình ảnh đƣợc diễn xuất theo ý nghĩa của chúng và chúng đƣợc so sánh với nhau. Ví dụ, một ảnh y khoa thực tế và một ảnh không có bệnh lý nào đó đƣợc so sánh với nhau; độ tƣơng tự giữa những ảnh này đƣợc sử dụng để cho biết ảnh thực kia có chứa bệnh lý hay không. Xác minh hình ảnh (Image Identification) cũng thuộc về lĩnh vực này. Trong tâm lý học nhận thức và xã hội (Cognitive and Social Psychology), “sự tƣơng tự” là cái gì đó chủ quan; ám chỉ thái độ, giá trị, sở thích, và cá tính giữa những con ngƣời tƣơng xứng mức độ nào.
Có nhiều dạng mô hình về sự tƣơng tự trong tâm lý học, bốn mô hình nổi bật là hình học (geometric), đặc tính (featural), dựa trên canh lề (alignment-based), và biến đổi (transformational). Trong lĩnh vực an ninh, quốc phòng để xác định đối tƣợng ảnh khi muốn xác định vân tay, kiểm tra những băng đĩa mang những nội dung cần kiểm soát,… Độ đo tƣơng tự là một trong những phƣơng pháp tốt để máy tính phân biệt đƣợc các văn bản qua nội dung của chúng. Xét trên khía cạnh nào đó, độ tƣơng tự càng lớn, hai văn bản giống nhau càng nhiều. Khái niệm độ tƣơng tự Độ tƣơng tự là một khái niệm quan trọng và đã đƣợc sử dụng rộng rãi.
Các định nghĩa trƣớc đây về độ tƣơng tự đƣợc trói buộc trong một ứng dụng cụ thể hoặc một dạng thể hiện của tri thức. Nhiều độ đo độ tƣơng tự đã đƣợc đƣa ra, chẳng hạn nhƣ nội dung thông tin (Resnik, 1995b), độ đo thông tin chung (mutual information – Hindle, 1990), độ đo LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 7 dựa trên khoảng cách (Lee et al., 1998; Rada et al 1998) và mô hình đặc trƣng tƣơng phản (Tversky, 1977). McGill etc đã khảo sát và so sánh 67 độ đo độ tƣơng tự đã sử dụng trong tìm kiếm thông tin (McGill et al. Một vấn đề trong độ đo độ tƣơng tự trƣớc đây là mỗi một trong số chúng bị trói buộc trong một ứng dụng cụ thể hoặc đảm đƣơng một mô hình cụ thể.
Ví dụ độ đo về độ tƣơng tự giữa các khái niệm dựa trên khoảng cách (Lee et al., 1989; Rada et al., 1989) thừa nhận rằng phạm vi đƣợc thể hiện trong một mạng. Nếu một tập các tài liệu không đƣợc thể hiện nhƣ một mạng, độ đo dựa trên khoảng cách sẽ không đƣợc áp dụng. Hệ số dice (súc sắc) và hệ số cosin chỉ có thể đƣợc áp dụng khi các đối tƣợng đƣợc thể hiện nhƣ các vecto đặc trƣng bằng số. Một vấn đề khác với các độ đo độ tƣơng tự trƣớc đây là các điều giả định cơ bản của chúng thƣờng không ở trạng thái rõ ràng.
Ngoài việc biết các giả định này, không thể tạo ra sự tranh luận về mặt lý thuyết hay phản đối bất cứ độ đo cụ thể nào. Hầu hết tất cả các so sánh và đánh giá của các độ đo độ tƣơng tự trƣớc đây đều dựa trên kết quả do kinh nghiệm. Định nghĩa độ tƣơng tự trong phần sau đạt đƣợc 2 mục đích: Tính phổ biến (universality): Chúng ta định nghĩa độ tƣơng tự trong thuật ngữ lý thuyết thông tin. Điều đó có thể đƣợc áp dụng miễn là phạm vi có một mô hình xác suất.