CHƯƠNG 1: TONG QUAN VE PHÁT HIỆN TƯƠNG DONG VĂN BAN 1. Giới thiệu đề tai và đối tượng nghiên cứu Trong bối cảnh ngày nay, khi đữ liệu văn bản ngày càng phong phú và đa dạng, vấn đề sao chép văn bản là một thách thức quan trọng cần giải quyết, đặc biệt là trong ngữ cảnh lớn của Internet và công nghệ thông tin. Quá trình sao chép văn bản không chỉ làm giảm chất lượng nội dung mà còn tạo ra những vấn dé về bản quyền và đạo đức. Trong thực tế, nhiều người dùng và tô chức sử dung các công cụ và kỹ thuật dé sao chép nội dung từ nguồn khác một cách dé dàng và nhanh chóng.
Điều này tạo ra một môi trường mà việc duy trì sự độc lập và sáng tạo trong văn bản trở nên khó khăn. Những vấn đề này không chỉ tác động đến tác giả và người sáng tạo mà còn đưa ra thách thức lớn trong việc xác định và quản lý nguồn gốc của thông tin. Hiện tại, đã có một số giải pháp cho việc phát hiện sao chép và một vài công cụ phần mềm cho phép phát hiện một tài liệu (gọi là văn bản kiểm tra) có sao chép từ một tập hợp các tài liệu nguồn hay không. Đã có một số nghiên cứu đề xuất các phương pháp khác nhau dé xác định xem một đoạn văn ban của một số tài liệu có nằm trong một tài liệu nào đó hay không.
Các phương pháp này chủ yếu dựa trên tìm kiếm và so khớp chuỗi (string matching). Tuy nhiên, các phương pháp so khớp chuỗi chỉ có hiệu quả nếu việc sao chép là “nguyên văn”. Nó không thê phát hiện các sao chép có sửa đổi đôi chút như thay thé một số từ băng từ đồng nghĩa hay thay đổi thứ tự các câu trong văn bản. Các phương pháp hiện đại để ngăn chặn quá trình sao chép văn bản thường sử dụng các thuật toán phát hiện tương đồng văn bản, kết hợp với các mô hình học máy để xác định mức độ tương đồng giữa các đoạn văn bản.
Tuy nhiên, vấn đề vẫn còn tồn tại và đòi hỏi sự kết hợp giữa các giải pháp công nghệ và chính sách dé đảm bảo tính công bằng và nguyên tắc trong việc sử dụng thông tin trên mạng. Do đó các nỗ lực nghiên cứu và phát triển tiếp tục được thực hiện dé cải thiện hiệu suất của Cần Ngọc Bình — B19DCATO13 Trang 5 Đồ án tốt nghiệp các hệ thống phát hiện tương đồng văn bản và đồng thời tăng cường nhận thức về quy định và trách nhiệm đối với việc sử dụng văn bản từ nguồn khác nhau. Đồ án này tập trung nghiên cứu một số mô hình tính toán độ tương tự văn bản cả về cú pháp và ngữ nghĩa, xác định sự tương đồng của văn bản dựa trên từ, câu và đoạn. Ứng dụng học sâu để nâng cao khả năng phát hiện độ tương đồng văn bản và mở ra những triển vọng mới trong lĩnh vực xử lý ngôn ngữ tự nhiên.
Mục tiêu chính của đề tài là phát triển một hệ thống hiệu quả, có khả năng phân loại và xác định sự tương đồng văn bản dựa trên các phương pháp và thuật toán tiên tiến. Điều này không chỉ giúp tối ưu hóa quá trình tra cứu thông tin mà còn hỗ trợ trong việc phát hiện sự trùng lặp và thậm chí phòng tránh việc vi phạm bản quyền. Đặc điểm của văn bản tiếng việt 1. Đặc điểm Đa đạng của ngôn ngữ là một thách thức quan trọng khi nghiên cứu về nhận diện tương đồng văn bản, đặc biệt là khi nói đến ngôn ngữ Việt Nam với sự phong phú và phức tạp của nó.
Tiếng việt là một hệ thống ngôn ngữ mà không chỉ có sự đa dạng về từ vựng và ngữ pháp mà còn là sự đa dạng văn hóa, cách diễn đạt ý, và thậm chí là cách diễn đạt hình thức. Mỗi vùng miền, từ miền Bắc đến miền Nam, mang đến cho ngôn ngữ Tiếng Việt những đặc điểm riêng biệt, từ cách phát âm, ngữ điệu đến cách sử dụng từ ngữ. Điều này tạo ra một thách thức lớn trong việc xây dựng một hệ thống có khả năng nhận diện tương đồng văn bản hiệu quả trên toàn bộ bảng đa dạng này. Đồng thời, ngôn ngữ Việt Nam còn phản ánh sự đa dạng văn hóa của các cộng đồng và dân tộc khác nhau.
Các thành ngữ, tục lệ, và cách diễn đạt ý nghĩa trong ngôn ngữ hàng ngày đều đóng góp vào sự đa dang này. Điều này đặt ra một thách thức không chỉ trong việc xử lý ngôn ngữ mà còn trong việc hiểu va bảo toàn sự đa dang văn hóa này [1] 1. Cấu tạo tiếng Việt Tiếng Việt là ngôn ngữ không biến hình từ và âm tiết tính, tức là mỗi một tiếng (âm tiét) được phat âm tach rời nhau va được thé hiện băng một chữ viết. Hai đặc trưng này chi phối toàn bộ toàn bộ tô chức bên trong của hệ thống ngôn ngữ Việt và cần được chú ý khi xử lý tiếng Việt trên máy tính.
Cấu tạo từ tiếng Việt bao gồm Cần Ngọc Bình — B19DCATO13 Trang 6 Đồ án tốt nghiệp Tiếng: Trong tiếng Việt có một loại đơn vi đặc biệt gọi là tiếng. Về mặt ngữ âm, mỗi tiếng là một âm tiết. Hệ thống âm vị tiếng Việt phong phú và có tính cân đối, tạo ra tiềm năng của ngữ âm tiếng Việt trong việc thể hiện các đơn vị có nghña. Nhiều từ tượng hình, tượng thanh có giá tri gợi tả đặc sắc.
Khi tạo câu, tạo lời, người Việt rất chú ý đến sự hai hoà về ngữ âm, đến nhạc điệu của câu văn e Tu, cụm từ: Mỗi tiếng, nói chung, là một yếu tố có nghĩa. Tiếng là đơn VỊ cơ sở của hệ thong các don vi có nghĩa cua tiéng Việt. Từ tiếng, người ta tạo ra các đơn vị từ vựng khác để định danh sự vật, hiện tượng. chủ yêu nhờ phương thức ghép và phương thức láy.
Việc tạo ra các đơn vị từ vựng ở phương thức ghép luôn chịu sự chi phối của quy luật kết hợp ngữ nghĩa, ví dụ: đất nước, máy bay, nhà lầu xe hơi, nhà tan cửa nát. Hiện nay, đây là phương thức chủ yếu để sản sinh ra các đơn vi từ vựng © _ Ngữ pháp: Từ của tiếng Việt không biến đổi hình thái. Đặc điểm này sẽ chi phối các đặc điểm ngữ pháp khác. Khi từ kết hợp từ thành các kết cấu như ngữ, câu, tiếng Việt rất coi trọng phương thức trật tự từ và hư từ.
Ngoài trật tự từ và hư từ, tiếng Việt còn sử dụng phương thức ngữ điệu. Ngữ điệu giữ vai trò trong việc biểu hiện quan hệ cú pháp của các yếu tố trong câu, nhờ đó nhằm đưa ra nội dung muốn thông báo. Trên văn bản, ngữ điệu thường được biểu hiện bằng dau câu. Từ đồng nghĩa Từ đồng nghĩa trong tiếng Việt là những từ có nghĩa giống nhau hoặc gần giống nhau, trong một số trường hợp từ đồng nghĩa có thể thay thế hoàn toàn cho nhau, một số khác cần cân nhắc về sac thái biéu cảm trong trường hợp cụ thé.
Việc sử dụng từ đồng nghĩa giúp làm phong phú ngôn ngữ, tránh sự lặp lại quá mức và làm cho văn bản trở nên linh hoạt hơn. Những từ đồng nghĩa với nhau lập thành một nhóm gọi là nhóm đồng nghĩa. Vi dụ: dé, dé dàng, dé dai là những nhóm từ đồng nghĩa. Từ đồng nghĩa thực chất không phải là những từ trùng nhau hoàn toàn về nghĩa mà có những khác biệt nhất định.
Chính sự khác biệt đó là lí đo tồn tại và làm nên sự khác nhau giữa các từ trong một nhóm từ đồng nghĩa. Đặc điểm chính tả Cần Ngọc Bình — B19DCATO13 Trang 7 Đồ án tốt nghiệp Ngôn ngữ tiếng Việt có một số đặc điểm chính tả đặc trưng, một SỐ trong những đặc điểm này là độc đáo và phản ánh đặc tính cụ thể của tiếng Việt. Dưới đây là một số đặc điểm chính tả của ngôn ngữ tiếng Việt: e Bang Chữ Cái: Tiếng Việt sử dung bảng chữ cái chứa 29 chữ cái, bao gồm 22 chữ cái viết từ, 6 dau thanh (điểm, sắc, huyền, ngã, nặng, hỏi), và dau cách. e Nguyên Âm Đặc Trưng: Nguyên âm đặc trưng của tiếng Việt thường được kết hợp với các dấu thanh dé tạo thành các âm tiết khác nhau, vi du: "a," moe "e," "o" có thé có dau sắc, huyén, ngã, nặng.
e© Dấu Cách: Dấu cách được sử dụng dé phân tach từ va cum từ. Mỗi từ thường được viết liền và có dau cách trước từ tiếp theo. e Dau Ngữ Tố: Dấu ngữ tố, chủ yếu là dấu "a" và "6," được sử dụng dé biéu thi sự âm đều của âm tiết và giữa các phụ âm. e Dấu Nặng: Dấu nặng chỉ định âm tiết nặng, là âm tiết chứa nguyên âm đặc trưng và có độ dài âm tiết dài hơn.
© Quy Tắc Điền Dấu: Có các quy tắc cụ thé dé điền dấu cho các từ không có dấu trong văn bản, nhằm đảm bảo chính xác ngữ âm và ngữ nghĩa. e Dấu Gạch Ngang: Dấu gạch ngang (dấu -) thường được sử dung trong văn bản dé tách từ ngữ, đặc biệt là trong quảng cáo và tiêu đề. Tong quan về bài toán đo độ tương đồng van bản 1. Khái niệm về độ trơng đồng Bài toán đo độ tương đồng văn bản là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên và khoa học máy tính.
Nhiệm vụ chính của bai toán này là đo lường mức độ giống nhau giữa hai hoặc nhiều văn bản dựa trên nội dung của chúng. Độ tương tự văn bản (document similarity) hay khoảng cách giữa các văn bản là một trong những bài toán trọng tâm của truy hoi thong tin (information retrieval). Việc đo lường mức độ giống nhau của các văn ban đóng một vai trò quan trọng trong nhiều bài toán như: tìm kiếm thông tin dựa trên nội dung của tài liệu, phân nhóm tài liệu dựa vào sự tương đồng về nội dung. Độ tương tự văn bản là một đại lượng dùng để so sánh hai hay nhiều tài liệu văn bản với nhau.
Đại lượng này đặc trưng cho mức độ liên quan về ngữ nghĩa giữa các văn bản. Cần Ngọc Bình — B19DCATO13 Trang 8 Đồ án tốt nghiệp Dé đánh giá nội dung và ý nghĩa của văn bản trong bài toán đo độ tương đồng cần đảm bảo rằng phương pháp do độ tương đồng không chi xem xét cau trúc ngữ pháp mà còn hiểu về sự tương đồng về nghĩa và ý nghĩa. Độ tương đồng về ngữ pháp là khái nệm thé hiện tỷ lệ dựa trên tập từ chung của hai văn bản.