Đồ án nghiên cứu các phương pháp đánh giá độ tương đồng của văn bản - ĐH Quảng Bình

Đánh giá độ tương đồng văn bản: Nghiên cứu tổng quan về các phương pháp đo lường và ứng dụng thực tế trong nhiều lĩnh vực khác nhau. Tìm hiểu ngay!

• Tác giả: Trương Thanh Đồng
• Người hướng dẫn: Ts. Trần Văn Cường
• Trường học: Trường Đại học Quảng Bình
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên cứu các phương pháp đánh giá độ tương đồng của văn bản
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2018
• Địa điểm: Quảng Bình

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• TỔNG QUAN ĐỀ TÀI
• 1.1. Lý do chọn đề tài
• 1.2. Mục đích đề tài
• 1.3. Phương pháp nghiên cứu
• 1.4. Nội dung nghiên cứu
• 1. CHƯƠNG I: TỔNG QUAN VỀ XỬ LÝ NGÔN NGỮ TỰ NHIÊN VÀ ỨNG DỤNG
• 1.1. Xử lý ngôn ngữ tự nhiên
• 1.2. Một số ứng dụng của xử lý ngôn ngữ tự nhiên (NLP)
• 1.3. Vấn đề về độ tương tự trong văn bản
• 1.4. Vấn đề về sự sao chép, đạo văn trong văn bản
• 2. CHƯƠNG II: BÀI TOÁN SO SÁNH VĂN BẢN TIẾNG VIỆT
• 2.1. Phát biểu về bài toán so sánh văn bản
• 2.2. Một số kết quả đã đạt được trong Xử lý văn bản tiếng Việt
• 2.3. Đặc điểm ngôn ngữ tiếng Việt
• 2.4. Cấu tạo từ tiếng Việt
• 2.5. Biến hình từ tiếng Việt
• 2.6. Từ đồng âm khác nghĩa
• 2.7. Từ đồng nghĩa
• 2.8. Đặc điểm chính tả
• 2.9. Bảng mã tiếng Việt trên máy tính
• 2.10. Bài toán so sánh văn bản
• 2.11. Tiền xử lý văn bản
• 2.12. Biểu diễn văn bản
• 2.13. Phương pháp tính độ tương đồng giữa các văn bản
• 3. CHƯƠNG III: MÔ HÌNH BIỂU DIỄN VĂN BẢN
• 3.1. Mô hình biểu diễn văn bản truyền thống
• 3.2. Mô hình túi từ ngữ (Bag-of-Word)
• 3.3. Mô hình logic
• 3.4. Mô hình phân tích cú pháp
• 3.5. Mô hình vector
• 3.6. Mô hình đồ thị biểu diễn văn bản
• 3.7. Mô hình đồ thị khái niệm (Conceptual Graphs - CGs)
• 3.8. Mô hình đồ thị hình sao
• 3.9. Mô hình đồ thị vô hướng sử dụng tần số xuất hiện
• 3.10. Mô hình đồ thị có hướng, cạnh không gán nhãn
• 3.11. Mô hình đồ thị có hướng, cạnh không gán nhãn, cạnh là khoảng cách n giữa hai từ trong văn bản
• 3.12. Mô hình word2vec văn bản
• 3.13. Mô hình doc2vec văn bản
• 4. CHƯƠNG IV: PHƯƠNG PHÁP TÍNH ĐỘ TƯƠNG ĐỒNG VĂN BẢN
• 4.1. Khái niệm độ tương đồng
• 4.2. Độ tương đồng văn bản dựa trên tập từ chung
• 4.3. Khoảng cách Jaro
• 4.4. Mô hình tương phản (Contrast model)
• 4.5. Hệ số Jaccard
• 4.6. Độ tương đồng văn bản dựa trên vector biểu diễn
• 4.7. Độ tương đồng Cosine
• 4.8. Độ tương đồng dựa vào khoảng cách Euclide
• 4.9. Độ tương đồng dựa vào khoảng cách Manhattan
• 4.10. Độ tương đồng văn bản trong tiếng Việt
• 4.11. Độ tương tự ngữ nghĩa từ - từ
• 4.12. Độ tương tự ngữ nghĩa của văn bản
• 4.13. Độ tương tự về thứ tự của từ trong câu
• 4.14. Tính độ tương đồng theo hệ số cosin
• 4.15. Độ tương tự về thứ tự của từ trong câu
• 4.16. Tính độ tương đồng cho toàn bộ câu
• 4.17. Tính toán độ tương đồng cho toàn văn bản
• 4.18. Một số phương pháp tìm độ tương đồng giữa hai văn bản
• 4.19. Phương pháp tính độ tương đồng bằng công thức trung bình
• 5. CHƯƠNG V: XÂY DỰNG MÔ HÌNH SÁNH VĂN BẢN
• 5.1. Mô hình hệ thống
• 5.2. Các công đoạn xử lý trong hệ thống
• 5.3. Tách từ, câu trong văn bản
• 5.4. Loại bỏ từ dừng
• 5.5. Tính độ tương tự văn bản
• 5.6. Thực hiện hóa bằng chương trình
• 5.7. Lựa chọn công cụ tiền xử lý
• 5.8. Chương trình ứng dụng
• 6. CHƯƠNG VI: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG

Tóm tắt

I. Tổng Quan Về Đánh Giá Độ Tương Đồng Văn Bản Nghiên Cứu

Ngày nay, với sự phát triển vượt bậc của công nghệ, thông tin dưới dạng văn bản đã trở nên vô cùng phong phú. Việc dễ dàng tiếp cận thông tin này mang lại nhiều khó khăn trong việc tìm kiếm các thông tin hữu ích. Xử lý ngôn ngữ tự nhiên (NLP) đóng vai trò quan trọng trong việc giải quyết vấn đề này. Trong đó, bài toán đánh giá độ tương đồng văn bản ngày càng được quan tâm. Các nghiên cứu chủ yếu tập trung vào ngôn ngữ tiếng Anh, trong khi nghiên cứu cho tiếng Việt còn hạn chế. Ngôn ngữ tiếng Việt có nhiều đặc điểm khác biệt so với tiếng Anh, do đó việc áp dụng trực tiếp các phương pháp từ tiếng Anh gặp nhiều khó khăn. Hiện nay, tình trạng sao chép, đạo văn diễn ra thường xuyên, gây khó khăn trong việc kiểm soát và xác minh thông tin. Đề tài "Nghiên cứu các phương pháp đánh giá độ tương đồng văn bản" ra đời nhằm tìm ra phương pháp đánh giá mức độ tương đồng văn bản và đề xuất mô hình áp dụng học máy vào so sánh văn bản. Mục đích của nghiên cứu này là xây dựng ứng dụng hỗ trợ đánh giá độ tương đồng, hạn chế đạo văn, góp phần nâng cao chất lượng và quản lý thông tin dữ liệu văn bản hiệu quả. Nghiên cứu này tập trung vào các bài toán so sánh văn bản, mô hình biểu diễn văn bản và các phương pháp đánh giá độ tương đồng văn bản, cũng như các mô hình tính toán xác định độ đo tương đồng văn bản cả về cú pháp và ngữ nghĩa. Phương pháp nghiên cứu sử dụng là phân tích, tổng hợp lý thuyết, thu thập, khảo sát và hệ thống hóa các kết quả nghiên cứu đã có về vấn đề đo độ tương đồng văn bản.

1.1. Xử Lý Ngôn Ngữ Tự Nhiên và Tầm Quan Trọng Thực Tiễn

Xử lý ngôn ngữ tự nhiên (NLP) là lĩnh vực nghiên cứu kết hợp giữa công nghệ thông tin và ngôn ngữ học, tập trung vào việc thao tác trên ngôn ngữ tự nhiên bằng máy tính. Theo [Wiki], NLP là một nhánh của Trí tuệ nhân tạo, tập trung vào các ứng dụng trên ngôn ngữ của con người. Mục tiêu của NLP là giúp máy tính thực hiện các nhiệm vụ liên quan đến ngôn ngữ của con người, bao gồm giao tiếp người-máy, cải thiện giao tiếp giữa con người, xử lý văn bản hoặc lời nói hữu ích. Cần phân biệt giữa ngôn ngữ tự nhiên và ngôn ngữ nhân tạo. NLP bao gồm hiểu ngôn ngữ tự nhiên (NLU) và sinh ngôn ngữ tự nhiên (NLG). Trong đó, NLU bao gồm phân tích hình vị, cú pháp, ngữ nghĩa và diễn ngôn. NLG đóng vai trò quan trọng trong nhiều ứng dụng NLP, bao gồm tạo cuộc đối thoại, tương tác giữa con người và máy tính, dịch máy và tóm tắt văn bản tự động. Có hai quan điểm cơ bản trong NLP: xử lý các từ ngữ bằng máy tính và làm cho máy tính hiểu được các từ ngữ. Cả hai hướng này đều đang được tích cực nghiên cứu và phát triển.

1.2. Các Phương Pháp Đánh Giá Độ Tương Đồng Văn Bản Hiện Nay

Các độ đo độ tương đồng văn bản đã được sử dụng rộng rãi trong các ứng dụng của xử lý ngôn ngữ tự nhiên và các lĩnh vực liên quan. Một trong những ứng dụng sớm nhất là mô hình vector trong tìm kiếm thông tin, nơi các tài liệu liên quan nhất đến câu truy vấn đầu vào được xác định bằng cách xếp hạng các tài liệu trong kho ngữ liệu theo thứ tự ngược của độ tương tự (Salton & Lesk, 1971). Độ tương đồng văn bản cũng được dùng trong phân lớp văn bản (Rochio 1971), trích chọn văn bản (Salton et al. 1997) và phương pháp tóm tắt văn bản (Lin &Hovy 2003). Trong một số trường hợp, việc đo độ tương đồng giữa hai đoạn văn bản là việc sử dụng so khớp từ đơn giản, và tạo ra một điểm tương tự trên số đơn vị từ vựng xảy ra ở cả hai đoạn văn bản đầu vào. Việc loại bỏ các từ dừng, gán nhãn từ loại, so khớp tập con dài nhất, cũng như các trọng số và các nhân tố khác đều có thể được tích hợp để mang lại hiệu quả cho phương pháp.

1.3. Vấn Đề Đạo Văn và Sự Cần Thiết của So Sánh Văn Bản

Theo định nghĩa của Merriam-Webster Online Dictionary, đạo văn là hình thức ăn cắp và hình thành những ý tưởng hay ngôn từ mới khởi nguồn từ ý tưởng của ai đó; sử dụng sản phẩm của một ai đó mà không công bố nguồn; hoặc giới thiệu một ý tưởng hay sản phẩm mới được chuyển hóa từ nguồn đã có từ trước. Nguyên nhân chính yếu dẫn đến đạo văn đó là không có kiến thức, hiểu biết về đạo văn theo định nghĩa quốc tế, dẫn đến đạo văn ngoài ý muốn. Các hình thức của đạo văn bao gồm: đạo văn hoàn toàn, giả tạo đạo văn, đạo văn cấu trúc và ý tưởng, tự đạo văn. Việc người học đạo văn và chép bài của nhau là phổ biến, làm giảm khả năng tư duy cũng như chất lượng học tập và nghiên cứu. Bài toán so sánh độ tương đồng văn bản được đưa ra nhằm giải quyết vấn đề đó.

II. Phân Tích Chi Tiết Bài Toán So Sánh Văn Bản Tiếng Việt

Với sự phát triển của công nghệ, máy tính trở thành công cụ hỗ trợ đắc lực trong công việc và học tập. Dữ liệu văn bản dạng điện tử được phát sinh ngày càng nhiều, gây khó khăn trong việc quản lý. Tình trạng sao chép, đạo văn xảy ra phổ biến, làm giảm khả năng tư duy và chất lượng học tập, nghiên cứu. Do đó, bài toán so sánh độ tương đồng văn bản ra đời. Trong xử lý ngôn ngữ tự nhiên, nhiều công trình nghiên cứu, xây dựng ứng dụng, hệ thống đánh giá độ tương tự giữa các văn bản tiếng Anh đã và đang diễn ra sôi nổi và thu được nhiều thành tựu. Đối với xử lý ngôn ngữ tiếng Việt, hiện nay cũng bắt đầu xuất hiện các nghiên cứu về so sánh trên văn bản tiếng Việt song vẫn chiếm tỉ lệ khá khiêm tốn. Các phương pháp đánh giá độ tương tự văn bản tiếng Việt dựa trên kho ngữ liệu vẫn đang được nghiên cứu và phát triển.

2.1. Các Thành Tựu Trong Xử Lý Văn Bản Tiếng Việt Đến Nay

Trong sự phát triển của ngành công nghệ thông tin, việc xử lý ngôn ngữ Tiếng Việt trên máy tính đã đạt được những thành tựu quan trọng. Trước hết là các bộ gõ chữ Việt và thành công của việc đưa được bộ mã chữ Việt vào bảng mã Unicode, cũng như việc chọn Unicode cho bộ mã chuẩn tiếng Việt. Một thành công nữa là việc Việt hóa các phần mềm hữu ích tiêu biểu như Windows và Microsoft Office của Microsoft. Các phần mềm giúp hỗ trợ việc sử dụng tiếng nước ngoài, tiêu biểu là các từ điển song ngữ trên máy tính, các phần mềm dịch ngôn ngữ trực tiếp trên giao diện web.

2.2. Đặc Điểm Của Ngôn Ngữ Tiếng Việt Cần Lưu Ý

Nguyên tắc tách từ cho tiếng Việt xét các loại đơn vị từ vựng sau: Tiếng, Từ, Cụm từ, Câu. Tiếng là đơn vị cơ sở để cấu tạo lên từ. Từ là đơn vị nhỏ nhất, cấu tạo ổn định, mang nghĩa hoàn chỉnh, được dùng để cấu thành nên câu. Cụm từ là những kiến trúc gồm hai từ trở lên kết hợp với nhau theo những quan hệ ngữ pháp nhất định. Câu là một tập hợp từ, ngữ kết hợp với nhau theo những quan hệ cú pháp xác định, được tạo ra trong quá trình tư duy, giao tiếp, có giá trị thông báo, gắn liền với mục đích giao tiếp nhất định. Tiếng Việt không có hiện tượng biến hình từ bằng những phụ tố mang ý nghĩa ngữ pháp bên trong từ như tiếng Anh. Hiện tượng đồng âm khác nghĩa là hiện tượng giống nhau về ngữ âm nhưng khác nhau về ý nghĩa của nhiều đơn vị ngôn ngữ riêng biệt. Từ đồng nghĩa theo là những từ tương đồng với nhau về nghĩa nhưng khác nhau về âm thanh và phân biệt với nhau về một vài sắc thái ngữ nghĩa hoặc phong cách nào đó. Chính tả là sự chuẩn hoá hình thức chữ viết của ngôn ngữ.

2.3. Bảng Mã Tiếng Việt và Vấn Đề Tiền Xử Lý Văn Bản

Hiện nay có khá nhiều cách mã hoá các kí tự tiếng Việt khác nhau, dẫn đến có nhiều bảng mã khác nhau được sử dụng khi trình bày văn bản. Theo thống kê, có tới trên 40 bảng mã tiếng Việt được sử dụng, có thể kể đến một số bảng mã phổ biến dưới đây: TCVN3 (hay ABC), VNI, Windows, Unicode, VIQR. Do chưa có sự thống nhất giữa các bảng mã biểu diễn tiếng Việt trên máy tính nên việc thu thập, khai thác xử lý tiếng Việt gặp nhiều khó khăn, đòi hỏi các hệ thống xử lý văn bản tiếng Việt cần phải có bước tiền xử lý để nhận dạng và quy chuẩn các kí tự về một bảng mã chung. Văn bản trước khi đưa vào mô hình xử lý cần được tiền xử lý. Quá trình này sẽ giúp nâng cao hiệu quả của mô hình và giảm độ phức tạp của thuật toán được cài đặt.

III. Các Phương Pháp Tiền Xử Lý Văn Bản Tiếng Việt Hiệu Quả

Văn bản trước khi đưa vào mô hình xử lý cần được tiền xử lý. Quá trình này sẽ giúp nâng cao hiệu quả của mô hình và giảm độ phức tạp của thuật toán được cài đặt vì nó có nhiệm vụ làm giảm số từ có trong biểu diễn văn bản. Các bước xử lý văn bản gồm: tách từ, loại bỏ từ dừng, xác định từ đồng nghĩa.

3.1. Tách Từ Tiếng Việt Các Phương Pháp và Vấn Đề Nhập Nhằng

Trong tiếng Việt, dấu cách (space) không được sử dụng như 1 kí hiệu phân tách từ, nó chỉ có ý nghĩa phân tách các âm tiết với nhau. Vì thế, để xử lý tiếng Việt, công đoạn tách từ là 1 trong những bài toán cơ bản và quan trọng bậc nhất. Tách từ chính xác hay không là công việc rất quan trọng, nếu không chính xác rất có thể dẫn đến việc ý nghĩa của câu sai, ảnh hưởng đến tính chính xác của chương trình. Bước này có nhiệm vụ xác định các từ có trong văn bản, kết quả của nó là một tập các từ riêng biệt. Đã có nhiều công trình nghiên cứu xây dựng mô hình tách từ tiếng Việt và đạt được những kết quả chính xác cao như mô hình tách từ bằng WFST và mạng Neural đã được sử dụng trong công trình của tác giả Đình Điền (2001). Nhiều hướng tiếp cận trong bài toán tách từ được đưa ra, trong nhiên cứu của Đỗ Thị Thanh Nga, “Tính toán độ tương tự ngữ nghĩa văn bản dựa vào độ tương tự giữa từ với từ” , tác giả đã chỉ ra sơ đồ bài toán tách từ gồm hai hướng đó là dựa trên từ và dựa trên kí tự. Sự nhập nhằng trong tách từ tiếng Việt có thể là nhập nhằng chồng chéo hoặc nhập nhằng kết hợp.

3.2. Loại Bỏ Từ Dừng và Từ Có Tần Số Xuất Hiện Thấp

Từ dừng là những từ xuất hiện nhiều trong ngôn ngữ tự nhiên, tuy nhiên lại không mang nhiều ý nghĩa. Ở tiếng Việt từ dừng là những từ như: “như vậy”, “sau đó”, “một số”, “chỉ”, “của” … Có rất nhiều cách để loại bỏ từ dừng nhưng có 2 cách chính là: dùng từ điển và dựa theo tần suất xuất hiện của từ. Có nhiều từ trong tập văn bản xuất hiện rất ít lần và có ảnh hưởng rất ít trong văn bản. Vì vậy các từ này cũng sẽ bị loại bỏ.

3.3. Xác Định Từ Đồng Nghĩa Để Nâng Cao Độ Chính Xác

Từ đồng nghĩa là những từ tương đương về nghĩa trong một số ngữ cảnh nào đó, bên cạnh sự tương đồng chúng có những khác biết nhất định mặc dù việc phát hiện những khác biệt đó không phải lúc nào cũng dễ dàng. Với bài toán so sánh trên văn bản thì việc nhận ra các từ đồng nghĩa có ý nghĩa quan trọng bởi trong các câu, các đoạn văn luôn có các từ đồng nghĩa hoặc gần nghĩa nhau được sử dụng thay thế. Việc phát hiện ra các từ đồng nghĩa sẽ làm nâng cao tính chính xác khi so sánh về độ tương đồng ngữ nghĩa giữa các đơn vị văn bản.

IV. So Sánh Mô Hình Biểu Diễn Văn Bản Ưu và Nhược Điểm

Biểu diễn văn bản là một bước quan trọng trong khai thác dữ liệu văn bản, truy vấn thông tin và xử lý ngôn ngữ tự nhiên. Các mô hình biểu diễn đóng vai trò trung gian giữa ngôn ngữ tự nhiên dạng văn bản và các chương trình xử lý. Vì vậy, các mô hình biểu diễn văn bản không ngừng cải thiện và phát triển. Tùy thuộc vào từng bài toán, từng thuật toán khác nhau mà chúng ta có mô hình biểu diễn phù hợp. Các mô hình biểu diễn văn bản truyền thống như mô hình túi từ (bag-of-word), mô hình không gian vector là các mô hình thường được sử dụng nhất. Tuy nhiên, các mô hình này có nhược điểm là không nắm bắt được các thông tin cấu trúc quan trong của văn bản như trật tự các từ, vị trí của từ trong văn bản. Mô hình đồ thị biểu diễn văn bản, word2vec, doc2vec là phương pháp mới đang được quan tâm và sử dụng trong các lĩnh vực khai phá dữ liệu văn bản hiện tại.

4.1. Mô Hình Túi Từ Bag of Word Đơn Giản Nhưng Hạn Chế

Mô hình túi từ ngữ (Bag-of-Word - BOW) là một biểu diễn đơn giản hóa của văn bản thường được sử dụng trong xử lý ngôn ngữ tự nhiên và tìm kiếm thông tin. Ý tưởng của BoW là phân tích và phân nhóm dựa theo túi từ ngữ. Mô hình túi từ ngữ học được một bộ từ vựng từ tất cả các văn bản, rồi mô hình các văn bản bằng cách đếm số lần xuất hiện của mỗi từ trong văn bản đó. Trong mô hình túi từ ngữ một văn bản được biểu diễn như một tập hợp các từ xuất hiện trong văn bản, không quan tâm đến ngữ pháp và thứ tự xuất hiện của các từ mà chỉ lưu lại tần suất xuất hiện của mỗi từ trong văn bản.

4.2. Mô Hình Vector và Các Phương Pháp Tính Trọng Số

Mô hình vector là một trong những mô hình đơn giản và thường được sử dụng trong phần lớn các bài toán xử lý dữ liệu văn bản. Mỗi văn bản D được biểu diễn dưới dạng một vector. Trọng số của đặc trưng có thể tính dựa trên tần số xuất hiện của từ khóa trong văn bản. Ma trận biểu diễn trọng số (ma trận tần suất) W = {wij} được xác định dựa trên tần số xuất hiện của từ khóa ti trong văn bản dj. Một số phương pháp xác định wij: Boolean weighting, Term Frequency Weighting, Inverse Document Frequency, TF*IDF weighting.

4.3. Mô Hình Đồ Thị Biểu Diễn Văn Bản Các Dạng và Ứng Dụng

Hiện nay, trên thế giới có một số công trình xử lý văn bản sử dụng mô hình đồ thị. Mỗi đồ thị là một văn bản hoặc biễu diễn cho tập văn bản. Đỉnh của đồ thị có thể là câu, hoặc từ, hoặc kết hợp câu và từ. Cạnh nối giữa các đỉnh là vô hướng hoặc có hướng, thể hiện mối quan hệ trong đồ thị. Các dạng mô hình đồ thị: Mô hình đồ thị sử dụng đỉnh là từ trong văn bản, Mô hình đồ thị sử dụng đỉnh là câu, Mô hình đồ thị đỉnh là câu và từ.

V. Phương Pháp Tính Độ Tương Đồng Văn Bản Đánh Giá So Sánh

Độ tương đồng là một đại lượng dùng để so sánh hai hay nhiều đối tượng với nhau, phản ánh cường độ của mối quan hệ giữa các đối tượng vớ nhau. Mục tiêu là tìm ra một giá trị thể hiện độ tương đồng giữa 2 văn bản. Các phương pháp có thể dựa trên tập từ chung, vector biểu diễn, hoặc ngữ nghĩa.

5.1. Khoảng Cách Jaro và Hệ Số Jaccard Tính Toán và Ứng Dụng

Khoảng cách Jaro định nghĩa độ đo tương tự giữa hai chuỗi. Hệ số Jaccard là một độ đo tương tự của các tập hợp dựa trên phương pháp thống kê. Cả hai phương pháp này đều dựa trên việc so sánh tập từ chung của hai văn bản.

5.2. Độ Đo Cosine Euclide Manhattan Dựa Trên Vector Biểu Diễn

Trong phương pháp này, các văn bản được biểu diễn theo mô hình không gian vector. Các độ đo tương đồng được tính dựa trên khoảng cách hoặc góc giữa các vector. Phổ biến là độ đo Cosine, độ đo Euclide, độ đo Manhattan.

5.3. Tính Độ Tương Đồng Ngữ Nghĩa WordNet và Phân Tích Ẩn

Thông thường khi đánh giá độ tương tự văn bản, chúng ta cần phân tích văn bản thành các đơn vị nhỏ hơn và thực hiện đánh giá dựa trên các đơn vị này. Một số bộ công cụ tách từ tiếng Việt như vnTokenizer, JvnTextPro … đã được xây dựng và cho kết quả tách từ có độ chính xác cao có thể sử dụng làm bước tiền xử lý cho hệ thống so sánh văn bản. Độ tương tự ngữ nghĩa từ - từ có thể sử dụng mạng từ (WordNet), một số khác dựa trên kho ngữ liệu Web hoặc dựa trên phân tích ngữ nghĩa ẩn (LSA).

VI. Ứng Dụng và Hướng Phát Triển So Sánh Tương Đồng Văn Bản

Bài toán so sánh độ tương đồng văn bản có nhiều ứng dụng thực tiễn, đặc biệt trong việc phát hiện đạo văn, đánh giá chất lượng nội dung và tìm kiếm thông tin. Hướng phát triển trong tương lai tập trung vào việc kết hợp các phương pháp khác nhau, khai thác thông tin ngữ cảnh và xây dựng các hệ thống tự động học để nâng cao độ chính xác và hiệu quả.

6.1. Ứng Dụng Thực Tế Phát Hiện Đạo Văn và Đánh Giá Nội Dung

Một trong những ứng dụng quan trọng nhất của so sánh độ tương đồng văn bản là phát hiện đạo văn. Các hệ thống phát hiện đạo văn giúp kiểm tra tính nguyên bản của các bài viết, luận văn, báo cáo và các tài liệu khác. Ngoài ra, so sánh độ tương đồng văn bản còn được sử dụng để đánh giá chất lượng nội dung, xác định các tài liệu trùng lặp hoặc tương tự trong một kho dữ liệu lớn.

6.2. Hướng Phát Triển Kết Hợp Phương Pháp và Học Sâu

Hướng phát triển trong tương lai tập trung vào việc kết hợp các phương pháp khác nhau, ví dụ như kết hợp phương pháp dựa trên từ khóa với phương pháp dựa trên ngữ nghĩa để nâng cao độ chính xác. Khai thác thông tin ngữ cảnh (ví dụ: lĩnh vực, chủ đề) để cải thiện khả năng so sánh. Áp dụng các kỹ thuật học sâu (Deep Learning) để tự động học các đặc trưng quan trọng và xây dựng các mô hình so sánh văn bản hiệu quả hơn.

Trích đoạn nội dung tài liệu

CHƯƠNG I: TỔNG QUAN VỀ XỬ LÝ NGÔN NGỮ TỰ NHIÊN VÀ ỨNG DỤNG 1. Xử lý ngôn ngữ tự nhiên Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) là khái niệm để chỉ các kĩ thuật, phương pháp thao tác trên ngôn ngữ tự nhiên bằng máy tính [22]. Theo [Wiki] thì Xử lý ngôn ngữ tự nhiên là một nhánh của Trí tuệ nhân tạo, tập trung vào các ứng dụng trên ngôn ngữ của con người và là một trong những phần khó nhất vì nó liên quan đến việc phải hiểu ý nghĩa ngôn ngữ - công cụ hoàn hảo nhất của tư duy và giao tiếp. Mục tiêu của lĩnh vực này là để máy tính thực hiện các nhiệm vụ hữu ích liên quan đến ngôn ngữ của con người như cho phép giao tiếp người - máy, cải thiện giao tiếp giữa con người hoặc đơn giản là xử lý văn bản hoặc lời nói hữu ích.

Cần phân biệt ngôn ngữ tự nhiên (ví dụ như tiếng Việt, tiếng Anh, tiếng Nhật… là những ngôn ngữ trong giao tiếp thường ngày) và ngôn ngữ nhân tạo (như ngôn ngữ lập trình, ngôn ngữ máy, …) [22]. Xử lý ngôn ngữ tự nhiên bao gồm hiểu ngôn ngữ tự nhiên (Natural Language Understanding – NLU) và sinh ngôn ngữ tự nhiên (Natural Language Generation – NLG). Trong đó, hiểu ngôn ngữ tự nhiên (NLU) bao gồm 4 bước chính: 1. Phân tích hình vị: là sự nhận biết, phân tích, và miêu tả cấu trúc của những hình vị trong một ngôn ngữ cho trước và các đơn vị ngôn ngữ khác, như từ gốc, biên từ, phụ tố, từ loại,… Có hai loại bài toán điển hình trong phần này, bao gồm bài toán tách từ (word segmentation) và gán nhãn từ loại (POS).

Phân tích cú pháp: là quy trình phân tích một chuỗi các biểu tượng, ở dạng ngôn ngữ tự nhiên hoặc ngôn ngữ máy tính, tuân theo văn phạm hình thức. Văn phạm hình thức thường dùng trong phân tích cú pháp của ngôn ngữ tự nhiên bao gồm Văn phạm phi ngữ cảnh (Context-free grammar – CFG), Văn phạm danh mục kết nối (Combinatory categorial grammar – CCG), và Văn phạm phụ thuộc (Dependency grammar – DG). Đầu vào của quá trình phân tích là một câu gồm một chuỗi từ và nhãn từ loại của chúng, và đầu ra là một cây phân tích thể hiện cấu trúc 3 cú pháp của câu đó. Các thuật toán phân tích cú pháp phổ biến bao gồm CKY, Earley, Chart, và GLR.

Phân tích ngữ nghĩa: là quá trình liên hệ cấu trúc ngữ nghĩa, từ cấp độ cụm từ, mệnh đề, câu và đoạn đến cấp độ toàn bài viết, với ý nghĩa độc lập của chúng. Nói cách khác, việc này nhằm tìm ra ngữ nghĩa của đầu vào ngôn từ. Phân tích ngữ nghĩa bao gồm hai mức độ: Ngữ nghĩa từ vựng biểu hiện các ý nghĩa của những từ thành phần, và phân biệt nghĩa của từ; Ngữ nghĩa thành phần liên quan đến cách thức các từ liên kết để hình thành những nghĩa rộng hơn. Phân tích diễn ngôn: Ngữ dụng học là môn nghiên cứu về mối quan hệ giữa ngôn ngữ và ngữ cảnh sử dụng (context-of-use).

Ngữ cảnh sử dụng bao gồm danh tính của người hoặc vật, và vì thế ngữ dụng học bao gồm những nghiên cứu về cách ngôn ngữ được dùng để đề cập (hoặc tái đề cập) tới người hoặc vật. Ngữ cảnh sử dụng bao gồm ngữ cảnh diễn ngôn, vì vậy ngữ dụng học cũng bao gồm những nghiên cứu về cách thức cấu tạo nên diễn ngôn, và cách người nghe hiểu người đang đối thoại với mình. Trường con thứ hai của NLP là phát triển ngôn ngữ tự nhiên (NLG). Đây là nhiệm vụ xử lý ngôn ngữ tự nhiên của việc tạo ra ngôn ngữ tự nhiên từ một hệ thống biểu diễn máy như một cơ sở tri thức hoặc một dạng logic.

NLG đóng một vai trò quan trọng trong nhiều ứng dụng NLP, bao gồm tạo cuộc đối thoại, tương tác giữa con người và máy tính, dịch máy và tóm tắt văn bản tự động [9]. Trong xử lý ngôn ngữ tự nhiên có 2 quan điểm cơ bản : 1. Xử lý các từ ngữ bằng máy tính. Làm cho máy tính hiểu được các từ ngữ.

Hiện tại, cả 2 hướng này đều đang được tích cực nghiên cứu và phát triển, nhờ đó rất nhiều các hệ thống hiệu quả đã và đang được tạo ra [22]. Một số ứng dụng của xử lý ngôn ngữ tự nhiên (NLP) Một số ứng dụng tiêu biểu của xử lý ngôn ngữ tự nhiên (theo [Wiki]): 1. Nhận dạng tiếng nói (speech recognition): từ sóng tiếng nói, nhận biết và chuyển chúng thành dữ liệu văn bản tương ứng. Giúp thao tác của con người trên các thiết bị nhanh hơn và đơn giản hơn, chẳng hạn thay vì gõ một tài liệu nào đó bạn đọc nó lên và trình soạn thảo sẽ tự ghi nó ra [Jelinek, 1998], [Jurafsky and 4 Martin,2000].

Đây cũng là bước đầu tiên cần phải thực hiện trong ước mơ thực hiện giao tiếp giữa con người với robot. Nhận dạng tiếng nói có khả năng trợ giúp người khiếm thị rất nhiều 2. Tổng hợp tiếng nói (speech synthesis): từ dữ liệu văn bản, phân tích và chuyển thành tiếng người nói. Thay vì phải tự đọc một cuốn sách hay nội dung một trang web, nó tự động đọc cho chúng ta [Jelinek, 1998], [Jurafsky and Martin, 2000].

Giống như nhận dạng tiếng nói, tổng hợp tiếng nói là sự trợ giúp tốt cho người khiếm thị, nhưng ngược lại nó là bước cuối cùng trong giao tiếp giữa robot với người 3. Nhận dạng chữ viết (optical character recognition, OCR): từ một văn bản in trên giấy, nhận biết từng chữ cái và chuyển chúng thành một tệp văn bản trên máy tính. Có hai kiểu nhận dạng, thứ nhất là nhận dạng chữ in, ví dụ nhận dạng chữ trên sách giáo khoa rồi chuyển nó thành dạng văn bản điện tử như dưới định dạng doc của Microsoft Word chẳng hạn. Phức tạp hơn là nhận dạng chữ viết tay, có khó khăn bởi vì chữ viết tay không có khuôn dạng rõ ràng và thay đổi từ người này sang người khác.

Với chương trình nhận dạng chữ viết in có thể chuyển hàng ngàn đầu sách trong thư viện thành văn bản điện tử trong thời gian ngắn. Nhận dạng chữ viết của con người có ứng dụng trong khoa học hình sự và bảo mật thông tin (nhận dạng chữ ký điện tử). Dịch tự động (machine translation): đây là chương trình dịch tự động từ ngôn ngữ này sang ngôn ngữ khác. Từ một tệp dữ liệu văn bản trong một ngôn ngữ (chẳng hạn tiếng Anh), máy tính dịch và chuyển thành một tệp văn bản trong một ngôn ngữ khác (chẳng hạn tiếng Việt) [Dorr et al.

Một phần mềm điển hình về tiếng Việt của chương trình này là Evtrans của Softex, dịch tự động từ tiếng Anh sang tiếng Việt và ngược lại, phần mềm từng được trang web vdict.com mua bản quyền, đây cũng là trang đầu tiên đưa ứng dụng này lên mạng. Tháng 10 năm 2008 có hai công ty tham gia vào lĩnh vực này cho ngôn ngữ tiếng Việt là công ty Lạc Việt (công ty phát hành từ điển Lạc Việt) và Google, một thời gian sau đó Xalo_vn cũng đưa ra dịch vụ tương tự. Tóm tắt văn bản (text summarization): từ một văn bản dài tóm tắt thành một văn bản ngắn hơn theo mong muốn nhưng vẫn chứa những nội dung thiết yếu nhất. Có hai phương pháp chính trong tóm tắt là phương pháp trích xuất (extractive) và phương pháp tóm lược ý (abstractive).

Những bản tóm tắt trích xuất được hình thành bằng cách ghép một số câu được lấy y nguyên từ văn bản cần thu gọn. Những bản tóm lược ý thường truyền đạt những thông tin chính của đầu vào và có thể sử dụng lại những cụm từ hay mệnh đề trong đó, nhưng nhìn chung được thể hiện ở ngôn ngữ của người tóm tắt [Mani and Maybury, 1999]. Tìm kiếm thông tin (information retrieval): từ một nguồn rất nhiều tệp văn bản hay tiếng nói, tìm ra những tệp có nội dung liên quan đến một vấn đề (câu hỏi) ta cần biết (hay trả lời) [Baeza-Yates and Ribeiro-Neto, 1999]. Thông tin ngày càng đầy lên theo cấp số nhân, đặc biệt với sự trợ giúp của internet việc tiếp cận thông tin trở lên dễ dàng hơn bao giờ hết.

Việc khó khăn lúc này là tìm đúng nhất thông tin mình cần giữa bề bộn tri thức và đặc biệt thông tin đó phải đáng tin cậy. Điển hình của công nghệ này là Google, một hệ tìm kiếm thông tin trên Web, mà hầu như chúng ta đều dùng thường xuyên. Các máy tìm kiếm dựa trên giao diện web như Google hay Yahoo hiện nay chỉ phân tích nội dung rất đơn giản dựa trên tần suất của từ khoá và thứ hạng của trang và một số tiêu chí đánh giá khác để đưa ra kết luận, kết quả là rất nhiều tìm kiếm không nhận được câu trả lời phù hợp, thậm chí bị dẫn tới một liên kết không liên quan gì do thủ thuật đánh lừa của các trang web nhằm giới thiệu sản phẩm (có tên tiếng Anh là SEO viết tắt của từ search engine optimization). Thực tế cho đến bây giờ chưa có máy tìm kiếm nào hiểu được ngôn ngữ tự nhiên của con người trừ trang www.com được đánh giá là "hiểu" được những câu hỏi có cấu trúc ở dạng đơn giản nhất.

Mới đây cộng đồng mạng đang xôn xao về trang Wolfram Alpha, được hứa hẹn là có khả năng hiểu ngôn ngữ tự nhiên của con người và đưa ra câu trả lời chính xác. Lĩnh vực này hứa hẹn tạo ra bước nhảy trong cách thức tiếp nhận tri thức của cả cộng đồng. Trích chọn thông tin (information extraction): từ một nguồn rất nhiều tệp văn bản hay tiếng nói, tìm ra những đoạn bên trong một số tệp liên quan đến một vấn đề (câu hỏi) ta cần biết hay trả lời. Khác với truy xuất thông tin trả về một danh 6 sách các văn bản hợp lệ thì trích chọn thông tin trả về chính xác thông tin mà người dùng cần.

Những thông tin này có thể là về con người, địa điểm, tổ chức, ngày tháng, hoặc thậm chí tên công ty, mẫu sản phẩm hay giá cả. Một hệ trích chọn thông tin có thể “lần” vào từng trang Web liên quan, phân tích bên trong và trích ra các thông tin cần thiết, nói gọn trong tiếng Anh để phân biệt với tìm kiếm thông tin là “find things but not pages” [Cohen and McCallum, 2003]. Phát hiện tri thức và khai phá dữ liệu văn bản (knowledge discovery and text data mining): từ những nguồn rất nhiều văn bản thậm chí hầu như không có quan hệ với nhau, tìm ra được những tri thức trước đấy chưa ai biết. Thực tế để làm được điều này rất khó, nó gần như là mô phỏng quá trình học tập, khám phá khoa học của con người.