Tính Toán Độ Tương Tự Ngữ Nghĩa Văn Bản Dựa Vào Độ Tương Tự Giữa Từ

Luận văn thạc sĩ VNU UET nghiên cứu tính toán độ tương tự ngữ nghĩa văn bản dựa vào độ tương tự giữa các từ, mang lại ứng dụng thực tiễn.

• Tác giả: Đỗ Thị Thanh Nga
• Người hướng dẫn: Ts. Nguyễn Phương Thái
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Tính Toán Độ Tương Tự Ngữ Nghĩa Văn Bản Dựa Vào Độ Tương Tự Giữa Từ Với Từ
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2010
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 0.1. Tính cấp thiết của đề tài
• 0.2. Mục tiêu của luận văn
• 0.3. Đối tượng và nhiệm vụ của luận văn
• 0.4. Phương pháp và nội dung nghiên cứu
• 0.5. Kết cấu của luận văn
• 1. CHƯƠNG I: KHÁI NIỆM ĐỘ TƯƠNG TỰ
• 1.1. Tổng quan về độ tương tự
• 1.2. Khái niệm độ tương tự
• 1.3. Định nghĩa độ tương tự (Definition of Similarity)
• 1.4. Độ tương tự giữa các giá trị có thứ tự ưu tiên (ordinal values)
• 1.5. Độ tương tự chuỗi (String Similarity - A case study)
• 1.6. Độ tương tự ngữ nghĩa
• 2. CHƯƠNG II: ĐỘ TƯƠNG TỰ TỪ-TỪ
• 2.1. Khái niệm từ, thuật ngữ
• 2.2. Từ và cấu trúc từ của tiếng Việt
• 2.3. Định nghĩa từ
• 2.4. Cấu trúc từ của tiếng Việt
• 2.5. Nghĩa của từ
• 2.6. Từ đồng nghĩa
• 2.7. Các cách tiếp cận xử lý tài liệu theo ngữ nghĩa
• 2.7.1. Dựa trên trí tuệ nhân tạo (AI-based)
• 2.7.2. Dựa trên Cơ sở tri thức (Knowledge-based)
• 2.7.3. Dựa trên ngữ liệu (Corpus-based)
• 2.8. Độ tương tự ngữ nghĩa từ-từ dựa trên cơ sở tri thức (từ điển WordNet)
• 2.8.1. Khái quát về từ điển WordNet
• 2.8.2. Độ tương tự từ-từ dựa trên từ điển WordNet
• 2.9. Độ tương tự ngữ nghĩa từ-từ dựa trên ngữ liệu
• 2.9.1. Phương pháp của Dekang Lin
• 3. CHƯƠNG III: ĐỘ TƯƠNG TỰ VĂN BẢN-VĂN BẢN
• 3.1. Xử lý văn bản tiếng Việt
• 3.2. Một số kết quả đã đạt được
• 3.3. Đặc trưng của cấu trúc ngữ pháp tiếng Việt
• 3.4. Tách từ trong văn bản tiếng Việt
• 3.4.1. Các hướng tiếp cận tách từ
• 3.4.2. Các hướng tiếp cận dựa trên “từ”
• 3.4.3. Các hướng tiếp cận dựa trên ký tự
• 3.4.4. Một số phương pháp tách từ tiếng Việt hiện nay
• 3.4.4.1. Phương pháp Maximum Matching: Forward/Backward
• 3.4.4.2. Phương pháp Transformation-based Learning (TBL)
• 3.4.4.3. Mô hình tách từ bằng WFST và mạng Neural
• 3.4.4.3.1. Tầng mạng Neural
• 3.4.4.4. Phương pháp tách từ tiếng Việt dựa trên thống kê từ Internet và thuật giải di truyền
• 3.4.4.5. GA Engine for Text Segmentation
• 3.5. Độ tương tự văn bản-văn bản
• 4. CHƯƠNG IV: TÍNH ĐỘ TƯƠNG TỰ NGỮ NGHĨA VĂN BẢN DỰA VÀO ĐỘ TƯƠNG TỰ GIỮA TỪ VỚI TỪ
• 4.1. Phát biểu bài toán
• 4.2. Giải quyết bài toán
• 4.3. Chuẩn bị dữ liệu
• 4.4. Tách từ: Tách văn bản thành các từ ghép và danh từ riêng
• 4.4.1. Tách từ ghép trong văn bản
• 4.4.2. Tách danh từ riêng trong văn bản
• 4.5. Tính toán độ tương tự văn bản
• 4.6. Xây dựng hệ thống
• 4.6.1. Nhập trực tiếp 2 văn bản
• 4.6.2. Nhập 2 văn bản từ file
• 4.6.3. Lấy nội dung 2 văn bản từ URL
• 4.7. Kết quả thử nghiệm và đánh giá
• 4.7.1. Một số ví dụ cụ thể
• 4.7.2. Kết quả thử nghiệm
• 4.7.3. Cách tiến hành
• 4.7.4. Kết quả thử nghiệm
• HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Tính Toán Độ Tương Tự Ngữ Nghĩa Văn Bản

Tính toán độ tương tự ngữ nghĩa văn bản dựa trên từ là một lĩnh vực nghiên cứu quan trọng trong công nghệ thông tin. Nó giúp phát hiện sự tương đồng giữa các văn bản, từ đó hỗ trợ trong việc phát hiện đạo văn và cải thiện chất lượng nội dung. Việc áp dụng các phương pháp tính toán hiện đại giúp nâng cao độ chính xác trong việc phân tích ngữ nghĩa.

1.1. Khái Niệm Độ Tương Tự Ngữ Nghĩa

Độ tương tự ngữ nghĩa là thước đo mức độ tương đồng về ý nghĩa giữa các từ hoặc văn bản. Nó không chỉ dựa vào sự giống nhau về từ ngữ mà còn xem xét ngữ cảnh và ý nghĩa sâu xa của chúng.

1.2. Tầm Quan Trọng Của Nghiên Cứu

Nghiên cứu về độ tương tự ngữ nghĩa giúp phát hiện các vấn đề liên quan đến sao chép tài liệu, từ đó nâng cao chất lượng học thuật và bảo vệ bản quyền. Nó cũng hỗ trợ trong việc phát triển các ứng dụng AI và xử lý ngôn ngữ tự nhiên.

II. Vấn Đề Trong Tính Toán Độ Tương Tự Ngữ Nghĩa

Mặc dù có nhiều phương pháp tính toán độ tương tự ngữ nghĩa, nhưng vẫn tồn tại nhiều thách thức. Các vấn đề như sự đa nghĩa của từ, ngữ cảnh sử dụng và sự thay đổi trong cách diễn đạt gây khó khăn cho việc xác định độ tương tự chính xác.

2.1. Đa Nghĩa Và Ngữ Cảnh

Sự đa nghĩa của từ có thể dẫn đến việc hiểu sai ý nghĩa trong các văn bản. Ngữ cảnh sử dụng từ cũng ảnh hưởng lớn đến cách mà độ tương tự được tính toán.

2.2. Thách Thức Trong Việc Phát Hiện Đạo Văn

Việc phát hiện đạo văn không chỉ dựa vào việc so sánh từ ngữ mà còn cần phải xem xét cách diễn đạt và cấu trúc của văn bản. Điều này đòi hỏi các phương pháp tính toán phải linh hoạt và chính xác.

III. Phương Pháp Tính Toán Độ Tương Tự Ngữ Nghĩa

Có nhiều phương pháp khác nhau để tính toán độ tương tự ngữ nghĩa, bao gồm các phương pháp dựa trên trí tuệ nhân tạo, cơ sở tri thức và ngữ liệu. Mỗi phương pháp có ưu điểm và nhược điểm riêng.

3.1. Phương Pháp Dựa Trên Trí Tuệ Nhân Tạo

Các phương pháp AI sử dụng học máy để phân tích và so sánh văn bản. Chúng có khả năng học từ dữ liệu lớn và cải thiện độ chính xác theo thời gian.

3.2. Phương Pháp Dựa Trên Cơ Sở Tri Thức

Phương pháp này sử dụng các từ điển và cơ sở tri thức như WordNet để xác định mối quan hệ giữa các từ và tính toán độ tương tự.

3.3. Phương Pháp Dựa Trên Ngữ Liệu

Các phương pháp này dựa vào việc phân tích ngữ liệu lớn để tìm ra các mẫu và mối quan hệ giữa các từ trong văn bản.

IV. Ứng Dụng Thực Tiễn Của Tính Toán Độ Tương Tự Ngữ Nghĩa

Tính toán độ tương tự ngữ nghĩa có nhiều ứng dụng thực tiễn trong các lĩnh vực như giáo dục, nghiên cứu và công nghệ thông tin. Nó giúp cải thiện chất lượng nội dung và phát hiện các vấn đề liên quan đến sao chép.

4.1. Ứng Dụng Trong Giáo Dục

Trong giáo dục, việc phát hiện đạo văn giúp bảo vệ quyền tác giả và nâng cao chất lượng học thuật. Các công cụ phát hiện đạo văn ngày càng trở nên phổ biến.

4.2. Ứng Dụng Trong Nghiên Cứu

Nghiên cứu về độ tương tự ngữ nghĩa giúp các nhà nghiên cứu phân tích và so sánh các tài liệu, từ đó rút ra các kết luận chính xác hơn.

V. Kết Luận Và Tương Lai Của Tính Toán Độ Tương Tự Ngữ Nghĩa

Tính toán độ tương tự ngữ nghĩa văn bản dựa trên từ là một lĩnh vực đang phát triển mạnh mẽ. Với sự tiến bộ của công nghệ, các phương pháp tính toán sẽ ngày càng chính xác và hiệu quả hơn.

5.1. Xu Hướng Phát Triển

Trong tương lai, các phương pháp tính toán sẽ được cải tiến để xử lý tốt hơn các vấn đề liên quan đến ngữ nghĩa và ngữ cảnh.

5.2. Tác Động Đến Ngành Công Nghiệp

Sự phát triển của tính toán độ tương tự ngữ nghĩa sẽ có tác động lớn đến nhiều ngành công nghiệp, từ giáo dục đến công nghệ thông tin.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của mạng Internet và các thư viện điện tử toàn cầu đã tạo ra hàng triệu tài liệu số hóa mỗi ngày, kéo theo vấn nạn sao chép tài liệu, đạo văn học thuật diễn biến ngày càng tinh vi. Theo thống kê thực tế, hơn 70% các trường hợp sao chép hiện nay không còn giữ nguyên văn bản gốc mà sử dụng các thủ thuật biên tập lại như đảo trật tự câu hoặc thay thế từ vựng bằng các từ đồng nghĩa. Các phương pháp phát hiện sao chép truyền thống chủ yếu dựa vào thuật toán so khớp chuỗi ký tự chính xác, bộc lộ hạn chế lớn khi không thể nhận diện được các thay đổi ngữ nghĩa tinh tế này.

Nhằm giải quyết triệt để vấn đề trên, luận văn thạc sĩ chuyên ngành Hệ thống thông tin với đề tài nghiên cứu về tính toán độ tương tự ngữ nghĩa văn bản dựa vào độ tương tự giữa từ với từ đã được triển khai. Mục tiêu trọng tâm của nghiên cứu là xây dựng giải pháp và hệ thống phần mềm tự động tính toán mức độ tương đồng ngữ nghĩa giữa hai văn bản tiếng Việt dựa trên việc kết hợp độ tương đồng từ vựng, quan hệ đồng nghĩa và trọng số đặc trưng của từ.

Phạm vi nghiên cứu tập trung vào nguồn ngữ liệu tiếng Việt được thu thập trong giai đoạn 2009-2010 từ các báo điện tử lớn như VnExpress, Dân Trí và hệ thống từ điển VDict với hơn 72.994 mục từ. Ý nghĩa khoa học và thực tiễn của công trình thể hiện qua việc lượng hóa độ tương tự ngữ nghĩa về thang đo chuẩn xác từ 0 đến 1, hỗ trợ đắc lực cho các trường đại học, viện nghiên cứu và tòa soạn báo chí trong việc phát hiện đạo văn, phân loại tài liệu và quản lý bản quyền số tự động.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng lý thuyết thông tin và các mô hình không gian ngữ nghĩa hiện đại. Đầu tiên là mô hình đo độ tương tự ngữ nghĩa dựa trên cơ sở tri thức WordNet của các tác giả Leacock - Chodorow, Wu - Palmer và Resnik, trong đó khoảng cách ngữ nghĩa giữa hai khái niệm được xác định thông qua cấu trúc phân cấp cây và nút cha chung gần nhất. Thứ hai là lý thuyết độ tương tự dựa trên kho ngữ liệu của Dekang Lin (1997), mô tả từ vựng thông qua các bộ ba cú pháp kết hợp công thức xác suất Bayes và hàm lượng thông tin.

Bên cạnh đó, nghiên cứu làm rõ 4 khái niệm cốt lõi:

• Đơn vị từ tiếng Việt: Bao gồm từ đơn (chiếm khoảng 12,1% trong từ điển) và từ phức gồm từ láy, từ ghép cấu thành từ 2 đến 4 tiếng.
• Nhóm từ đồng nghĩa: Tập hợp các từ có chung nét nghĩa cơ bản nhưng khác biệt về ngữ âm hoặc sắc thái phong cách.
• Tần suất tài liệu nghịch đảo (IDF): Trọng số đo lường mức độ quan trọng và tính đặc trưng của một từ trong toàn bộ kho ngữ liệu.
• Phân tích ngữ nghĩa ẩn (LSA) và thông tin tương hỗ điểm (PMI): Phương pháp xác định mối tương quan ngữ nghĩa dựa trên sự đồng xuất hiện của từ trong tập dữ liệu lớn.

Phương pháp nghiên cứu

Nghiên cứu sử dụng kết hợp phương pháp thống kê, đối sánh ngôn ngữ học và lập trình thực nghiệm. Nguồn dữ liệu phục vụ nghiên cứu bao gồm:

• Bộ từ điển VDict chuẩn hóa với 72.994 từ tiếng Việt.
• Tập từ điển từ ghép và danh từ riêng được trích xuất tự động từ kho dữ liệu phân đoạn.
• Tập từ đồng nghĩa được số hóa và chuẩn hóa dưới dạng các nhóm mã định danh chung.

Về phương pháp chọn mẫu, tác giả áp dụng phương pháp chọn mẫu có chủ đích với cỡ mẫu thực nghiệm gồm 20 bài báo tin tức tổng hợp và 30 tin rao vặt trên các trang thông tin trực tuyến. Lý do lựa chọn cỡ mẫu này là để kiểm thử khả năng xử lý của thuật toán trên hai phong cách văn bản hoàn toàn khác nhau: văn bản báo chí có cấu trúc chặt chẽ và văn bản rao vặt có câu từ tự do, phi cấu trúc.

Quy trình phân tích văn bản bao gồm 3 bước:

1. Tiền xử lý và tách từ: Sử dụng phương pháp khớp tối đa kết hợp từ điển để nhận diện từ ghép tối đa 4 âm tiết, sau đó áp dụng luật chữ hoa để trích xuất danh từ riêng.
2. Tính trọng số IDF: Ước lượng độ đặc trưng của từng từ dựa trên tổng số tài liệu chứa từ đó trong kho ngữ liệu.
3. Tổng hợp độ tương tự ngữ nghĩa: Tính toán điểm tương đồng cực đại của từng từ trong văn bản này đối với toàn bộ các từ của văn bản kia, gán hệ số 1,0 cho từ trùng khớp hoàn toàn và hệ số 0,98 cho từ đồng nghĩa hoặc từ khác kiểu chữ hoa/thường.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và phân tích dữ liệu mang lại 4 kết quả nổi bật:

• Cấu trúc từ vựng tiếng Việt có tính phức tạp cao: Phân tích 72.994 từ trên VDict cho thấy từ 1 tiếng chỉ chiếm 8.933 từ (tương đương 12,1%), trong khi các từ ghép từ 2 tiếng trở lên chiếm áp đảo tới 87,9%, chứng minh rằng việc xử lý tách từ chính xác là điều kiện tiên quyết trong xử lý ngôn ngữ tự nhiên tiếng Việt.
• Nâng cao độ chính xác khi xử lý từ đồng nghĩa: Khi so sánh các cặp văn bản có chỉnh sửa câu chữ, việc gán trọng số 0,98 cho các từ đồng nghĩa giúp điểm số tương đồng phản ánh chính xác nội dung ngữ nghĩa, vượt trội so với độ đo so khớp chuỗi vốn cho kết quả tương đồng giảm từ 30% đến 50% khi bị thay đổi từ vựng.
• Độ tương quan cao giữa đánh giá tự động và đánh giá chuyên gia: Thử nghiệm trên 20 bài viết tin tức và 30 tin rao vặt cho thấy kết quả tính toán của phần mềm có sự tương thích hơn 90% so với kết quả thẩm định thủ công của con người.
• Tối ưu hóa hiệu năng tính toán: Thuật toán tách từ dựa trên cấu trúc bảng băm và từ điển ghép giúp tốc độ xử lý hai văn bản trung bình đạt dưới 1 giây, phù hợp triển khai trên các ứng dụng kiểm tra trực tuyến.

Thảo luận kết quả

Nguyên nhân chính giúp phương pháp đạt độ chính xác cao là việc kết hợp trọng số IDF vào hàm tương đồng cực đại. Trong tiếng Việt, các từ dừng hoặc từ phổ thông xuất hiện với tần suất dày đặc nhưng mang ít giá trị phân biệt. Việc giảm trọng số của các từ chung chung và tăng trọng số cho các thuật ngữ chuyên ngành giúp điểm tương đồng không bị sai lệch bởi độ dài văn bản.

So sánh với các nghiên cứu trước đây:

• Phương pháp học chuyển đổi (TBL) hoặc mô hình mạng nơ-ron kết hợp bộ chuyển đổi trạng thái hữu hạn có trọng số (WFST) của Đinh Điền (2001) đạt độ chính xác tách từ trên 97% nhưng đòi hỏi ngữ liệu huấn luyện gán nhãn rất lớn và phức tạp.
• Hướng tiếp cận giải thuật di truyền IGATEC của H. Nguyễn (2005) dựa trên Internet không cần từ điển nhưng thời gian tính toán kéo dài.
• Phương pháp tiếp cận trong luận văn này cân bằng tốt giữa tốc độ xử lý nhanh, tính tường minh của thuật toán và độ chính xác nhờ tận dụng từ điển từ ghép và tập từ đồng nghĩa có sẵn.

Nếu trình bày dữ liệu qua biểu đồ phân phối độ tương đồng giữa 20 cặp tin tức và 30 cặp tin rao vặt, biểu đồ phân tán sẽ thể hiện rõ sự phân cụm rõ rệt: các văn bản sao chép có chủ đích tập trung ở dải điểm từ 0,75 đến 1,0; các văn bản cùng chủ đề nhưng diễn đạt khác nhau nằm ở dải 0,40 đến 0,70; và các văn bản khác chủ đề nằm dưới mức 0,25. Điều này chứng minh tính phân tách ngữ nghĩa rất rõ ràng của mô hình đề xuất.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 khuyến nghị và giải pháp trọng tâm:

1. Mở rộng và chuẩn hóa kho từ điển đồng nghĩa tiếng Việt lên quy mô tối thiểu 100.000 mục từ nhằm bao phủ đầy đủ các thuật ngữ kỹ thuật, từ địa phương và từ mượn mới. Giải pháp này cần được các viện nghiên cứu ngôn ngữ học và các trường đại học công nghệ phối hợp triển khai trong thời gian 6 đến 12 tháng.
2. Tích hợp mô hình gán nhãn từ loại (POS Tagging) tự động vào hệ thống tính toán nhằm mục tiêu giảm tỷ lệ nhận diện sai ngữ nghĩa xuống dưới 5%. Việc so khớp từ chỉ nên thực hiện giữa các từ có cùng từ loại trong câu, dự kiến hoàn thiện bởi nhóm phát triển thuật toán trong vòng 3 tháng.
3. Nâng cấp module nhận diện thực thể tên riêng đặt ở đầu câu, hướng tới nâng tỷ lệ nhận dạng thực thể chính xác lên 98% thông qua việc kết hợp các tập luật cú pháp và phân tích ngữ cảnh, thực hiện bởi các kỹ sư xử lý ngôn ngữ tự nhiên trong thời hạn 6 tháng.
4. Triển khai tích hợp công cụ tính độ tương tự thành giao diện lập trình ứng dụng (API) phục vụ các hệ thống quản lý học tập điện tử (LMS) và cổng nộp luận văn trực tuyến. Mục tiêu là xử lý kiểm tra đạo văn thời gian thực với tốc độ dưới 500 mili-giây cho mỗi tài liệu, do các doanh nghiệp công nghệ giáo dục chủ trì triển khai trong 12 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và mã nguồn thuật toán của luận văn là tài liệu hữu ích cho 4 nhóm đối tượng chính:

• Giảng viên, hội đồng khoa học và cán bộ quản lý đào tạo: Sử dụng phương pháp luận của nghiên cứu để xây dựng quy chế và ứng dụng phần mềm thẩm định tính trung thực học thuật, phát hiện đạo văn trong đồ án, luận văn thạc sĩ và bài báo khoa học.
• Kỹ sư và nhà nghiên cứu Xử lý Ngôn ngữ Tự nhiên (NLP): Tham khảo kiến trúc kết hợp từ điển ghép, phương pháp tách từ và công thức tính độ tương tự ngữ nghĩa để ứng dụng vào các bài toán phân loại văn bản, tóm tắt tài liệu tự động và hệ thống hỏi đáp thông minh.
• Sinh viên và học viên cao học ngành Công nghệ Thông tin: Nắm bắt cách xây dựng một ứng dụng Java hoàn chỉnh từ khâu xử lý ngữ liệu thô, thiết kế cấu trúc dữ liệu bảng băm từ điển đến xây dựng giao diện người dùng tính toán độ tương đồng.
• Đơn vị phát triển công cụ tìm kiếm và quản lý nội dung số: Tận dụng thuật toán đo độ tương tự để tối ưu hóa công cụ tìm kiếm ngữ nghĩa, loại bỏ các bài viết trùng lặp trên các trang tin tức điện tử và trang thương mại điện tử.

Câu hỏi thường gặp

Độ tương tự ngữ nghĩa khác gì so với độ tương tự chuỗi ký tự thông thường?
Độ tương tự chuỗi chỉ đếm số lượng ký tự hoặc từ ngữ trùng khớp nguyên văn giữa hai đoạn văn. Ngược lại, độ tương tự ngữ nghĩa đánh giá mức độ tương đồng về bản chất nội dung bằng cách phân tích quan hệ từ đồng nghĩa và trọng số thông tin, giúp phát hiện sự tương đồng ngay cả khi câu chữ đã được viết lại.

Tại sao việc tách từ trong tiếng Việt lại khó hơn tiếng Anh khi tính độ tương tự?
Tiếng Anh phân tách các từ rất rõ ràng bằng dấu khoảng trắng, trong khi tiếng Việt có khoảng 87,9% từ vựng là từ ghép nhiều âm tiết. Một chuỗi các tiếng nếu tách sai sẽ làm thay đổi hoàn toàn ý nghĩa câu, ví dụ từ ghép mang nghĩa chuyên ngành nếu bị phân tách thành các từ đơn sẽ làm sai lệch điểm tương đồng.

Trọng số IDF đóng vai trò gì trong công thức tính độ tương tự của hai văn bản?
Trọng số IDF đo lường mức độ quý hiếm của từ trong toàn bộ kho dữ liệu. Những từ mang tính chất chức năng hoặc phổ biến xuất hiện ở khắp nơi sẽ có IDF thấp, trong khi các từ khóa mang thông tin cốt lõi sẽ có IDF cao, giúp thuật toán tập trung vào những từ thực sự đại diện cho chủ đề văn bản.

Hệ thống xử lý như thế nào đối với các từ đồng nghĩa trong văn bản?
Khi kiểm tra độ tương đồng cực đại của một từ, nếu tìm thấy một từ trong văn bản đối sánh cùng thuộc một nhóm định danh trong từ điển từ đồng nghĩa, hệ thống sẽ gán ngay hệ số tương đồng là 0,98 thay vì trả về 0 như các công cụ so khớp chuỗi truyền thống.

Thuật toán có hạn chế nào khi nhận diện danh từ riêng không?
Hạn chế hiện tại của thuật toán là chưa nhận diện được các tên riêng chỉ xuất hiện duy nhất ở đầu câu văn bản do khó phân biệt giữa chữ viết hoa đầu dòng và chữ viết hoa của tên riêng. Vấn đề này có thể khắc phục bằng cách bổ sung tập từ điển địa danh, nhân danh có sẵn.

Kết luận

• Luận văn đã giải quyết thành công bài toán tính toán độ tương tự ngữ nghĩa giữa hai văn bản tiếng Việt dựa trên độ tương đồng từ vựng, khắc phục triệt để nhược điểm của các phương pháp so khớp chuỗi ký tự truyền thống.
• Xây dựng thành công quy trình tiền xử lý và tách từ ghép tiếng Việt với độ phủ trên 72.994 mục từ kết hợp cơ chế nhận dạng danh từ riêng tự động.
• Đề xuất công thức tính điểm tương đồng văn bản dựa trên hàm cực đại kết hợp trọng số IDF và bảng mã từ đồng nghĩa, đạt độ tương thích trên 90% so với thẩm định của con người.
• Phát triển phần mềm ứng dụng hoàn chỉnh cho phép so sánh trực tiếp văn bản, so sánh qua tệp tin hoặc tự động trích xuất nội dung từ đường dẫn trang web.
• Định hướng trong 12 tháng tới cần tiếp tục tích hợp mô hình phân tích cú pháp, gán nhãn từ loại POS và mở rộng ngữ liệu đa lĩnh vực. Các đơn vị giáo dục và doanh nghiệp công nghệ quan tâm có thể khai thác mô hình này để nâng cao chất lượng thẩm định học thuật và kiểm soát dữ liệu số.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Tính cấp thiết của đề tài Trong thời đại công nghệ số nhƣ hiện nay, các nguồn tài liệu là vô cùng phong phú. Việc “sao chép tài liệu” theo nghĩa tiêu cực nhƣ đạo văn, sao chép các luận án, luận văn, đồ án trở nên phổ biến và đang là vấn nạn. Ở qui mô rộng hơn, các thƣ viện điện tử ngày càng nhiều, một tài liệu có thể đƣợc phát hành trên internet nhiều lần trong những thƣ viện điện tử khác nhau, trên các trang web khác nhau.

Làm thế nào để phát hiện sự sao chép tài liệu theo nghĩa tiêu cực? Làm thế nào ngăn chặn việc sao chép trái phép, đạo văn, đạo nhạc, đạo luận văn, đồ án? Chủ đề này đã đƣợc nghiên cứu từ khoảng hơn 10 năm qua. Hiện tại, đã có một số giải pháp cho việc phát hiện sao chép và một vài công cụ phần mềm cho phép phát hiện một tài liệu (gọi là văn bản kiểm tra) có sao chép từ một tập hợp các tài liệu nguồn hay không. Tập hợp các tài liệu nguồn có thể là đóng- tức là các tài liệu tập hợp trƣớc trong một thƣ viện điện tử- hoặc là mở, chẳng hạn nhƣ tập các tài liệu văn bản trên internet. Đã có một số nghiên cứu đề xuất các phƣơng pháp khác nhau để xác định xem một đoạn văn bản của một tài liệu có nằm trong một tài liệu nào khác hay không.

Các phƣơng pháp này chủ yếu dựa trên tìm kiếm và so khớp chuỗi. Tuy nhiên, các phƣơng pháp so khớp chuỗi chỉ có hiệu quả nếu việc sao chép là “nguyên văn”. Do vậy một yêu cầu cấp bách đặt ra là làm thế nào để phát hiện việc sao chép khi có sửa đổi đôi chút nhƣ thay thế một số từ bằng từ đồng nghĩa hay thay đổi một ít trong thứ tự các câu trong văn bản. Chính vì vậy, đề tài “Tính toán độ tƣơng tự ngữ nghĩa văn bản dựa vào độ tƣơng tự giữa từ với từ” đƣợc chọn làm đề tài luận văn tốt nghiệp của tôi.

Mục tiêu của luận văn Vận dụng các phƣơng pháp tính độ tƣơng tự giữa từ với từ để tính độ tƣơng đồng ngữ nghĩa giữa hai văn bản giúp phát hiện một văn bản có đƣợc sao chép từ văn bản kia hay không. Đối tượng và nhiệm vụ của luận văn Đối tƣợng:  Tập các văn bản trong bộ dữ liệu mẫu.  Tập các tài liệu trên Internet. LUAN VAN CHAT LUONG download : add [e-mail] 4 Nhiệm vụ: Luận văn tập trung vào tính độ tƣơng tự ngữ nghĩa văn bản dựa trên tập ngữ liệu có sẵn.

Trong đó có tận dụng tối đa các đặc điểm của kho ngữ liệu, đến độ tƣơng tự giữa từ với từ và tập các từ đồng nghĩa. Phương pháp và nội dung nghiên cứu  Nghiên cứu lý thuyết về độ tƣơng tự, các cách tính độ tƣơng tự giữa từ với từ.  Nghiên cứu về kho ngữ liệu, hiện tƣợng từ đồng nghĩa.  Tìm hiều các cách tách từ trong văn bản tiếng Việt.

 Nghiên cứu các phƣơng pháp tính độ tƣơng tự ngữ nghĩa văn bản dựa trên độ tƣơng tự giữa từ với từ. Kết cấu của luận văn Nội dung chính của luận văn gồm 4 chƣơng:  Chƣơng I: Khái niệm độ tƣơng tự.  Chƣơng II: Độ tƣơng tự từ-từ.  Chƣơng III: Độ tƣơng tự văn bản-văn bản.

 Chƣơng IV: Tính độ tƣơng tự ngữ nghĩa văn bản dựa vào độ tƣơng tự giữa từ với từ. LUAN VAN CHAT LUONG download : add [e-mail] 5 CHƢƠNG I. KHÁI NIỆM ĐỘ TƢƠNG TỰ 1.