Luận Án Tiến Sĩ: Đánh Giá Mức Độ Giống Nhau Của Văn Bản Tiếng Việt

Luận án tiến sĩ nghiên cứu đánh giá mức độ giống nhau của văn bản tiếng việt, phân tích chuyên sâu, xây dựng mô hình lý thuyết, đề xuất giải pháp khoa học cho vấn đề thực tiễn.

• Tác giả: Hồ Phan Hiếu
• Người hướng dẫn: Nguyễn Thị Ngọc Anh
• Trường học: Đại học Đà Nẵng
• Chuyên ngành: Khoa học máy tính
• Đề tài: Đánh Giá Mức Độ Giống Nhau Văn Bản Tiếng Việt
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2019
• Địa điểm: Đà Nẵng

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI MỞ ĐẦU
• prefix.1. Mục tiêu nghiên cứu
• prefix.2. Đối tượng và phạm vi nghiên cứu
• prefix.3. Phương pháp nghiên cứu
• prefix.4. Nhiệm vụ nghiên cứu và kết quả đạt được
• prefix.5. Bố cục của luận án
• prefix.6. Đóng góp chính của luận án
• 1. CHƯƠNG 1: TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU
• 1.1. Một số khái niệm sử dụng trong luận án
• 1.2. Một số đặc điểm của ngôn ngữ tiếng Việt
• 1.3. Một số khó khăn và nhập nhằng trong xử lý văn bản tiếng Việt
• 1.4. Mô hình biểu diễn văn bản
• 1.4.1. Mô hình biểu diễn văn bản
• 1.4.2. Nhận xét và đánh giá
• 1.5. Các phương pháp tính độ tương tự văn bản
• 1.5.1. Hướng tiếp cận
• 1.5.2. Bài toán so khớp chuỗi
• 1.5.3. So sánh văn bản và ứng dụng trong phát hiện sao chép
• 1.5.4. Các vấn đề liên quan về sao chép
• 1.5.5. Phát hiện sao chép tại PAN
• 1.6. Kết luận Chương 1
• 2. CHƯƠNG 2: SO SÁNH VĂN BẢN DỰA TRÊN MÔ HÌNH VECTOR
• 2.1. Tính độ tương tự văn bản trong mô hình vector
• 2.2. Biểu diễn văn bản theo mô hình vector
• 2.3. Phương pháp tính trọng số từ chỉ mục
• 2.4. Phương pháp tính độ tương tự
• 2.5. Một số phương pháp so sánh văn bản dựa trên mô hình vector
• 2.6. Mô hình vector hóa văn bản
• 2.7. Phương pháp cải tiến sử dụng độ đo Cosine
• 2.8. Đánh giá các phương pháp dựa trên mô hình vector
• 2.9. Tạo bộ dữ liệu để đánh giá các thuật toán
• 2.10. Đánh giá các thuật toán dựa trên mô hình vector
• 2.11. Kết luận Chương 2
• 3. CHƯƠNG 3: PHÁT HIỆN SAO CHÉP VĂN BẢN DỰA TRÊN BIẾN ĐỔI WAVELET RỜI RẠC
• 3.1. Phát biểu bài toán
• 3.2. Cơ sở lý thuyết về DWT và bộ lọc Haar
• 3.2.1. Cơ sở lý thuyết về DWT
• 3.2.2. Bộ lọc Haar
• 3.3. Đề xuất mô hình hệ thống phát hiện sao chép
• 3.4. Đề xuất mô hình hệ thống áp dụng cho phương pháp dựa trên DWT
• 3.5. Đề xuất quy trình chuyển đổi dữ liệu
• 3.6. Đề xuất phương pháp và giải thuật xử lý
• 3.6.1. Tiền xử lý dữ liệu
• 3.6.2. Quy trình số hóa
• 3.6.3. Giải thuật cho bộ lọc Haar
• 3.7. Tổ chức dữ liệu cho bộ DNA nguồn
• 3.8. Đề xuất thuật toán phát hiện sự giống nhau
• 3.8.1. Mã hóa dữ liệu và tính DNA của văn bản đánh giá
• 3.8.2. So sánh và đưa ra quyết định
• 3.8.3. Độ phức tạp của thuật toán phát hiện sự giống nhau
• 3.9. Kết quả thử nghiệm phương pháp dựa trên DWT
• 3.9.1. Dữ liệu thử nghiệm
• 3.9.2. Kết quả thử nghiệm
• 3.10. Kết luận Chương 3
• 4. CHƯƠNG 4: PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN SAO CHÉP VĂN BẢN TIẾNG VIỆT
• 4.1. Mô tả hệ thống
• 4.2. Các đối tượng sử dụng
• 4.3. Mô hình tổng quát
• 4.4. Xây dựng kho dữ liệu văn bản tiếng Việt
• 4.4.1. Kiến trúc hệ thống kho dữ liệu
• 4.4.2. Giải pháp xây dựng kho dữ liệu
• 4.4.3. Đánh giá về kho dữ liệu
• 4.5. Triển khai hệ thống phát hiện sao chép văn bản
• 4.6. Đề xuất hướng phát triển để xử lý dữ liệu lớn
• 4.7. Đề xuất giải pháp xử lý
• 4.8. Đề xuất phương pháp biểu diễn DNA bằng Tensor
• 4.9. Kết luận Chương 4
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• appendix.1. Hướng phát triển
• DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Đặt vấn đề

Trong bối cảnh phát triển của Internet, việc chia sẻ tài liệu trở nên phổ biến. Tuy nhiên, tình trạng sao chép văn bản cũng gia tăng. Để giải quyết vấn đề này, việc đánh giá mức độ giống nhau của văn bản trở thành một nhiệm vụ quan trọng. Các nghiên cứu về xử lý ngôn ngữ tự nhiên (NLP) đã đạt được nhiều thành tựu, nhưng nghiên cứu về văn bản tiếng Việt vẫn còn hạn chế. Các hệ thống phát hiện sao chép hiện tại chủ yếu tập trung vào tiếng Anh, do đó, việc phát triển các phương pháp cho tiếng Việt là cần thiết. Luận án này nhằm mục tiêu phát hiện nội dung sao chép trong văn bản tiếng Việt, sử dụng các phương pháp mới như DWT và bộ lọc Haar để chuyển đổi văn bản thành chuỗi số DNA.

1.1. Mục tiêu nghiên cứu

Mục tiêu của luận án là tìm ra các giải pháp hiệu quả để biểu diễn và đánh giá mức độ giống nhau của các văn bản. Các mục tiêu cụ thể bao gồm đề xuất phương pháp biểu diễn văn bản, cải thiện tốc độ và độ chính xác trong phát hiện sao chép, và xây dựng hệ thống phát hiện sao chép văn bản tiếng Việt. Việc này không chỉ giúp phát hiện sao chép mà còn nâng cao chất lượng nghiên cứu và học thuật trong nước.

1.2. Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu bao gồm các mô hình và phương pháp biểu diễn văn bản, các thuật toán tính độ tương tự văn bản, và bài toán phát hiện nội dung sao chép. Phạm vi nghiên cứu tập trung vào phương pháp biểu diễn văn bản dựa trên mô hình vector và các phương pháp đo độ tương tự mà không xét đến yếu tố ngữ nghĩa. Điều này giúp xác định rõ ràng các phương pháp và thuật toán cần thiết cho việc phát hiện sao chép trong văn bản tiếng Việt.

II. Tổng quan tình hình nghiên cứu

Chương này trình bày cơ sở lý thuyết và kết quả nghiên cứu tổng quan về các vấn đề liên quan đến đánh giá văn bản. Các nghiên cứu trước đây đã chỉ ra rằng việc phát hiện sao chép văn bản là một thách thức lớn, đặc biệt trong ngữ cảnh tiếng Việt. Các phương pháp hiện có chủ yếu dựa vào mô hình vector, nhưng có những hạn chế về không gian lưu trữ và chi phí tính toán. Luận án này sẽ đề xuất các phương pháp mới nhằm cải thiện hiệu quả trong việc phát hiện sao chép văn bản.

2.1. Các phương pháp tính độ tương tự văn bản

Nhiều phương pháp đã được phát triển để tính độ tương tự văn bản, bao gồm mô hình vector và các thuật toán so khớp chuỗi. Tuy nhiên, các phương pháp này thường gặp khó khăn trong việc xử lý khối lượng dữ liệu lớn. Luận án sẽ nghiên cứu và đề xuất các giải pháp mới, bao gồm việc sử dụng DWT và bộ lọc Haar để cải thiện độ chính xác và tốc độ trong việc phát hiện sao chép.

2.2. Hướng tiếp cận mới trong xử lý văn bản

Hướng tiếp cận mới trong luận án này là sử dụng phương pháp DWT để chuyển đổi văn bản thành chuỗi số DNA. Điều này không chỉ giúp giảm thiểu không gian lưu trữ mà còn tăng cường khả năng xử lý dữ liệu lớn. Việc áp dụng các thuật toán mới sẽ giúp phát hiện sự giống nhau giữa các văn bản một cách hiệu quả hơn, từ đó nâng cao chất lượng nghiên cứu và ứng dụng trong thực tiễn.

III. Phát triển hệ thống phát hiện sao chép văn bản tiếng Việt

Chương này trình bày kết quả xây dựng hệ thống phát hiện sao chép văn bản tiếng Việt dựa trên các nghiên cứu trước đó. Hệ thống này được thiết kế để xử lý khối lượng lớn dữ liệu văn bản và phát hiện nội dung sao chép một cách hiệu quả. Việc triển khai thử nghiệm tại ĐHĐN đã cho thấy những kết quả khả quan, chứng minh tính khả thi của các phương pháp đã đề xuất.

3.1. Mô tả hệ thống

Hệ thống phát hiện sao chép văn bản được xây dựng dựa trên các mô hình và phương pháp đã nghiên cứu. Hệ thống này có khả năng xử lý và phân tích các văn bản tiếng Việt, từ đó phát hiện các nội dung sao chép một cách nhanh chóng và chính xác. Việc sử dụng các thuật toán mới giúp cải thiện hiệu suất và độ chính xác của hệ thống.

3.2. Kết quả thử nghiệm

Kết quả thử nghiệm cho thấy hệ thống có khả năng phát hiện sao chép với độ chính xác cao. Các thử nghiệm được thực hiện trên bộ dữ liệu tiếng Việt đã chứng minh rằng các phương pháp đề xuất có thể áp dụng hiệu quả trong thực tiễn. Điều này mở ra hướng đi mới cho việc phát triển các hệ thống phát hiện sao chép văn bản trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1. Tổng quan tình hình nghiên cứu. Chương này trình bày cơ sở lý thuyết, kết quả nghiên cứu tổng quan về các vấn đề nghiên cứu trong luận án; phân tích, đánh giá các công trình nghiên cứu liên quan và chỉ ra một số hạn chế trong lĩnh vực nghiên cứu (phát hiện sao chép hay trùng lặp nội dung văn bản). Trên cơ sở các phân tích, đánh giá sẽ định hướng, đề xuất và xác định các nội dung nghiên cứu sẽ được triển khai.

So sánh văn bản dựa trên mô hình vector. Chương này giới thiệu tổng quan về bài toán so sánh văn bản, trình bày phương pháp tính trọng số các đặc trưng của văn bản biểu diễn trên mô hình vector; giới thiệu bài toán và thực nghiệm luan an -6- một số phương pháp so sánh văn bản dựa trên mô hình vector để chứng minh mô hình biểu diễn văn bản dựa trên vector là thông dụng và có thể ứng dụng trong phát hiện sao chép văn bản tiếng Việt. Trên cơ sở phân tích, đánh giá cách tính trọng số, các phương pháp đo độ tương tự văn bản được dùng phổ biến, luận án đề xuất thuật toán thử nghiệm để đánh giá sự tương tự của văn bản tiếng Việt dựa trên mô hình vector. Phát hiện sao chép văn bản dựa trên biến đổi Wavelet rời rạc.

Hạn chế của mô hình vector là không gian lưu trữ với số chiều rất lớn, đối với kho dữ liệu lớn thì chi phí xử lý, tính toán cao. Chương này giới thiệu kết quả nghiên cứu, phân tích và đề xuất hướng tiếp cận mới để giải quyết bài toán so sánh văn bản dựa trên phép biến đổi Wavelet rời rạc và sử dụng bộ lọc Haar. Nội dung trình bày tập trung vào hướng tiếp cận và các vấn đề mới đối với xử lý văn bản, đó là biến đổi Wavelet rời rạc và bộ lọc Haar; phương pháp đề xuất để giải quyết bài toán. Thực nghiệm, so sánh và đánh giá kết quả đạt được để chứng minh hiệu quả của phương pháp đề xuất.

Phát triển hệ thống phát hiện sao chép văn bản tiếng Việt. Trình bày kết quả giải pháp xây dựng kho dữ liệu văn bản tiếng Việt và phát triển hệ thống phát hiện sao chép văn bản dựa trên các kết quả nghiên cứu đạt được về mô hình vector và phương pháp DWT. Chương này cũng trình bày kết quả triển khai thử nghiệm tại ĐHĐN và một số đánh giá. Cuối cùng là đề xuất hướng phát triển để xử lý dữ liệu lớn với giải pháp triển khai dựa trên mô hình MapReduce và phương pháp biểu diễn DNA bằng Tensor.

Đóng góp chính của luận án Luận án đã góp phần giải quyết bài toán đánh giá mức độ giống nhau của văn bản ứng dụng trong phát hiện nội dung giống nhau của văn bản nhằm phát hiện sao chép. Dưới đây là những đóng góp chính của luận án: - Đề xuất cải tiến mô hình vector để tính toán độ tương tự văn bản dựa trên đơn vị từ và câu. Nghiên cứu và triển khai thực nghiệm phương pháp so sánh văn bản dựa trên mô hình vector với tập dữ liệu tiếng Việt và cho kết quả khả quan để chứng minh phương pháp dựa trên mô hình vector và sử dụng độ đo Cosine là phương pháp thông dụng có thể giải quyết được bài toán đánh giá mức độ giống nhau của văn bản. luan an -7- - Đề xuất được cách tiếp cận mới để đánh giá mức độ giống nhau của văn bản gồm phương pháp biểu diễn văn bản thành các chuỗi số thực DNA và ứng dụng phương pháp DWT và bộ lọc Haar.

Đây là cách tiếp cận hoàn toàn mới để giải quyết bài toán phát hiện sự giống nhau của văn bản. - Đề xuất được quy trình xử lý, xây dựng thuật toán phát hiện sự giống nhau giữa các văn bản bằng cách tính toán khoảng cách Euclid nhỏ nhất từ DNA cần đánh giá đến các DNA nguồn và so sánh với một mức ngưỡng thích hợp để đưa ra kết luận về sự giống nhau giữa văn bản được kiểm tra với văn bản nguồn trong kho dữ liệu. Các kết quả thực nghiệm trên bộ dữ liệu chuẩn của PAN và bộ dữ liệu tiếng Việt thử nghiệm đã chứng minh thuật toán đề xuất đem lại hiệu quả cao trong phát hiện sự giống nhau của văn bản. - Đề xuất được các giải pháp, thuật toán để xử lý dữ liệu lớn hiệu quả.

Từ hướng tiếp cận và phương pháp đề xuất trên, trong luận án đã tính đến xử lý dữ liệu lớn với việc mã hóa dữ liệu văn bản sang dạng tín hiệu số thông qua các chuỗi DNA được sắp xếp theo thứ tự tăng dần cho phép tìm kiếm nhị phân. Đây là một trong những phương pháp tìm kiếm nhanh nhất khi làm việc với dữ liệu lớn. Hơn nữa, DWT cho độ phức tạp tính toán chỉ là hàm đa thức trong mỗi lần lấy mẫu con nên giải pháp đề xuất sẽ càng hiệu quả trong quá trình xử lý dữ liệu lớn. - Xây dựng các bộ dữ liệu tiếng Việt để thực nghiệm, xây dựng hệ thống phát hiện sao chép văn bản và triển khai ứng dụng thử nghiệm tại ĐHĐN mang ý nghĩa thực tiễn cao.

luan an -8- TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU Chương này trình bày cơ sở lý thuyết, kết quả nghiên cứu tổng quan về các vấn đề nghiên cứu trong luận án; thực hiện việc phân tích, đánh giá các công trình nghiên cứu liên quan và chỉ ra một số hạn chế trong lĩnh vực nghiên cứu (phát hiện sao chép hay trùng lặp nội dung văn bản). Trên cơ sở các phân tích, đánh giá sẽ định hướng, đề xuất và xác định các nội dung nghiên cứu sẽ được triển khai. Một số khái niệm sử dụng trong luận án 1) Văn bản Văn bản (Document/Text) là đối tượng nghiên cứu của nhiều ngành khoa học, nhiều lĩnh vực khác nhau, tùy theo góc độ nghiên cứu và mục đích tiếp cận sẽ có nhiều định nghĩa khác nhau về văn bản. Thông thường trong các hệ thống lưu trữ và truy xuất thông tin, văn bản là các bản ghi thông tin, là phương tiện để ghi nhận, lưu giữ và truyền đạt các thông tin từ chủ thể này sang chủ thể khác bằng một ký hiệu hay ngôn ngữ nhất định nào đó.

Văn bản bao gồm các tài liệu, tư liệu, giấy tờ có giá trị pháp lý, mỗi văn bản gồm tập hợp các câu có tính trọn vẹn về nội dung, hoàn chỉnh về hình thức, có tính liên kết chặt chẽ và hướng tới một mục tiêu giao tiếp nhất định [18]. Trong tin học, văn bản là một chuỗi ký tự được mã hóa thành các định dạng có thể đọc được trên máy tính, hay còn gọi là văn bản điện tử. Trong luận án, văn bản được đề cập là đối tượng nghiên cứu chính, là văn bản điện tử ở dạng văn bản thuần (Plain text2), việc xử lý, tính toán sẽ loại bỏ các hình ảnh, công thức, bảng biểu. Hay nói cách khác, các phương pháp đề xuất trong luận án được xử lý trên đối tượng văn bản thuần, từ các văn bản điện tử được lưu trữ dưới dạng các tệp tin.

hay tính toán, xử lý trên các nội dung văn bản được lưu trữ trong CSDL.org/wiki/Plain_text (truy cập tháng 10/2019) luan an -9- 2) Độ tương tự Độ tương tự (Similarity measures) hay độ tương đồng là một khái niệm quan trọng và đã được sử dụng rộng rãi. Các định nghĩa trước đây về độ tương tự được gắn liền trong một ứng dụng cụ thể hoặc một dạng thể hiện của tri thức. Dekang Lin [70] định nghĩa độ tương tự thông qua trực giác (Intuitions): - Trực giác 1: Độ tương tự giữa A và B có liên quan tới sự tương tự (giống nhau) của chúng. Sự tương tự càng nhiều, độ tương tự càng lớn.

- Trực giác 2: Độ tương tự giữa A và B có liên quan tới những sự khác biệt giữa chúng. Càng nhiều sự khác biệt, độ tương tự càng thấp. - Trực giác 3: Độ tương tự lớn nhất giữa A và B đạt được khi A và B giống hệt nhau hay gọi là đồng nhất. Mỗi một độ đo độ tương tự phụ thuộc vào một ứng dụng cụ thể hoặc giả định trong một mô hình miền cụ thể.

Độ tương tự được tính là giá trị nằm trong khoảng [0, 1]. Độ tương tự giữa hai đối tượng bằng 1 thì hai đối tượng đó hoàn toàn giống nhau và nếu độ tương tự bằng 0 thì hai đối tượng đó khác nhau hoàn toàn. 3) Độ tương tự văn bản Độ tương tự văn bản (Text similarity) là mức độ giống nhau của văn bản. Khi so sánh hai đơn vị văn bản (toàn văn bản hoặc một phân đoạn của văn bản) với nhau thì đó là mức độ giống nhau giữa đơn vị văn bản này với đơn vị văn bản kia; so sánh giữa hai văn bản thì đó là mức độ giống nhau giữa văn bản này với văn bản kia; so sánh giữa một văn bản kiểm tra với tập văn bản khác thì đó là mức độ giống nhau giữa văn bản kiểm tra với các văn bản khác… Nói cách khác, tính độ tương tự văn bản là tìm ra tỷ lệ giống nhau của văn bản.

Meuschke and Gipp [80] trình bày việc tính độ tương tự văn bản theo hai hướng: Một là so sánh độ tương tự của các phân đoạn văn bản (Text segment), gọi là tương tự cục bộ và hai là so sánh độ tương tự của toàn bộ văn bản (Full text), gọi là tương tự toàn cục. Để đo độ tương tự văn bản thường dùng là độ tương tự chuỗi (String similarity). Để đo độ tương tự các chuỗi, người ta sử dụng các độ đo khoảng cách để tính độ tương tự chuỗi [14] hoặc dùng các phương pháp đo độ tương tự ngữ nghĩa luan an - 10 - (Semantic similarity) để hiểu được nghĩa của văn bản, thường liên quan đến cơ sở tri thức, các khái niệm, Ontology,. Tóm lại, các văn bản tương tự nhau là những văn bản có tần số từ tương đối giống nhau, vì vậy có thể đo độ tương tự giữa các văn bản hoặc giữa một văn bản với các văn bản khác trong kho dữ liệu thường dựa vào bảng tần số từ.

Trong khai phá văn bản có nhiều độ đo khác nhau để tính toán mức độ tương tự của các văn bản, trong đó độ đo thường được sử dụng nhất là độ đo Cosine. Trong phạm vi đặt ra, luận án tập trung vào các phương pháp đo độ tương tự văn bản mà không xét đến yếu tố ngữ nghĩa của văn bản. Luận án tính toán độ tương tự văn bản dựa trên các phương pháp liên quan đến chuỗi. 4) So khớp văn bản Khái niệm “So khớp” được hiểu theo nhiều cách khác nhau.