Luận văn xây dựng ứng dụng phát hiện nội dung giống nhau giữa các tài liệu ở Đại học Quảng Bình

Luận văn thạc sĩ nghiên cứu xây dựng ứng dụng phát hiện nội dung giống nhau giữa các tài liệu, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực

• Tác giả: Nguyễn Duy Linh
• Người hướng dẫn: PGS. V Trường Hùng
• Trường học: Đại học Đà Nẵng
• Chuyên ngành: Khoa học máy tính
• Đề tài: Xây Dựng Ứng Dụng Phát Hiện Nội Dung Giống Nhau Giữa Các Tài Liệu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: Đà Nẵng

Mục lục chi tiết

• LỜI CAM ĐOAN
• MỞ ĐẦU
• 0.1. Lý do chọn đề tài
• 0.2. Mục đích nghiên cứu
• 0.3. Đối tượng và phạm vi nghiên cứu
• 0.4. Phương pháp nghiên cứu
• 0.5. Ý nghĩa khoa học và thực tiễn của đề tài
• 0.6. Bố cục luận văn
• 1. CHƯƠNG 1: NGHIÊN CỨU TỔNG QUAN
• 1.1. ĐẶC ĐIỂM CÂU TRONG TIẾNG VIỆT VÀ BÀI TOÁN TÁCH CÂU
• 1.1.1. Câu và cấu trúc câu tiếng Việt
• 1.1.2. Thành phần nòng cốt của câu
• 1.1.2.1. Chủ ngữ (subject)
• 1.1.2.2. Vị ngữ (Predicate)
• 1.1.3. Thành phần phụ của câu
• 1.1.3.1. Trạng ngữ
• 1.1.3.2. Khởi ngữ (Tr chỉ chủ đề, đề ngữ)
• 1.1.4. Các thành phần biệt lập
• 1.1.4.1. Chuyển ngữ (Tr chuyển tiếp, thành phần phụ chuyển tiếp)
• 1.1.4.2. Cảm thán ngữ
• 1.1.4.3. Hô ngữ (thành phần gọi - đáp)
• 1.1.4.4. Giải thích ngữ
• 1.2. Bài toán tách câu
• 1.3. THUẬT TOÁN TÌM KIẾM VÀ SO KHỚP MẪU
• 1.3.1. Naïve
• 1.3.2. Thuật toán Rabin - Karp
• 1.3.3. Thuật toán Knuth - Morris - Pratt
• 1.4. HỆ THỐNG PHẦN MỀM PLAGIARISM CHECKER SOFTWARE
• 1.4.1. Cách sử dụng
• 1.4.2. Nhược điểm
• 1.5. TỔNG KẾT CHƯƠNG
• 2. CHƯƠNG 2: PHÂN TÍCH HỆ THỐNG ỨNG DỤNG
• 2.1. HOẠT ĐỘNG ĐÀO TẠO TẠI TRƯỜNG ĐẠI HỌC QUẢNG BÌNH
• 2.1.1. Phân tích hiện trạng đào tạo ở Trường Đại học Quảng Bình
• 2.1.2. Quá trình làm khóa luận tốt nghiệp của sinh viên
• 2.1.3. Quy trình kiểm tra thủ công khóa luận tốt nghiệp
• 2.2. PHÂN TÍCH NHU CẦU
• 2.3. GIỚI THIỆU HỆ THỐNG
• 2.4. MÔ HÌNH TỔNG QUÁT HỆ THỐNG
• 2.5. THUẬT TOÁN SỬ DỤNG
• 2.5.1. Giai đoạn xây dựng tập dữ liệu
• 2.5.2. Giai đoạn so khớp
• 2.6. THIẾT KẾ MÔ HÌNH
• 2.6.1. Chức năng Quản lý User
• 2.6.2. Chức năng xây dựng tập dữ liệu
• 2.6.3. Chức năng so khớp
• 2.7. THIẾT KẾ CƠ SỞ DỮ LIỆU
• 2.8. TỔNG KẾT CHƯƠNG
• 3. CHƯƠNG 3: PHÁT TRIỂN ỨNG DỤNG
• 3.1. LỰA CHỌN CÔNG CỤ PHÁT TRIỂN
• 3.1.1. Ngôn ngữ lập trình
• 3.1.2. Hệ quản trị cơ sở dữ liệu
• 3.1.3. Phần mềm tạo môi trường Server
• 3.2. CÁC MODULE HỆ THỐNG
• 3.2.1. Module quản lý user
• 3.2.2. Module xây dựng tập dữ liệu
• 3.2.3. Module so khớp
• 3.2.4. Module kết quả
• 3.3. DEMO CHƯƠNG TRÌNH
• 3.4. ĐÁNH GIÁ KẾT QUẢ THỬ NGHIỆM CHƯƠNG TRÌNH
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Ứng Dụng Phát Hiện Nội Dung Giống Nhau Giới thiệu

Trong kỷ nguyên số, việc tìm kiếm thông tin trở nên vô cùng dễ dàng nhờ sự phát triển của Internet. Tuy nhiên, điều này cũng kéo theo một hệ lụy là tình trạng sao chép nội dung (hay còn gọi là đạo văn) ngày càng trở nên phổ biến. Các bài báo, tài liệu nghiên cứu, khóa luận tốt nghiệp, luận văn... dễ dàng bị sao chép, chỉnh sửa mà không có sự đồng ý của tác giả. Thậm chí, nhiều người còn lợi dụng điều này để kiếm lời bất chính. Để giải quyết vấn đề này, việc xây dựng các ứng dụng phát hiện nội dung giống nhau là vô cùng cần thiết. Các ứng dụng này giúp đảm bảo tính chính trực học thuật và bảo vệ quyền sở hữu trí tuệ của tác giả. Theo nghiên cứu, luật pháp trên thế giới đã có nhiều quy định về vi phạm bản quyền, nhưng tình trạng này vẫn diễn ra, đặc biệt là trên môi trường Internet.

1.1. Tầm quan trọng của việc kiểm tra mức độ trùng lặp văn bản

Việc kiểm tra mức độ trùng lặp văn bản đóng vai trò quan trọng trong nhiều lĩnh vực. Trong nghiên cứu khoa học, nó giúp đảm bảo tính độc đáo và tin cậy của công trình. Trong giáo dục, nó giúp ngăn chặn tình trạng đạo văn và khuyến khích tư duy sáng tạo của học sinh, sinh viên. Trong xuất bản, nó giúp bảo vệ quyền tác giả và duy trì uy tín của nhà xuất bản. Việc sử dụng các công cụ kiểm tra trùng lặp giúp tiết kiệm thời gian và công sức so với việc kiểm tra thủ công.

1.2. Các loại hình đạo văn phổ biến cần phát hiện

Đạo văn không chỉ đơn thuần là sao chép toàn bộ văn bản của người khác. Nó còn bao gồm nhiều hình thức tinh vi hơn như sao chép một phần, diễn giải lại ý tưởng mà không trích dẫn nguồn, sử dụng lại công trình của chính mình mà không thông báo (self-plagiarism), và dịch thuật mà không ghi rõ nguồn gốc. Các ứng dụng phát hiện đạo văn cần có khả năng nhận diện tất cả các hình thức này để đảm bảo tính toàn diện.

II. Thách Thức Phát Hiện Nội Dung Sao Chép Vấn đề Giải pháp

Mặc dù có nhiều công cụ kiểm tra đạo văn hiện nay, nhưng vẫn còn tồn tại nhiều thách thức. Một trong số đó là khả năng phát hiện đạo văn trong các ngôn ngữ khác nhau, đặc biệt là tiếng Việt với cấu trúc ngữ pháp phức tạp. Bên cạnh đó, các phần mềm phát hiện đạo văn thường chỉ so sánh với dữ liệu có sẵn trên Internet, bỏ qua các nguồn tài liệu offline như sách, báo, tạp chí. Ngoài ra, việc vượt qua các công cụ kiểm tra đạo văn ngày càng trở nên dễ dàng hơn với các kỹ thuật như thay đổi từ ngữ, sử dụng từ đồng nghĩa, và xáo trộn cấu trúc câu. Do đó, cần có những giải pháp công nghệ tiên tiến hơn để nâng cao hiệu quả phát hiện đạo văn.

2.1. Hạn chế của các phần mềm kiểm tra đạo văn hiện tại

Các phần mềm kiểm tra đạo văn hiện tại thường có những hạn chế nhất định. Chúng có thể không phát hiện được các hình thức đạo văn tinh vi, như diễn giải lại ý tưởng hoặc sử dụng từ đồng nghĩa. Khả năng xử lý ngôn ngữ tiếng Việt cũng còn nhiều hạn chế. Ngoài ra, nhiều phần mềm chỉ so sánh với dữ liệu trực tuyến, bỏ qua các nguồn tài liệu offline quan trọng.

2.2. Yêu cầu đối với ứng dụng phát hiện đạo văn hiệu quả

Một ứng dụng phát hiện đạo văn hiệu quả cần đáp ứng nhiều yêu cầu. Nó phải có khả năng phân tích cú pháp và ngữ nghĩa của văn bản, so sánh với nhiều nguồn dữ liệu khác nhau (cả trực tuyến và offline), nhận diện các hình thức đạo văn tinh vi, và cung cấp báo cáo chi tiết và dễ hiểu. Quan trọng nhất, nó phải có khả năng xử lý ngôn ngữ tiếng Việt một cách chính xác.

2.3. Vấn đề mở rộng cơ sở dữ liệu mẫu và chi phí sử dụng

Việc mở rộng cơ sở dữ liệu mẫu là rất quan trọng để nâng cao hiệu quả phát hiện đạo văn. Tuy nhiên, việc này thường đòi hỏi chi phí lớn và khó khăn về mặt kỹ thuật. Nhiều phần mềm kiểm tra đạo văn yêu cầu người dùng trả phí để truy cập vào cơ sở dữ liệu đầy đủ, gây khó khăn cho sinh viên và các nhà nghiên cứu có ngân sách hạn hẹp.

III. Phương Pháp Xây Dựng Ứng Dụng So Sánh Văn Bản Hướng dẫn

Để xây dựng một ứng dụng phát hiện nội dung giống nhau hiệu quả, cần kết hợp nhiều phương pháp và kỹ thuật khác nhau. Đầu tiên, cần xây dựng một cơ sở dữ liệu lớn chứa các tài liệu tham khảo. Tiếp theo, cần sử dụng các thuật toán xử lý ngôn ngữ tự nhiên (NLP) để phân tích cú pháp và ngữ nghĩa của văn bản. Sau đó, cần áp dụng các thuật toán so khớp mẫu để tìm kiếm các đoạn văn bản giống nhau. Cuối cùng, cần đánh giá kết quả và tinh chỉnh thuật toán để nâng cao độ chính xác. Theo nghiên cứu của Nguyễn Duy Linh, việc sử dụng công cụ tách câu vnSentDetector có thể giúp cải thiện đáng kể hiệu quả phân tích văn bản tiếng Việt.

3.1. Tạo mô hình đặc trưng cho tập văn bản tiếng Việt

Việc tạo mô hình đặc trưng cho tập văn bản là bước quan trọng trong quá trình phát hiện đạo văn. Mô hình này giúp biểu diễn văn bản dưới dạng số, cho phép so sánh và đối chiếu một cách hiệu quả. Các phương pháp phổ biến để tạo mô hình đặc trưng bao gồm TF-IDF, Word2Vec, và Doc2Vec. Việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của tập văn bản và yêu cầu của ứng dụng.

3.2. Sử dụng thuật toán tìm kiếm và so khớp mẫu hiệu quả

Các thuật toán tìm kiếm và so khớp mẫu đóng vai trò then chốt trong việc phát hiện các đoạn văn bản giống nhau. Các thuật toán phổ biến bao gồm Rabin-Karp, Knuth-Morris-Pratt (KMP), và Boyer-Moore. Mỗi thuật toán có những ưu điểm và nhược điểm riêng, và việc lựa chọn thuật toán phù hợp phụ thuộc vào kích thước của tập văn bản và yêu cầu về tốc độ.

3.3. Tối ưu hóa thuật toán cho ngôn ngữ tiếng Việt

Ngôn ngữ tiếng Việt có những đặc điểm riêng biệt, như cấu trúc ngữ pháp phức tạp và sự đa dạng về từ vựng. Do đó, cần tối ưu hóa các thuật toán để phù hợp với ngôn ngữ này. Ví dụ, có thể sử dụng công cụ tách câu vnSentDetector để phân tách văn bản thành các câu trước khi thực hiện so khớp. Ngoài ra, cần xem xét đến các vấn đề như từ đồng nghĩa, từ trái nghĩa, và cách diễn đạt khác nhau.

IV. Ứng Dụng Phát Hiện Đạo Văn Cho Khóa Luận Nghiên cứu

Một ứng dụng thực tế của phát hiện nội dung giống nhau là trong việc kiểm tra đạo văn cho khóa luận tốt nghiệp. Trường Đại học Quảng Bình đã triển khai một ứng dụng như vậy để nâng cao chất lượng đào tạo sinh viên. Ứng dụng này sử dụng phương pháp tạo mô hình đặc trưng cho tập văn bản và thuật toán so khớp mẫu để phát hiện nội dung giống nhau giữa các khóa luận. Kết quả thử nghiệm cho thấy ứng dụng có hiệu quả trong việc phát hiện đạo văn và giúp sinh viên nâng cao ý thức về tính chính trực học thuật.

4.1. Quy trình kiểm tra khóa luận tốt nghiệp tại Đại học Quảng Bình

Tại Trường Đại học Quảng Bình, quy trình kiểm tra khóa luận tốt nghiệp được thực hiện một cách nghiêm ngặt. Trước đây, việc kiểm tra chủ yếu được thực hiện thủ công, gây tốn thời gian và công sức. Việc triển khai ứng dụng phát hiện đạo văn đã giúp tự động hóa quy trình và nâng cao hiệu quả kiểm tra.

4.2. Các module chính của ứng dụng kiểm tra đạo văn

Ứng dụng kiểm tra đạo văn bao gồm nhiều module chính, như module quản lý người dùng, module xây dựng tập dữ liệu, module so khớp, và module kết quả. Module quản lý người dùng cho phép quản trị viên tạo và quản lý tài khoản của giảng viên và sinh viên. Module xây dựng tập dữ liệu cho phép tải lên và xử lý các khóa luận tốt nghiệp. Module so khớp thực hiện so sánh các khóa luận với nhau và với các nguồn tài liệu khác. Module kết quả hiển thị báo cáo chi tiết về mức độ trùng lặp.

4.3. Đánh giá kết quả thử nghiệm ứng dụng và hiệu quả thực tế

Kết quả thử nghiệm ứng dụng cho thấy nó có khả năng phát hiện đạo văn với độ chính xác cao. Ứng dụng giúp giảm thiểu thời gian và công sức cho giảng viên trong việc kiểm tra khóa luận. Đồng thời, nó cũng giúp nâng cao ý thức của sinh viên về tính chính trực học thuật và khuyến khích tư duy sáng tạo.

V. Phần Mềm Phát Hiện Đạo Văn Tiếng Việt Top công cụ

Hiện nay, có nhiều phần mềm phát hiện đạo văn tiếng Việt khác nhau trên thị trường. Một số phần mềm phổ biến bao gồm Turnitin, Plagiarism Checker X, và Văn bản. Mỗi phần mềm có những ưu điểm và nhược điểm riêng, và việc lựa chọn phần mềm phù hợp phụ thuộc vào nhu cầu và ngân sách của người dùng. Cần lưu ý rằng không có phần mềm nào có thể phát hiện đạo văn một cách hoàn hảo, và việc kiểm tra thủ công vẫn là cần thiết.

5.1. So sánh các phần mềm phát hiện đạo văn phổ biến

Việc so sánh các phần mềm phát hiện đạo văn giúp người dùng lựa chọn được công cụ phù hợp nhất. Các tiêu chí so sánh bao gồm độ chính xác, khả năng xử lý ngôn ngữ tiếng Việt, tốc độ xử lý, giá cả, và tính năng bổ sung. Một số phần mềm có cơ sở dữ liệu lớn hơn, trong khi một số phần mềm khác có giao diện thân thiện hơn.

5.2. Ưu nhược điểm của các công cụ kiểm tra đạo văn online

Công cụ kiểm tra đạo văn online có ưu điểm là tiện lợi và dễ sử dụng. Tuy nhiên, chúng cũng có những nhược điểm, như giới hạn về kích thước tệp, yêu cầu kết nối Internet, và khả năng bảo mật dữ liệu. Người dùng cần cân nhắc kỹ lưỡng trước khi sử dụng các công cụ này.

5.3. Hướng dẫn sử dụng phần mềm kiểm tra đạo văn hiệu quả

Để sử dụng phần mềm kiểm tra đạo văn hiệu quả, người dùng cần tuân thủ một số nguyên tắc. Đầu tiên, cần đọc kỹ hướng dẫn sử dụng của phần mềm. Tiếp theo, cần tải lên tệp văn bản cần kiểm tra. Sau đó, cần chờ đợi quá trình xử lý và xem xét kết quả. Cuối cùng, cần kiểm tra lại kết quả bằng mắt thường để đảm bảo tính chính xác.

VI. Tương Lai Ứng Dụng Phát Hiện Nội Dung Trùng Lặp Kết luận

Trong tương lai, các ứng dụng phát hiện nội dung trùng lặp sẽ ngày càng trở nên quan trọng hơn. Với sự phát triển của trí tuệ nhân tạo (AI), các ứng dụng này sẽ có khả năng phân tích văn bản một cách thông minh hơn và phát hiện các hình thức đạo văn tinh vi hơn. Ngoài ra, các ứng dụng này sẽ được tích hợp vào nhiều lĩnh vực khác nhau, như giáo dục, nghiên cứu khoa học, và xuất bản. Việc phát triển và ứng dụng các công nghệ này sẽ góp phần bảo vệ quyền sở hữu trí tuệ và thúc đẩy sự sáng tạo.

6.1. Ứng dụng trí tuệ nhân tạo trong phát hiện đạo văn

Trí tuệ nhân tạo (AI) có tiềm năng to lớn trong việc phát hiện đạo văn. Các mô hình học máy có thể được huấn luyện để nhận diện các hình thức đạo văn tinh vi, như diễn giải lại ý tưởng hoặc sử dụng từ đồng nghĩa. Ngoài ra, AI có thể giúp tự động hóa quy trình kiểm tra và cung cấp báo cáo chi tiết.

6.2. Phát triển các thuật toán phát hiện đạo văn đa ngôn ngữ

Việc phát triển các thuật toán phát hiện đạo văn đa ngôn ngữ là rất quan trọng trong bối cảnh toàn cầu hóa. Các thuật toán này cần có khả năng xử lý nhiều ngôn ngữ khác nhau và phát hiện đạo văn giữa các ngôn ngữ. Điều này đòi hỏi sự kết hợp giữa xử lý ngôn ngữ tự nhiên (NLP) và dịch máy.

6.3. Ứng dụng blockchain để bảo vệ quyền sở hữu trí tuệ

Blockchain có thể được sử dụng để bảo vệ quyền sở hữu trí tuệ bằng cách ghi lại thông tin về tác giả và thời gian tạo ra tác phẩm một cách an toàn và minh bạch. Điều này giúp ngăn chặn việc sao chép và sử dụng trái phép tác phẩm của người khác.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của Internet, việc trao đổi và chia sẻ tài liệu học thuật ngày càng phổ biến, dẫn đến tình trạng sao chép, trùng lặp nội dung giữa các tài liệu nghiên cứu, khóa luận tốt nghiệp. Tại Trường Đại học Quảng Bình, số lượng sinh viên ngành Công nghệ thông tin tham gia làm khóa luận tốt nghiệp tăng dần qua các năm, tạo ra nhu cầu cấp thiết về một công cụ phát hiện nội dung giống nhau nhằm nâng cao chất lượng đào tạo và hạn chế hiện tượng đạo văn. Mục tiêu nghiên cứu là xây dựng một ứng dụng phát hiện nội dung trùng lặp giữa các tài liệu, đặc biệt là các khóa luận tốt nghiệp, dựa trên kỹ thuật tách câu tiếng Việt và thuật toán so khớp mẫu. Phạm vi nghiên cứu tập trung vào các khóa luận ngành Công nghệ thông tin tại Trường Đại học Quảng Bình trong giai đoạn từ năm 2010 đến 2014. Ý nghĩa của nghiên cứu thể hiện qua việc giảm thiểu thời gian kiểm tra thủ công, tăng độ chính xác trong phát hiện trùng lặp, đồng thời hỗ trợ giảng viên và sinh viên trong quá trình nghiên cứu khoa học. Theo ước tính, số lượng khóa luận cần kiểm tra mỗi năm lên đến hàng trăm, đòi hỏi một giải pháp tự động, hiệu quả và dễ sử dụng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên ba lý thuyết và mô hình chính:

1. Đặc điểm cấu trúc câu tiếng Việt: Câu tiếng Việt gồm các thành phần nòng cốt (chủ ngữ, vị ngữ), thành phần phụ (trạng ngữ, khởi ngữ) và thành phần biệt lập (chuyển ngữ, cảm thán ngữ, hô ngữ, giải thích ngữ). Việc hiểu rõ cấu trúc câu giúp cho quá trình tách câu chính xác, là bước tiền đề cho việc xây dựng mô hình đặc trưng văn bản.

2. Mô hình tách câu vnSentDetector: Công cụ tách câu tiếng Việt dựa trên mô hình xác suất Maximum Entropy, được đào tạo trên tập dữ liệu 4.800 câu tiếng Việt, đạt độ chính xác khoảng 95%. Mô hình sử dụng các đặc trưng ngữ cảnh để xác định ranh giới câu, hỗ trợ chuẩn hóa dữ liệu đầu vào.

3. Thuật toán tìm kiếm và so khớp mẫu: Ba thuật toán chính được áp dụng gồm Naïve, Rabin-Karp và Knuth-Morris-Pratt (KMP). Trong đó, KMP được lựa chọn làm thuật toán cốt lõi do có độ phức tạp tuyến tính O(n), tận dụng thông tin biên của chuỗi mẫu để tăng hiệu quả tìm kiếm. Thuật toán Rabin-Karp được cải tiến sử dụng hàm băm để xử lý các chuỗi dài vượt quá giới hạn kiểu dữ liệu.

Các khái niệm chuyên ngành như mô hình đặc trưng văn bản, thuật toán so khớp chuỗi, và kỹ thuật tiền xử lý dữ liệu được vận dụng để xây dựng hệ thống phát hiện nội dung giống nhau.

Phương pháp nghiên cứu

Nghiên cứu sử dụng hai phương pháp chính:

• Phương pháp nghiên cứu tài liệu: Thu thập và phân tích các tài liệu liên quan đến cấu trúc câu tiếng Việt, kỹ thuật tách câu, thuật toán tìm kiếm chuỗi, công cụ kiểm tra đạo văn hiện có, cũng như các nghiên cứu tương tự trong lĩnh vực xử lý ngôn ngữ tự nhiên và phát hiện trùng lặp văn bản.

• Phương pháp thực nghiệm: Xây dựng ứng dụng phát hiện nội dung giống nhau dựa trên ngôn ngữ lập trình PHP và hệ quản trị cơ sở dữ liệu MySQL. Cỡ mẫu thực nghiệm gồm các khóa luận tốt nghiệp ngành Công nghệ thông tin tại Trường Đại học Quảng Bình, với số lượng khoảng vài trăm tài liệu. Phương pháp chọn mẫu là toàn bộ khóa luận có sẵn trong kho dữ liệu của trường. Phân tích dữ liệu sử dụng thuật toán tách câu vnSentDetector để chuẩn hóa văn bản, sau đó áp dụng thuật toán KMP để so khớp các câu trong tài liệu cần kiểm tra với tập dữ liệu mẫu. Timeline nghiên cứu kéo dài trong 12 tháng, bao gồm các giai đoạn thu thập dữ liệu, tiền xử lý, xây dựng mô hình, phát triển ứng dụng và thử nghiệm đánh giá.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả tách câu tiếng Việt: Công cụ vnSentDetector đạt độ chính xác khoảng 95% trong việc tách câu từ các khóa luận tốt nghiệp, giúp chuẩn hóa dữ liệu đầu vào cho quá trình so khớp. Tổng số câu được tách ra từ tập dữ liệu mẫu là khoảng 50.000 câu.

2. Mức độ trùng lặp nội dung: Qua thử nghiệm trên 100 khóa luận, ứng dụng phát hiện trung bình khoảng 12% nội dung câu trùng lặp giữa các tài liệu, trong đó có khoảng 5% câu trùng lặp hoàn toàn và 7% câu có mức độ tương đồng cao. So với phương pháp kiểm tra thủ công, ứng dụng giảm thời gian kiểm tra xuống còn 30% và tăng độ chính xác lên 85%.

3. Hiệu suất thuật toán KMP: Thuật toán Knuth-Morris-Pratt xử lý so khớp chuỗi với độ phức tạp O(n), giúp ứng dụng hoạt động nhanh chóng trên tập dữ liệu lớn. Thời gian trung bình để kiểm tra một khóa luận khoảng 3 phút, so với vài giờ khi kiểm tra thủ công.

4. Khả năng mở rộng hệ thống: Ứng dụng có thể tích hợp lên môi trường Internet để mở rộng phạm vi kiểm tra, đồng thời cho phép người dùng xây dựng tập dữ liệu đặc trưng riêng theo yêu cầu, giảm chi phí so với các phần mềm trực tuyến hiện có.

Thảo luận kết quả

Nguyên nhân chính của mức độ trùng lặp nội dung là do sinh viên thường tham khảo các khóa luận trước đó trong cùng chuyên ngành, dẫn đến việc sao chép ý tưởng hoặc đoạn văn. Việc sử dụng công cụ tách câu chính xác giúp giảm thiểu sai sót trong quá trình phân tích, đồng thời thuật toán KMP tối ưu hóa việc so sánh chuỗi, tránh lặp lại các phép so sánh không cần thiết. So với các nghiên cứu trước đây sử dụng phần mềm trực tuyến như Turnitin hay Plagiarism Checker Software, ứng dụng này có ưu điểm là hoạt động offline, cho phép kiểm soát dữ liệu nội bộ và hiển thị chi tiết mức độ trùng lặp từng câu. Dữ liệu có thể được trình bày qua biểu đồ cột thể hiện tỷ lệ câu trùng lặp theo từng khóa luận, hoặc bảng thống kê chi tiết các câu bị trùng với nguồn gốc cụ thể, giúp giảng viên dễ dàng đánh giá và xử lý.

Đề xuất và khuyến nghị

1. Triển khai ứng dụng rộng rãi trong nhà trường: Đề nghị Ban Giám hiệu và các khoa chuyên môn áp dụng ứng dụng kiểm tra nội dung giống nhau cho tất cả các khóa luận tốt nghiệp ngành Công nghệ thông tin trong vòng 1 năm tới nhằm nâng cao chất lượng đào tạo.

2. Đào tạo giảng viên và sinh viên sử dụng công cụ: Tổ chức các buổi tập huấn kỹ thuật cho giảng viên hướng dẫn và sinh viên về cách sử dụng ứng dụng, chú trọng vào việc hiểu và xử lý kết quả kiểm tra, dự kiến trong 6 tháng đầu triển khai.

3. Mở rộng cơ sở dữ liệu mẫu: Thu thập và chuẩn hóa thêm các tài liệu từ các ngành học khác và các năm trước để tăng phạm vi so sánh, giảm thiểu tình trạng trùng lặp nội dung không được phát hiện, thực hiện liên tục hàng năm.

4. Nâng cấp và tích hợp hệ thống trên nền tảng Internet: Phát triển phiên bản ứng dụng trực tuyến để hỗ trợ kiểm tra đa nền tảng, đồng thời cho phép cập nhật dữ liệu tự động, dự kiến hoàn thành trong 18 tháng tới với sự phối hợp của phòng Công nghệ thông tin nhà trường.

Đối tượng nên tham khảo luận văn

1. Giảng viên hướng dẫn khóa luận: Giúp giảng viên có công cụ hỗ trợ kiểm tra nhanh chóng, chính xác nội dung trùng lặp, từ đó nâng cao chất lượng hướng dẫn và đánh giá sinh viên.

2. Sinh viên ngành Công nghệ thông tin: Hỗ trợ sinh viên tự kiểm tra nội dung khóa luận trước khi nộp, nâng cao ý thức tránh sao chép và phát triển kỹ năng nghiên cứu độc lập.

3. Nhà quản lý giáo dục đại học: Cung cấp giải pháp công nghệ để quản lý chất lượng đào tạo, giảm thiểu hiện tượng đạo văn, đồng thời xây dựng chính sách kiểm soát nội dung học thuật hiệu quả.

4. Nhà phát triển phần mềm và nghiên cứu khoa học về xử lý ngôn ngữ tự nhiên: Tham khảo mô hình, thuật toán và phương pháp xây dựng ứng dụng phát hiện trùng lặp văn bản tiếng Việt, làm cơ sở phát triển các công cụ tương tự hoặc cải tiến.

Câu hỏi thường gặp

1. Ứng dụng này có thể phát hiện trùng lặp nội dung ở mức độ nào?
   Ứng dụng phát hiện cả câu trùng lặp hoàn toàn và câu có mức độ tương đồng cao dựa trên thuật toán so khớp mẫu KMP, giúp nhận diện chính xác khoảng 85% các trường hợp sao chép nội dung.

2. Có thể sử dụng ứng dụng cho các tài liệu ngoài ngành Công nghệ thông tin không?
   Hiện tại ứng dụng được thiết kế và thử nghiệm trên khóa luận ngành Công nghệ thông tin, tuy nhiên có thể mở rộng sang các ngành khác bằng cách xây dựng thêm tập dữ liệu đặc trưng phù hợp.

3. Ứng dụng có yêu cầu kết nối Internet khi sử dụng không?
   Ứng dụng có thể hoạt động offline trên máy tính cá nhân, giúp bảo mật dữ liệu và giảm chi phí so với các phần mềm trực tuyến, đồng thời có kế hoạch phát triển phiên bản trực tuyến trong tương lai.

4. Làm thế nào để xử lý khi phát hiện nội dung trùng lặp?
   Giảng viên và sinh viên nên xem xét kỹ các câu trùng lặp được báo cáo, đánh giá mức độ sao chép và điều chỉnh nội dung phù hợp, đồng thời tham khảo các quy định về đạo văn của nhà trường.

5. Ứng dụng có hỗ trợ tách câu tiếng Việt chính xác không?
   Ứng dụng sử dụng công cụ vnSentDetector với độ chính xác khoảng 95% trong việc tách câu tiếng Việt, đảm bảo dữ liệu đầu vào được chuẩn hóa tốt cho quá trình so khớp nội dung.

Kết luận

• Đã xây dựng thành công ứng dụng phát hiện nội dung giống nhau giữa các tài liệu tiếng Việt, đặc biệt là khóa luận tốt nghiệp ngành Công nghệ thông tin tại Trường Đại học Quảng Bình.
• Ứng dụng sử dụng công cụ tách câu vnSentDetector và thuật toán Knuth-Morris-Pratt, đạt hiệu quả cao về độ chính xác và tốc độ xử lý.
• Giảm thiểu đáng kể thời gian và công sức kiểm tra thủ công, đồng thời nâng cao ý thức nghiên cứu khoa học của sinh viên.
• Đề xuất triển khai rộng rãi, đào tạo người dùng và mở rộng cơ sở dữ liệu để nâng cao hiệu quả ứng dụng.
• Kế hoạch phát triển tiếp theo bao gồm tích hợp ứng dụng trên nền tảng Internet và mở rộng phạm vi áp dụng cho các ngành học khác.

Quý độc giả và các nhà nghiên cứu được khuyến khích áp dụng và phát triển thêm dựa trên kết quả nghiên cứu này nhằm góp phần nâng cao chất lượng đào tạo và nghiên cứu khoa học trong môi trường giáo dục đại học.

Trích đoạn nội dung tài liệu

Chương 1. Nghiên cứu tổng quan Trong chƣơng này, chúng tôi trình bày tổng quan về đặc điểm ngôn ngữ tiếng Việt, phƣơng pháp tách câu trong tiếng Việt, các thuật toán tìm kiếm và so khớp mẫu, giới thiệu một số ứng dụng tƣơng tự. Đề xuất giải pháp Chƣơng 2 đƣợc dành để trình bày mô hình phát triển và các giải pháp xây dựng ứng dụng. Giải pháp đƣợc đề xuất nhƣ sau: Xây dựng mô hình đặc trƣng cho các văn bản trong tập dữ liệu đầu vào (tập các khóa luận tốt nghiệp) dựa trên công cụ tách câu tiếng Việt vnSentDetector, ứng dụng thuật toán tìm kiếm và so khớp mẫu Knuth – Morris - Pratt đã đƣợc đề xuất ở Chƣơng 1 là phần cốt lõi để xây dựng ứng dụng.

Triển khai ứng dụng Lựa chọn công cụ phát triển, xử lý tài liệu đầu vào để đƣa vào ứng dụng. Phƣơng pháp tạo mô hình đặc trƣng cho tập dữ liệu đầu vào. Giới thiệu các bƣớc triển khai, xây dựng các module chƣơng trình. c 5 CHƢƠNG 1 NGHIÊN CỨU TỔNG QUAN Trong chƣơng này, chúng tôi trình bày tổng quan về đặc điểm ngôn ngữ tiếng Việt, phƣơng pháp tách câu trong tiếng Việt, các thuật toán tìm kiếm và so khớp mẫu, giới thiệu một số ứng dụng tƣơng tự.

ĐẶC ĐIỂM CÂU TRONG TIẾNG VIỆT VÀ BÀI TOÁN TÁCH CÂU 1. Câu và cấu trúc câu tiếng Việt [1] Câu là một tập hợp từ, ngữ kết hợp với nhau theo những quan hệ cú pháp xác định, đƣợc tạo ra trong quá trình tƣ duy, giao tiếp, có giá trị thông báo, gắn liền với mục đích giao tiếp nhất định. Nói đến cấu trúc câu là nói đến các thành phần tạo câu cùng với chức năng, mối quan hệ qua lại và sự phân bố chúng trong tổ chức nội bộ câu. Dựa vào vai trò tạo câu, các thành phần câu đƣợc chia thành ba loại lớn: thành phần nòng cốt, thành phần phụ và thành phần biệt lập.

Thành phần nòng cốt của câu Thành phần nòng cốt là loại thành phần cơ bản, cốt lõi của câu mà dựa vào nó câu mới có thể tồn tại. Thành phần nòng cốt bao gồm hai loại nhỏ: chủ ngữ và vị ngữ. Chủ ngữ (subject) Chủ ngữ (viết tắt: C) là loại thành phần nòng cốt có chức năng biểu thị đối tƣợng mà câu đề cập đến. Nó trả lời cho câu hỏi: câu nói về ai, cái gì, việc gì ? Về từ loại, chủ ngữ thƣờng do danh từ hay đại từ đảm nhiệm.

Một số từ loại khác nhƣ động từ, tính từ và số từ cũng có thể làm chủ ngữ. c 6 Về cấu tạo, chủ ngữ có thể là một từ, một chữ chính phụ hay một kết cấu chủ - vị dƣới bậc câu (gọi là tiểu cú) tạo thành. Vị ngữ (Predicate) Vị ngữ (viết tắt: V) là loại thành phần nòng cốt có chức năng biểu thị nội dung thuyết minh về đối tƣợng đƣợc câu nói đến. Nó trả lời cho câu hỏi: đối tƣợng đƣợc nói đến làm gì, nhƣ thế nào, ra sao? Về mặt từ loại, vị ngữ thƣờng do động từ hay tính từ đảm nhiệm.

Một vài từ loại khác nhƣ đại từ, số từ cũng có thể làm vị ngữ. Về mặt cấu tạo, vị ngữ có thể do một từ, một ngữ hay do một kết cấu chủ vị dƣới bậc câu (tiểu cú) tạo thành. Về trật tự phân bố chủ ngữ, trong câu tiếng Việt, chủ ngữ đứng trƣớc vị ngữ là hiện tƣợng phổ biến. Tuy nhiên, trong một số trƣờng hợp, chủ ngữ có thể đứng sau vị ngữ.

Chủ ngữ và vị ngữ là hai thành phần nòng cốt, nên chúng thƣờng xuất hiện trong câu. Tuy nhiên, hai thành phần này cũng có thể vắng mặt trong một số trƣờng hợp: - C hoặc/và V bị tỉnh lƣợc dựa vào hoàn cảnh giao tiếp.