Nghiên cứu phát triển kỹ thuật hỗ trợ phát hiện đạo văn trong văn bản tiếng Việt

Phát hiện đạo văn là một vấn đề cấp thiết trong bối cảnh gia tăng sử dụng tài liệu số và sự phát triển… 173 trang · Viện Khoa học và Công nghệ Quân sự · 2022.

• Tác giả: Nguyễn Văn Sơn
• Người hướng dẫn: TS. Lê Thanh Hương
• Trường học: Viện Khoa học và Công nghệ Quân sự
• Chuyên ngành: Cơ sở toán học cho tin học
• Đề tài: Nghiên Cứu Phát Triển Kỹ Thuật Hỗ Trợ Phát Hiện Đạo Văn Trong Văn Bản Tiếng Việt
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN SAO CHÉP
• 1.1. Các hình thức sao chép
• 1.2. Các kiến thức nền tảng
• 1.2.1. Một số kiến thức nền tảng về ngôn ngữ tiếng Việt
• 1.2.2. Cơ sở lý thuyết về thuật toán LDA
• 1.2.3. Giới thiệu luật kết hợp và thuật toán Apriori
• 1.2.4. Giới thiệu mạng nơ ron hồi quy RNN
• 1.2.5. Giới thiệu mạng LSTM xếp chồng
• 1.3. Các nghiên cứu về phát hiện sao chép trên thế giới
• 1.3.1. Trích rút từ khóa
• 1.3.2. Phát hiện đoạn sao chép
• 1.4. Các hướng tiếp cận phát hiện sao chép trong nước
• 1.5. Kho ngữ liệu và phương pháp đánh giá
• 1.5.1. Kho ngữ liệu thử nghiệm
• 1.5.2. Phương pháp đánh giá
• 1.6. Những vấn đề luận án cần tập trung nghiên cứu giải quyết
• 1.7. Kết luận Chương 1
• 2. CHƯƠNG 2: TRÍCH RÚT TỪ KHÓA DỰA TRÊN MÔ HÌNH HỌC SÂU
• 2.1. Phát biểu bài toán tìm tập tài liệu ứng cử và bài toán trích rút từ khóa
• 2.2. Trích rút từ khóa dựa trên kỹ thuật trích rút đặc trưng và mô hình mạng FFNN
• 2.2.1. Nội dung đề xuất
• 2.2.2. Đánh giá thử nghiệm
• 2.3. Kết luận Chương 2
• 3. CHƯƠNG 3: PHÁT HIỆN ĐOẠN SAO CHÉP GIỮA HAI TÀI LIỆU DỰA TRÊN CÁC MÔ HÌNH HỌC MÁY
• 3.1. Phát biểu bài toán phát hiện đoạn sao chép
• 3.2. Mô hình chủ đề cho bài toán phát hiện đoạn sao chép
• 3.2.1. Đề xuất giải pháp
• 3.2.2. Đánh giá thử nghiệm trên kho ngữ liệu PAN
• 3.3. Kỹ thuật trích rút đặc trưng và mô hình LSTM xếp chồng cho bài toán phát hiện đoạn sao chép
• 3.3.1. Mô hình đề xuất pha đoạn và pha từ
• 3.3.2. Đánh giá thử nghiệm trên kho ngữ liệu PAN
• 3.4. Kết luận Chương 3
• 4. CHƯƠNG 4: ỨNG DỤNG CÁC KỸ THUẬT PHÁT HIỆN SAO CHÉP CHO VĂN BẢN TIẾNG VIỆT
• 4.1. Xây dựng kho ngữ liệu phát hiện đoạn sao chép tiếng Việt
• 4.2. Đề xuất giải pháp xây dựng kho ngữ liệu phát hiện đoạn sao chép văn bản tiếng Việt
• 4.3. Kết quả, đánh giá kho ngữ liệu
• 4.4. Trích rút từ khóa cho văn bản tiếng Việt
• 4.4.1. Trích rút từ khóa dựa trên độ đo TF-IDF cho văn bản dài tiếng Việt
• 4.4.2. Cải tiến kỹ thuật trích rút từ khóa dựa trên mô hình học sâu cho văn bản tiếng Việt
• 4.5. Ứng dụng kỹ thuật phát hiện đoạn sao chép cho văn bản tiếng Việt
• 4.5.1. Cải tiến mô hình chủ đề cho bài toán phát hiện đoạn sao chép văn bản tiếng Việt
• 4.5.2. Cải tiến kỹ thuật trích rút đặc trưng và mô hình LSTM xếp chồng cho bài toán phát hiện đoạn sao chép văn bản tiếng Việt
• 4.6. Kết luận Chương 4
• DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phát hiện đạo văn

Phát hiện đạo văn là một vấn đề cấp thiết trong bối cảnh gia tăng sử dụng tài liệu số và sự phát triển của công nghệ thông tin. Tình trạng đạo văn diễn ra phổ biến, không chỉ ở các nước phát triển mà còn ở Việt Nam. Theo khảo sát, tỷ lệ sinh viên thừa nhận đạo văn tại một số trường đại học ở Việt Nam có thể lên đến 70%. Điều này đặt ra yêu cầu cần thiết phải có các phương pháp phát hiện đạo văn hiệu quả. Việc phát hiện đạo văn không chỉ dừng lại ở việc xác định các đoạn văn bản giống nhau mà còn phải phân tích ngữ nghĩa để hiểu rõ hơn về cách thức sao chép. Các hệ thống phát hiện đạo văn hiện nay thường dựa vào các thuật toán phức tạp như LDA, mạng nơ ron hồi quy (RNN) và LSTM. Những phương pháp này giúp nâng cao độ chính xác trong việc phát hiện đạo văn, đặc biệt là trong văn bản tiếng Việt, nơi có nhiều đặc thù ngôn ngữ.

1.1 Khái niệm đạo văn

Đạo văn được định nghĩa là việc sao chép ý tưởng hoặc nội dung của người khác mà không ghi rõ nguồn gốc. Theo từ điển Merriam-Webster, đạo văn bao gồm việc sử dụng ý tưởng, kết quả mà không trích dẫn nguồn. Đạo văn có thể xuất hiện dưới dạng sao chép nguyên văn hoặc có sửa đổi. Tình trạng này đang ngày càng gia tăng trong các lĩnh vực như giáo dục và nghiên cứu khoa học, đòi hỏi các biện pháp phát hiện hiệu quả hơn để bảo vệ quyền sở hữu trí tuệ.

1.2 Các hình thức sao chép

Có nhiều hình thức sao chép khác nhau, bao gồm sao chép nguyên văn và sao chép có sửa đổi. Hình thức sao chép nguyên văn là việc sao chép chính xác nội dung mà không có bất kỳ thay đổi nào, trong khi sao chép có sửa đổi có thể bao gồm việc thay đổi một số từ ngữ nhưng vẫn giữ nguyên ý tưởng cơ bản. Các hình thức này cần được nhận diện và xử lý khác nhau trong các hệ thống phát hiện đạo văn. Việc hiểu rõ các hình thức sao chép này sẽ giúp cải thiện độ chính xác của các kỹ thuật phát hiện đạo văn.

II. Kỹ thuật phát hiện đạo văn

Kỹ thuật phát hiện đạo văn hiện nay chủ yếu dựa vào các mô hình học máy và thuật toán ngữ nghĩa. Những phương pháp này không chỉ giúp phát hiện các đoạn văn bản giống nhau mà còn phân tích ngữ nghĩa để hiểu rõ hơn về cách thức sao chép. Các thuật toán như LDA và RNN đã được áp dụng rộng rãi trong việc phát hiện đạo văn, với khả năng phân tích sâu hơn về cấu trúc ngữ nghĩa của văn bản. Việc ứng dụng các mô hình học sâu như LSTM trong phát hiện đạo văn giúp cải thiện độ chính xác và khả năng phát hiện các trường hợp sao chép phức tạp hơn. Các kỹ thuật này đã được thử nghiệm trên nhiều kho ngữ liệu khác nhau, cho thấy hiệu quả cao trong việc phát hiện đạo văn tiếng Việt.

2.1 Mô hình LDA trong phát hiện đạo văn

Mô hình LDA (Latent Dirichlet Allocation) là một trong những kỹ thuật phổ biến trong việc phát hiện đạo văn. Mô hình này giúp phân tích và nhận diện các chủ đề trong văn bản, từ đó xác định các đoạn văn bản có khả năng bị sao chép. LDA hoạt động dựa trên giả định rằng mỗi tài liệu có thể được mô tả bằng một tổ hợp của các chủ đề, và mỗi chủ đề lại được mô tả bằng một tổ hợp của các từ. Việc áp dụng LDA trong phát hiện đạo văn giúp cải thiện khả năng nhận diện các đoạn văn bản có nội dung tương đồng mà không bị ảnh hưởng bởi cách diễn đạt khác nhau.

2.2 Mô hình mạng nơ ron hồi quy RNN

Mạng nơ ron hồi quy (RNN) là một kỹ thuật học sâu được sử dụng rộng rãi trong việc phát hiện đạo văn. RNN có khả năng xử lý dữ liệu tuần tự, cho phép phân tích các mối quan hệ giữa các từ trong một đoạn văn bản. Điều này giúp mô hình hiểu rõ hơn về ngữ nghĩa và cấu trúc của văn bản, từ đó phát hiện các đoạn sao chép một cách chính xác hơn. Việc sử dụng RNN trong phát hiện đạo văn tiếng Việt đang trở thành một xu hướng mới, giúp nâng cao hiệu quả và tính chính xác của các hệ thống phát hiện đạo văn hiện tại.

III. Ứng dụng và thực tiễn

Việc nghiên cứu và phát triển các kỹ thuật phát hiện đạo văn không chỉ có ý nghĩa trong lĩnh vực học thuật mà còn có ứng dụng thực tiễn quan trọng. Các hệ thống phát hiện đạo văn có thể được áp dụng trong các cơ sở giáo dục, giúp nâng cao tính trung thực trong nghiên cứu và học tập. Điều này không chỉ bảo vệ quyền sở hữu trí tuệ mà còn tạo ra một môi trường học tập lành mạnh hơn. Các kết quả nghiên cứu từ luận án có thể được áp dụng để phát triển các phần mềm phát hiện đạo văn, hỗ trợ giảng viên và sinh viên trong việc kiểm tra tính chính xác của tài liệu. Hơn nữa, việc xây dựng kho ngữ liệu tiêu chuẩn cho văn bản tiếng Việt sẽ giúp cải thiện khả năng phát hiện đạo văn và nâng cao chất lượng nghiên cứu trong nước.

3.1 Tác động đến giáo dục

Việc ứng dụng các kỹ thuật phát hiện đạo văn trong giáo dục có thể tạo ra một môi trường học tập trung thực hơn. Các giảng viên có thể sử dụng các hệ thống phát hiện đạo văn để kiểm tra các bài luận của sinh viên, từ đó nâng cao ý thức về việc trích dẫn nguồn và bảo vệ quyền sở hữu trí tuệ. Điều này không chỉ giúp sinh viên hiểu rõ hơn về trách nhiệm của mình trong việc sử dụng tài liệu mà còn khuyến khích họ phát triển tư duy sáng tạo.

3.2 Phát triển phần mềm phát hiện đạo văn

Kết quả nghiên cứu trong luận án có thể được ứng dụng để phát triển các phần mềm phát hiện đạo văn, phục vụ cho các cơ sở giáo dục và nghiên cứu. Việc phát triển phần mềm này không chỉ giúp nâng cao hiệu quả trong việc phát hiện đạo văn mà còn cung cấp các công cụ hữu ích cho giảng viên và sinh viên. Các phần mềm này có thể được cải tiến và cập nhật thường xuyên để đáp ứng nhu cầu ngày càng cao trong việc kiểm tra tính chính xác của tài liệu.

Nội dung chính

Tổng quan luận án

Tình trạng sao chép và sử dụng lại thông tin không trích dẫn nguồn (đạo văn) trong bối cảnh bùng nổ dữ liệu số và Internet đang diễn ra phức tạp ở cả quy mô quốc tế và tại Việt Nam. Theo khảo sát từ trang thông tin về đạo văn, trong số 24.000 học sinh tại 70 trường trung học ở Mỹ có 58% thừa nhận từng đạo văn; khảo sát 82.000 sinh viên tại các trường đại học, cao đẳng Bắc Mỹ ghi nhận tỉ lệ 40%. Tại Việt Nam, khảo sát tại Trường Đại học Duy Tân cho thấy trên 70% sinh viên có hành vi đạo văn; phân tích 681 bài tiểu luận tại Trường Đại học Hoa Sen ghi nhận mức độ tương đồng trung bình 29%, và nếu chọn ngưỡng 20% thì có tới 73% bài luận vi phạm.

Khoảng trống nghiên cứu chính được xác định bao gồm:

1. Số lượng công bố về phát hiện đạo văn cho tiếng Việt còn rất hạn chế so với tiếng Anh (kết quả tra cứu trên Google Scholar ghi nhận 750.000 kết quả cho từ khóa "plagiarism" nhưng chỉ có 462 kết quả cho từ khóa "đạo văn").
2. Chưa có kho ngữ liệu chuẩn phục vụ huấn luyện và đánh giá khách quan các giải pháp phát hiện sao chép tiếng Việt; các nghiên cứu trong nước trước đó chủ yếu thử nghiệm trên tập dữ liệu tự xây dựng quy mô nhỏ.
3. Sự khác biệt về loại hình ngôn ngữ (tiếng Việt là ngôn ngữ đơn lập, có dấu thanh, nhập nhằng phân tách từ và gán nhãn từ loại) khiến các mô hình phát triển cho tiếng Anh không thể áp dụng trực tiếp.
4. Các hệ thống phần mềm thực tế chỉ đóng vai trò phát hiện mức độ trùng lặp/sao chép giữa các văn bản, việc kết luận có đạo văn hay không phụ thuộc quy định của từng cơ sở (ví dụ: Trường Đại học Hàng hải quy định ngưỡng trùng lặp không quá 30%, Học viện Ngân hàng theo Quyết định số 119/QĐ-HVNH quy định không quá 25%, Tạp chí IAES International Journal of Artificial Intelligence quy định 25%). Do đó, luận án sử dụng thuật ngữ khoa học là "sao chép" thay vì "đạo văn".

Mục tiêu nghiên cứu của luận án gồm hai nội dung:

1. Nghiên cứu, đề xuất một số kỹ thuật hỗ trợ phát hiện sao chép gồm trích rút từ khóa tìm tập tài liệu ứng cử, phát hiện đoạn sao chép giữa hai tài liệu và ứng dụng các kết quả nghiên cứu cho văn bản tiếng Việt.
2. Thử nghiệm và đánh giá các kỹ thuật đề xuất trên các kho ngữ liệu chuẩn tiếng Anh và tiếng Việt.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Văn bản tiếng Việt và tiếng Anh có cấu trúc (bài báo khoa học, đồ án tốt nghiệp) hoặc phi cấu trúc (bản tin).
• Phạm vi nghiên cứu: Tập trung vào bài toán phát hiện sao chép toàn cục (Global copy detection) trên các tệp văn bản đơn ngữ tiếng Việt và tiếng Anh sẵn có, với giả thiết đầu vào lý tưởng không lỗi.

Tổng quan tài liệu và vị trí của luận án

Các hình thức sao chép trong tài liệu học thuật được phân loại thành sao chép nguyên văn ("cắt - dán", sao chép gần đúng) và sao chép có sửa đổi (thao tác từ vựng, diễn giải, tóm tắt, dịch tự động và sao chép ý tưởng). Các tiếp cận phát hiện sao chép được chia thành phát hiện sao chép cục bộ (dựa trên phân tích sự bất thường văn phong của Meyer và cộng sự) và phát hiện sao chép toàn cục (so sánh văn bản nghi ngờ với tập tài liệu nguồn của Stein và cộng sự). Luận án kế thừa mô hình 3 bước của Stein gồm: (1) Tìm tập tài liệu ứng cử $D_x$ từ tập $D$ thông qua trích rút từ khóa; (2) Phân tích chi tiết đo độ tương đồng xác định các đoạn tương đồng giữa $d_q$ và $d_x$; (3) Hậu xử lý trộn đoạn để xuất ra các cặp đoạn sao chép $(s_q, s_x)$.

Về bài toán trích rút từ khóa:

• Hướng tiếp cận thống kê: Elizalde và cộng sự kết hợp n-gram, TF-IDF và từ loại; HaCohen-Kerner và cộng sự trích rút từ khóa từ tiêu đề và tóm tắt dựa trên tần suất và vị trí câu; Kim và cộng sự dùng TF-IDF kết hợp 1-gram, 2-gram, 3-gram; Rafiei và cộng sự xác định từ khóa cấp đoạn; Campos và cộng sự phát triển thuật toán YAKE! dựa trên 5 đặc trưng thống kê mức từ.
• Hướng tiếp cận đồ thị: Thuật toán KeyGraph của Ohsawa và cộng sự; TextRank của Mihalcea và Tarau; Key2Vec của Mahata và cộng sự; RaKUn của Skrlj và cộng sự.
• Hướng tiếp cận học máy có giám sát và không giám sát: Turney đề xuất thuật toán GenEx dùng cây quyết định C4.5; Witten và cộng sự phát triển KEA dùng Naïve Bayes dựa trên TF-IDF và vị trí xuất hiện đầu tiên; Medelyan và Witten cải tiến thành KEA++ bổ sung thông tin ngữ nghĩa từ đồng nghĩa.
• Hướng tiếp cận học sâu: Meng và cộng sự đề xuất CopyRNN; Yuan và cộng sự đề xuất CatSeqD dựa trên mô hình One2Seq; Zhang và cộng sự phát triển tc-LSTM tích hợp self-attention; Tang và cộng sự dùng BERT kết hợp attention.

Về bài toán phát hiện đoạn sao chép:

• Dựa trên phân tích từ và không gian vector: So khớp chuỗi bằng cây hậu tố và mô hình không gian vector (VSM) tính khoảng cách Cosin ở mức từ, câu, n-gram.
• Dựa trên ngữ nghĩa: Mohammad sử dụng mạng từ đồng nghĩa/trái nghĩa; Paul và Jamal, Osman và cộng sự sử dụng Gán nhãn vai trò ngữ nghĩa (Semantic Role Labeling - SRL); Ceska, AlSallal và cộng sự ứng dụng phân tích ngữ nghĩa tiềm ẩn (LSA); Ferreira và cộng sự kết hợp đặc trưng từ vựng, cú pháp, ngữ nghĩa với các thuật toán SVM, C4.5, Naïve Bayes.
• Dựa trên thông tin trích dẫn: Nagoudi và cộng sự, Gipp Bela và Beel Jöran đề xuất thuật toán phân tích trật tự trích dẫn (Citation Order Analysis - COA).
• Dựa trên học máy và học sâu: Sanchez-Perez và cộng sự (quán quân PAN 2014) dùng TF-IDF và thuật toán mở rộng đoạn; Palkovskii và cộng sự kết hợp n-gram, thực thể tên và phân cụm; Glinos và cộng sự dùng gióng hàng và phân cụm đa cấp độ; Sanchez-Vega và cộng sự dùng máy Turing kết hợp Naïve Bayes; Cherroun và cộng sự phân lớp hai pha mức câu và mức từ; Altheneyan và cộng sự phát triển PlagLinSVM và PlagRbfSVM; Suleiman và cộng sự, Gharavi và cộng sự dùng Word2Vec; Vrbanec và cộng sự dùng Doc2Vec; Sanborn và cộng sự dùng GloVe; Conneau và cộng sự đề xuất InferSent; Reimers và Gurevych phát triển Sentence-BERT; Lyu và cộng sự dùng mạng nơ-ron đồ thị (GNN).

Về nghiên cứu và phần mềm trong nước:

• Nghiên cứu của Nguyễn Lương Hiền và Nguyễn Thị Oanh phát hiện sao chép từng phần dựa trên SCAM và PPCHECKER trên tập bài tập môn Xử lý ảnh.
• Phần mềm của Học viện An ninh Nhân dân (triển khai từ 1/2016) so khớp n-gram từ với cơ sở dữ liệu 2.500 tên đề tài và 900 toàn văn.
• Trần Cao Đệ và cộng sự xây dựng hệ thống phát hiện sao chép tại Đại học Cần Thơ trên 3.000 tài liệu dựa trên thuật toán của Kasprzak và khung xử lý song song JPPF.
• Hệ thống doIT của Trường Đại học Công nghệ kiểm tra trùng lặp mức câu trên 2 triệu trang web và 20.000 tài liệu khoa học.
• Lưu Minh Tuấn và cộng sự nghiên cứu CNN, học tăng cường và BERT cho tóm tắt văn bản; Nguyễn Quốc Việt và cộng sự dùng LSTM cho văn bản dài tiếng Việt.

Khoảng trống luận án giải quyết: Xây dựng giải pháp trích rút từ khóa kết hợp bộ đặc trưng với học sâu; phát triển mô hình phát hiện đoạn sao chép kết hợp mô hình chủ đề, luật kết hợp và mạng nơ-ron hồi quy chuỗi dài (LSTM xếp chồng); đồng thời xây dựng ngữ liệu chuẩn và giải pháp thích ứng cho tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và các mô hình nền tảng

1. Đặc điểm ngôn ngữ tiếng Việt và công cụ tiền xử lý: Tiếng Việt là ngôn ngữ đơn lập, không biến hình, ranh giới từ không trùng với khoảng trắng. Luận án sử dụng công cụ vnTokenizer của Lê Hồng Phương và cộng sự (độ chính xác 95,56%, cao hơn JVnSegmenter 94,23% và có thư viện API thuận tiện) để tách từ; áp dụng hệ thống nhãn từ loại gồm danh từ (N, Np), động từ (V), tính từ (A), giới từ (E), trạng từ (R), đại từ (P), liên từ (C), v.v.

2. Mô hình phân phối Dirichlet ẩn (Latent Dirichlet Allocation - LDA): Theo Blei và cộng sự, LDA là mô hình sinh xác suất ba cấp. Tài liệu $d$ được biểu diễn qua phân phối xác suất chủ đề $\theta \sim \text{Dirichlet}(\alpha)$; mỗi chủ đề $z \sim \text{Multinomial}(\theta)$ tương ứng phân phối từ $\phi \sim \text{Dirichlet}(\beta)$; từ $w$ được sinh từ phân phối $\text{Multinomial}(\phi_z)$.

3. Luật kết hợp và thuật toán Apriori: Đề xuất bởi Agrawal và cộng sự (1994) trên cơ sở dữ liệu giao dịch $T = {t_1, t_2, \dots, t_n}$. Luật $X \to Y$ được đánh giá qua:

   • Độ hỗ trợ (Support): $$\text{support}(X \to Y) = P(X \cup Y) = \frac{n(X \cup Y)}{N}$$
   • Độ tin cậy (Confidence): $$\text{confidence}(X \to Y) = P(Y|X) = \frac{n(X \cup Y)}{n(X)}$$ Thuật toán Apriori lặp qua các bước sinh tập ứng viên $C_k$ từ tập phổ biến $L_{k-1}$, tỉa nhánh và lọc theo ngưỡng $\text{min_sup}$ để thu được các tập mục phổ biến thỏa mãn.

4. Mạng nơ-ron hồi quy (RNN) và Mạng bộ nhớ dài - ngắn (LSTM): Mạng RNN truyền thống tính trạng thái ẩn $s_t = f(U x_t + W s_{t-1})$ và đầu ra $o_t = \text{softmax}(V s_t)$, gặp hạn chế triệt tiêu đạo hàm (Vanishing Gradient) hoặc bùng nổ đạo hàm (Exploding Gradient) khi huấn luyện bằng BPTT trên chuỗi dài. Mô hình LSTM của Hochreiter và Schmidhuber giải quyết vấn đề phụ thuộc xa qua trạng thái tế bào $s_t$ và 3 cổng:

   • Cổng quên (Forget gate): $$f_t = \sigma(W_{f,x} x_t + W_{f,h} h_{t-1} + b_f)$$
   • Cổng vào (Input gate) và giá trị ứng cử $\tilde{s}t$: $$i_t = \sigma(W{i,x} x_t + W_{i,h} h_{t-1} + b_i)$$ $$\tilde{s}t = \tanh(W{\tilde{s},x} x_t + W_{\tilde{s},h} h_{t-1} + b_{\tilde{s}})$$
   • Cập nhật trạng thái tế bào: $$s_t = f_t \circ s_{t-1} + i_t \circ \tilde{s}_t$$
   • Cổng ra (Output gate) và đầu ra tế bào $h_t$: $$o_t = \sigma(W_{o,x} x_t + W_{o,h} h_{t-1} + b_o)$$ $$h_t = o_t \circ \tanh(s_t)$$

5. Mô hình LSTM xếp chồng (Stacked LSTM): Cấu trúc gồm nhiều lớp LSTM xếp chồng lên nhau (lớp trước cung cấp chuỗi đầu ra làm đầu vào cho lớp kế tiếp) kết hợp lớp Dropout nhằm chống hiện tượng quá khớp (overfitting).

Phương pháp nghiên cứu và độ đo thực nghiệm

Luận án kết hợp nghiên cứu lý thuyết (mô hình hóa toán học các bài toán thành phần) và nghiên cứu thực nghiệm (thu thập dữ liệu, cài đặt thuật toán, so sánh đối chuẩn).

Hệ thống độ đo đánh giá:

• Đánh giá trích rút từ khóa: Gọi $S$ là tập từ khóa dự đoán, $D$ là tập từ khóa thực tế: $$\text{Precision} = \frac{|S \cap D|}{|S|}, \quad \text{Recall} = \frac{|S \cap D|}{|D|}, \quad \text{F-score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$
• Đánh giá phát hiện đoạn sao chép (chuẩn cuộc thi PAN): Với $S$ là tập trường hợp sao chép thực tế $s = \langle s_{plg}, d_{plg}, s_{scr}, d_{scr} \rangle$ và $R$ là tập trường hợp do hệ thống phát hiện $r$:
  • Độ chính xác: $\text{prec}(S, R) = \frac{1}{|R|} \sum_{r \in R} \frac{|\bigcup_{s \in S} (s \cap r)|}{|r|}$
  • Độ phủ: $\text{rec}(S, R) = \frac{1}{|S|} \sum_{s \in S} \frac{|\bigcup_{r \in R} (s \cap r)|}{|s|}$
  • Độ đo chi tiết đoạn (Granularity): $\text{gran}(S, R) = \frac{1}{|S_R|} \sum_{s \in S_R} |R_s|$ (với $S_R \subseteq S$ là các đoạn thực tế được phát hiện, $R_s \subseteq R$ là các đoạn phát hiện tương ứng với $s$).
  • Độ đo tổng thể hệ thống (Plagdet): Kết hợp F-measure và Granularity: $$\text{Plagdet} = \frac{F_{\beta}}{\log_2(1 + \text{gran}(S, R))}$$

Dữ liệu nghiên cứu

Loại bài toán	Bộ ngữ liệu	Ngôn ngữ	Số lượng văn bản / Đặc điểm
Trích rút từ khóa	110-PT-BN-KP	Bồ Đào Nha	110 tin tức (2.610 từ/bài)
Trích rút từ khóa	500N-KPCrowd-v1	Tiếng Anh	500 tin tức (48,92 gold keys/bài)
Trích rút từ khóa	Inspec	Tiếng Anh	2.230 tóm tắt bài báo (128,2 từ/bài)
Trích rút từ khóa	Krapivin2009	Tiếng Anh	2.040,74 từ/bài
Trích rút từ khóa	Nguyen2007	Tiếng Anh	209 bài báo (2.201,09 từ/bài)
Trích rút từ khóa	PubMed	Tiếng Anh	500 bài báo (7.992,78 từ/bài)
Trích rút từ khóa	Schutz2008	Tiếng Anh	1.901,31 từ/bài
Trích rút từ khóa	SemEval2010	Tiếng Anh	243 bài báo (4.332,34 từ/bài)
Trích rút từ khóa	SemEval2017	Tiếng Anh	493 đoạn văn bản (178,22 từ/đoạn)
Trích rút từ khóa	WikiNews	Tiếng Anh	100 tin tức (293,52 từ/bài)
Trích rút từ khóa	Cacic, Citeulike180, Fao780, Kdd, Wicc, WWW	Đa ngữ	Bài báo khoa học các quy mô
Phát hiện sao chép	PAN 2013	Tiếng Anh	Huấn luyện: 3.230 nguồn, 1.827 nghi ngờ; Kiểm tra: 3.169 nguồn, 1.826 nghi ngờ
Phát hiện sao chép	PAN 2014	Tiếng Anh	3.385 tệp nguồn, 498 tệp nghi ngờ
Phát hiện sao chép	Cheema, Alvi	Tiếng Anh	Cheema: 248 cặp bài luận; Alvi: 70 nguồn, 90 nghi ngờ
Phát hiện sao chép	Ngữ liệu tiếng Việt	Tiếng Việt	Do tác giả tự xây dựng từ bài báo khoa học và ĐATN

Các tập con thuộc ngữ liệu PAN gồm 4 dạng biến đổi: None Obfuscation (sao chép nguyên văn), Random Obfuscation (chèn, xóa, tráo trật tự từ), Translation Obfuscation (dịch vòng qua ngôn ngữ khác rồi dịch lại tiếng Anh), và Summary Obfuscation (tóm tắt nội dung).

Nội dung chính theo từng chương

CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN SAO CHÉP

Chương 1 hệ thống hóa cơ sở lý luận về bài toán phát hiện sao chép. Định nghĩa sao chép/đạo văn được đối chiếu từ từ điển Merriam-Webster và các ấn phẩm quốc tế, chia thành hai nhóm lớn: sao chép nguyên văn và sao chép có sửa đổi (thao tác từ vựng, diễn giải, tóm tắt, dịch thuật, sao chép ý tưởng ngữ nghĩa/ngữ cảnh/thành phần quan trọng).

Chương phân tích chi tiết các kỹ thuật nền tảng:

• Lý thuyết xử lý tiếng Việt: Phân tích các khó khăn do bản chất ngôn ngữ đơn lập, hiện tượng đa nghĩa, nhập nhằng tách từ (ví dụ phân tích câu "Ông già đi nhanh quá"), nhập nhằng nhãn từ loại (ví dụ câu "Con ngựa đá con ngựa đá"), và sự đa dạng trong quy tắc bỏ dấu thanh. Đánh giá và lựa chọn vnTokenizer làm công cụ chuẩn hóa từ vựng.
• Cơ sở toán học của thuật toán LDA, thuật toán Apriori khai phá tập phổ biến.
• Cấu trúc mạng nơ-ron hồi quy RNN, hiện tượng suy giảm/bùng nổ gradient trong thuật toán BPTT, kiến trúc các cổng của mạng LSTM và mô hình LSTM xếp chồng (Stacked LSTM) kết hợp Dropout.
• Tổng quan các hướng tiếp cận trong nước và quốc tế đối với hai bài toán thành phần: Trích rút từ khóa tìm tài liệu ứng cử và phát hiện đoạn sao chép giữa hai tài liệu.
• Phân tích chi tiết các bộ ngữ liệu chuẩn quốc tế (20 kho ngữ liệu trích rút từ khóa, các kho PAN 2013, PAN 2014, Cheema, Alvi) và các hệ thống độ đo chuẩn (Precision, Recall, F-score, Granularity, Plagdet).

CHƯƠNG 2: TRÍCH RÚT TỪ KHÓA DỰA TRÊN MÔ HÌNH HỌC SÂU

Nội dung chương tập trung giải quyết bài toán tìm tập tài liệu ứng cử thông qua bài toán trích rút từ khóa cho văn bản tiếng Anh:

• Phát biểu bài toán trích rút từ khóa tự động và mô hình toán học trích xuất đại diện văn bản.
• Đề xuất giải pháp trích rút từ khóa kết hợp kỹ thuật trích rút đặc trưng mức từ với mô hình mạng nơ-ron truyền thẳng (Feed-forward Neural Network - FFNN).
• Xây dựng bộ 9 đặc trưng mức từ làm vector đầu vào cho mô hình mạng FFNN (tích hợp các thông tin về tần suất từ, trọng số TF-IDF, vị trí xuất hiện của từ trong câu và đoạn, đặc trưng viết hoa, ngữ cảnh và nhãn từ loại).
• Thiết lập quy trình huấn luyện và tối ưu mô hình FFNN (sử dụng thuật toán tối ưu ADAM, theo dõi lược đồ quan hệ giữa độ chính xác, độ mất mát và số lần lặp).
• Thử nghiệm trên 20 kho ngữ liệu chuẩn quốc tế (Inspec, SemEval, PubMed, Krapivin, WikiNews, v.v.), đánh giá theo độ đo F-score khi trích rút top 10 từ khóa và so sánh đối chuẩn với các mô hình CopyRNN, CatSeqD và thuật toán YAKE!.

CHƯƠNG 3: PHÁT HIỆN ĐOẠN SAO CHÉP GIỮA HAI TÀI LIỆU DỰA TRÊN CÁC MÔ HÌNH HỌC MÁY

Chương 3 trình bày hai mô hình phát hiện đoạn văn bản sao chép giữa cặp tài liệu $(d_q, d_x)$ trên ngữ liệu quốc tế PAN:

1. Đề xuất 1 - Mô hình dựa trên mô hình chủ đề:
   • Sử dụng thuật toán LDA để trích xuất phân phối chủ đề tiềm ẩn của các đoạn văn bản.
   • Kết hợp thuật toán Apriori để tìm kiếm các tập mục từ khóa/chủ đề phổ biến xuất hiện đồng thời trong cả hai văn bản vượt qua ngưỡng hỗ trợ tối thiểu $\text{min_sup}$.
   • Áp dụng kỹ thuật mở rộng đoạn (heuristic expansion) để kết nối các đoạn tương đồng thành phần thành đoạn sao chép hoàn chỉnh.
2. Đề xuất 2 - Mô hình hai pha dựa trên trích rút đặc trưng và mạng LSTM xếp chồng:
   • Pha đoạn (mức đoạn): Trích xuất vector đặc trưng đoạn văn bản, sử dụng mô hình LSTM xếp chồng nhiều lớp để sàng lọc các cặp đoạn ứng viên có xác suất tương đồng cao.
   • Pha từ (mức từ): Phân tích chi tiết ranh giới các từ trong cặp đoạn nghi ngờ nhằm xác định chính xác vị trí bắt đầu và kết thúc của đoạn sao chép, xử lý các trường hợp đoạn kết quả nằm ngoài, nằm trong hoặc giao cắt một phần với đoạn sao chép thực tế.

• Đánh giá thử nghiệm trên các tập dữ liệu PAN 2013 và PAN 2014 ở cả 4 kịch bản biến đổi nội dung (None, Random, Translation, Summary Obfuscation), so sánh trực tiếp với kết quả đã công bố của Sanchez-Perez.

CHƯƠNG 4: ỨNG DỤNG CÁC KỸ THUẬT PHÁT HIỆN SAO CHÉP CHO VĂN BẢN TIẾNG VIỆT

Chương 4 thực hiện thích ứng và phát triển các kỹ thuật đã nghiên cứu cho dữ liệu tiếng Việt, bao gồm 02 đề xuất mới và 03 cải tiến:

1. Hai đề xuất mới:
   • Xây dựng kho ngữ liệu chuẩn phục vụ bài toán phát hiện đoạn sao chép tiếng Việt: Thu thập các bài báo khoa học và đồ án tốt nghiệp (ĐATN), mô phỏng các hình thức sao chép nguyên văn, thay thế từ đồng nghĩa và dịch tự động.
   • Đề xuất phương pháp trích rút từ khóa dựa trên độ đo TF-IDF cải tiến thích ứng cho văn bản dài tiếng Việt.
2. Ba nội dung cải tiến:
   • Cải tiến kỹ thuật trích rút từ khóa dựa trên mô hình học sâu cho tiếng Việt (kết hợp công cụ vnTokenizer và bộ đặc trưng thích ứng ngữ pháp tiếng Việt).
   • Cải tiến mô hình chủ đề LDA kết hợp Apriori cho bài toán phát hiện đoạn sao chép tiếng Việt.
   • Cải tiến kỹ thuật trích rút đặc trưng và mô hình LSTM xếp chồng hai pha cho văn bản tiếng Việt.

• Thử nghiệm trên kho ngữ liệu ĐATN và bài báo tiếng Việt tự xây dựng, so sánh hiệu năng với thuật toán YAKE! và phương pháp của Sanchez-Perez.

Kết quả và những đóng góp mới

Các đóng góp mới về mặt lý luận và khoa học:

• Nghiên cứu một cách hệ thống bài toán phát hiện sao chép toàn cục, đề xuất mô hình tích hợp giải quyết hoàn chỉnh hai bài toán thành phần: trích rút từ khóa tìm tài liệu ứng cử và phát hiện đoạn sao chép chi tiết giữa hai tài liệu.
• Đề xuất bộ 9 đặc trưng mức từ kết hợp mạng nơ-ron truyền thẳng FFNN cho bài toán trích rút từ khóa, đạt kết quả khả quan trên 20 kho ngữ liệu thử nghiệm.
• Đề xuất mô hình phát hiện đoạn sao chép kết hợp mô hình phân tích chủ đề LDA, thuật toán khai phá tập phổ biến Apriori và kỹ thuật mở rộng đoạn.
• Đề xuất kiến trúc hai pha (pha đoạn và pha từ) sử dụng mô hình học sâu LSTM xếp chồng kết hợp kỹ thuật trích rút đặc trưng, nâng cao độ chính xác trong việc định vị ranh giới đoạn sao chép.

Các đóng góp về mặt thực tiễn:

• Xây dựng kho ngữ liệu thử nghiệm chuẩn cho bài toán phát hiện đoạn sao chép tiếng Việt dựa trên các dạng biến đổi văn bản (sao chép nguyên văn, thay thế từ đồng nghĩa, dịch tự động), tạo cơ sở dữ liệu đối chuẩn khách quan cho các nghiên cứu tiếp theo.
• Cải tiến và cài đặt thành công các kỹ thuật trích rút từ khóa cho văn bản dài và phát hiện đoạn sao chép ứng dụng trên văn bản tiếng Việt (đồ án tốt nghiệp, bài báo khoa học).
• Cung cấp các mô hình giải thuật và chương trình cài đặt hoàn chỉnh, có khả năng kế thừa trực tiếp để phát triển các hệ thống phần mềm phát hiện sao chép chuyên dụng tại các cơ sở đào tạo và viện nghiên cứu.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án:

• Nghiên cứu tiến hành với giả thiết dữ liệu đầu vào là văn bản lý tưởng, không chứa lỗi chính tả hoặc lỗi định dạng quét quang học (OCR).
• Phương pháp phát hiện sao chép dựa trên thông tin ngữ nghĩa và học sâu đòi hỏi chi phí tính toán và thời gian xử lý lớn hơn so với các phương pháp so khớp chuỗi truyền thống.
• Ngữ liệu tiếng Việt tự xây dựng dù đã bao hàm các kịch bản sao chép chính nhưng phạm vi dữ liệu thử nghiệm vẫn tập trung chủ yếu vào các bài báo khoa học và đồ án tốt nghiệp thuộc một số chuyên ngành kỹ thuật.

Hướng nghiên cứu tiếp:

• Mở rộng kỹ thuật phát hiện sao chép cho các dạng văn bản có lỗi chính tả, văn bản quét từ ảnh hoặc văn bản phi cấu trúc phức tạp.
• Nghiên cứu tối ưu hóa hiệu năng tính toán của mô hình LSTM xếp chồng và LDA để áp dụng cho các hệ thống có quy mô cơ sở dữ liệu hàng triệu văn bản với khả năng phản hồi thời gian thực.
• Phát triển các mô hình phát hiện sao chép xuyên ngôn ngữ (Cross-lingual plagiarism detection) chuyên sâu cho cặp ngôn ngữ Anh - Việt.

Giá trị tham khảo

Luận án là tài liệu tham khảo hữu ích cho các đối tượng:

• Nghiên cứu sinh, học viên cao học và giảng viên chuyên ngành Cơ sở toán học cho tin học, Khoa học máy tính và Xử lý ngôn ngữ tự nhiên: Tham khảo phương pháp biểu diễn toán học cho bài toán ngôn ngữ, cơ chế hoạt động của thuật toán LDA, thuật toán Apriori, mạng LSTM xếp chồng và phương pháp trích rút đặc trưng văn bản.
• Kỹ sư phát triển phần mềm và các đơn vị công nghệ: Kế thừa quy trình xử lý hai pha (mức đoạn và mức từ), thuật toán trích rút từ khóa TF-IDF cải tiến cho văn bản dài và phương pháp xây dựng bộ ngữ liệu tiếng Việt phục vụ xây dựng sản phẩm kiểm tra trùng lặp nội dung.
• Các nhà quản lý giáo dục và biên tập viên tạp chí khoa học: Tham khảo bức tranh tổng quan về các hình thức sao chép, ngưỡng kiểm soát trùng lặp văn bản và các tiêu chí kỹ thuật phân biệt giữa sao chép cơ học và trích dẫn hợp lệ.

Câu hỏi thường gặp

1. Tại sao luận án sử dụng thuật ngữ "sao chép" thay vì "đạo văn"? Khảo sát các hệ thống phần mềm thực tế (như Turnitin, Coopy, doIT) cho thấy hệ thống chỉ có thể tính toán tỷ lệ tương đồng và trích xuất các đoạn văn bản giống nhau giữa tài liệu đầu vào và cơ sở dữ liệu tham chiếu. Việc xác định tài liệu có "đạo văn" hay không mang tính pháp lý/quy chế, phụ thuộc vào quy định ngưỡng của từng cơ sở đào tạo (ví dụ: Trường Đại học Hàng hải cho phép $\le 30%$, Học viện Ngân hàng $\le 25%$, Tạp chí IJ-AI $\le 25%$) và quyết định cuối cùng của hội đồng chuyên môn sau khi xem xét ngữ cảnh trích dẫn. Do đó, về mặt kỹ thuật thuật toán, luận án sử dụng thuật ngữ "sao chép".

2. Luận án lựa chọn công cụ nào để tách từ tiếng Việt và dựa trên căn cứ gì? Luận án lựa chọn công cụ vnTokenizer của Lê Hồng Phương và cộng sự. Căn cứ lựa chọn dựa trên các công bố so sánh độc lập cho thấy vnTokenizer đạt độ chính xác 95,56% (cao hơn JVnSegmenter với 94,23%), đồng thời cung cấp thư viện API thuận tiện cho việc tích hợp vào môi trường thử nghiệm thuật toán.

3. Hai bài toán thành phần cấu thành mô hình phát hiện sao chép toàn cục là gì? Mô hình phát hiện sao chép toàn cục gồm hai bài toán thành phần: (1) Bài toán tìm tập tài liệu ứng cử (Candidate retrieval) thông qua kỹ thuật trích rút từ khóa để truy vấn các tài liệu liên quan từ cơ sở dữ liệu lớn; (2) Bài toán phát hiện đoạn sao chép chi tiết (Detailed text alignment) giữa tài liệu nghi ngờ và từng tài liệu ứng cử.

4. Quy trình phát hiện đoạn sao chép hai pha trong Chương 3 hoạt động như thế nào? Quy trình gồm: Pha đoạn (mức đoạn) sử dụng mô hình học sâu LSTM xếp chồng kết hợp kỹ thuật trích rút đặc trưng để xác định các cặp đoạn văn bản có khả năng tương đồng cao; tiếp theo, Pha từ (mức từ) thực hiện phân tích chi tiết ở cấp độ từ để tinh chỉnh chính xác ranh giới bắt đầu và kết thúc của đoạn sao chép, giải quyết các trường hợp đoạn kết quả nằm trong, nằm ngoài hoặc giao một phần với đoạn gốc.

5. Các kịch bản sao chép nào được đưa vào bộ ngữ liệu tiếng Việt do tác giả xây dựng? Bộ ngữ liệu tiếng Việt tự xây dựng mô phỏng 3 kịch bản sao chép chính tương thích với chuẩn PAN quốc tế: Sao chép nguyên văn (giữ nguyên từng từ), sao chép thay thế từ đồng nghĩa (thay thế một số từ bằng từ đồng nghĩa nhưng giữ nguyên nghĩa câu), và sao chép dịch tự động (dịch chuyển tiếp qua ngôn ngữ khác rồi dịch ngược lại tiếng Việt).

Kết luận

Luận án đã giải quyết bài toán phát hiện sao chép toàn cục thông qua việc nghiên cứu, đề xuất và cải tiến các kỹ thuật trích rút từ khóa và phát hiện đoạn sao chép văn bản. Các mô hình kết hợp học sâu (FFNN, LSTM xếp chồng), mô hình chủ đề (LDA) và khai phá luật kết hợp (Apriori) đã được mô hình hóa toán học và đánh giá thực nghiệm trên 20 kho ngữ liệu trích rút từ khóa quốc tế cùng các bộ ngữ liệu PAN 2013, PAN 2014. Luận án đã đóng góp bộ ngữ liệu chuẩn tiếng Việt và hoàn thiện các thuật toán thích ứng với đặc thù ngôn ngữ đơn lập, cung cấp cơ sở lý thuyết và giải pháp thực tiễn cho việc phát triển các hệ thống kiểm soát sao chép văn bản tiếng Việt.