Phương Pháp Xác Định Độ Tương Tự Giữa Hai Văn Bản

Xác định độ tương tự giữa hai văn bản là một nhiệm vụ cốt lõi trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP). 85 trang.

• Đề tài: Phương Pháp Xác Định Độ Tương Tự Giữa Hai Văn Bản

Mục lục chi tiết

• LỜI CẢM ƠN
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC HÌNH ẢNH
• 1. CHƯƠNG 1: TỔNG QUAN VỀ ĐỘ TƯƠNG TỰ GIỮA HAI VĂN BẢN
• 1.1. Giới thiệu về ngôn ngữ tự nhiên
• 1.1.1. Ngôn ngữ tự nhiên (NLP)
• 1.1.2. Tầm quan trọng và một số ứng dụng của xử lý ngôn ngữ tự nhiên
• 1.1.3. Một số thuật ngữ phổ biến trong NLP
• 1.1.4. Vấn đề về độ tương tự trong văn bản
• 1.2. Các bài toán xử lý học lý trong tiếng Việt
• 2. CHƯƠNG 2: CÁC PHƯƠNG PHÁP XÁC ĐỊNH MỨC ĐỘ TƯƠNG TỰ GIỮA HAI VĂN BẢN
• 2.1. Bài toán so sánh văn bản học tiếng Việt
• 2.2. Phát biểu về bài toán học
• 2.3. Đặc điểm của ngôn ngữ tiếng Việt
• 2.3.1. Cấu tạo từ tiếng Việt
• 2.3.2. Từ đồng nghĩa
• 2.3.3. Từ đồng âm khác nghĩa
• 2.3.4. Đặc điểm chính tả
• 2.4. Tiền xử lý văn bản
• 2.5. Biểu diễn văn bản
• 2.5.1. Độ tương đồng văn bản về mặt từ ngữ (Text Similarity)
• 2.5.2. Các thuật toán và chuyển đổi văn bản sang Embedding
• 2.5.2.1. Bag of Words (BoW)
• 2.5.2.2. Word2vec
• 2.5.2.3. Doc2Vec
• 2.5.3. Các thước đo khoảng cách, độ tương tự trong Machine Learning
• 2.5.3.1. Độ tương đồng văn bản dựa trên tập từ chung. Contrast model
• 2.5.3.2. Độ tương đồng văn bản dựa trên vector biểu diễn
• 2.5.3.2.1. Cosine Similarity
• 2.5.3.2.2. Euclidean distance
• 2.5.3.2.3. Manhattan distance
• 3. CHƯƠNG 3: ĐỘ TƯƠNG ĐỒNG VĂN BẢN VỀ MẶT NGỮ NGHĨA VÀ ỨNG DỤNG
• 3.1. Độ tương đồng văn bản về ngữ nghĩa (Semantic Similarity Methodologies)
• 3.1.1. Topological/Knowledge-based Methods
• 3.1.2. Statistical-Based Similarity
• 3.1.3. Language Model-Based Similarity: BERT Model
• 3.1.4. Ứng dụng của BERT vào độ tương tự giữa hai văn bản
• 3.2. Quá trình xây dựng hệ thống
• 3.2.1. Thiết lập hệ thống

Tóm tắt

I. Khám Phá Các Phương Pháp Xác Định Độ Tương Tự Văn Bản

Xác định độ tương tự giữa hai văn bản là một nhiệm vụ cốt lõi trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP). Đây là quá trình sử dụng các thuật toán để đo lường độ tương tự văn bản dựa trên khía cạnh từ vựng hoặc ngữ nghĩa. Mục tiêu chính là định lượng mức độ giống nhau về nội dung, chủ đề hoặc ý nghĩa giữa hai đoạn văn bản, từ đó đưa ra một điểm số hoặc một phép đo cụ thể. Một phương pháp xác định độ tương tự giữa hai văn bản hiệu quả phải vượt qua được sự khác biệt về cách dùng từ để nắm bắt được ý nghĩa sâu xa. Tầm quan trọng của kỹ thuật này ngày càng tăng trong bối cảnh dữ liệu văn bản bùng nổ. Nó là nền tảng cho nhiều ứng dụng thực tiễn, từ việc cải thiện kết quả của các công cụ tìm kiếm, xây dựng hệ thống gợi ý nội dung, đến việc phân cụm tài liệu tự động và đặc biệt là trong các hệ thống phát hiện đạo văn. Việc so sánh văn bản không chỉ dừng lại ở việc đếm từ chung. Các phương pháp hiện đại phải có khả năng hiểu được ngữ cảnh, từ đồng nghĩa và các mối quan hệ ngữ nghĩa phức tạp. Nghiên cứu của Nguyễn Thị Hồng (2021) tại Học viện Công nghệ Bưu chính Viễn thông đã chỉ ra rằng: “Nghiên cứu các phương pháp xác định độ tương đồng văn bản không những về mặt từ ngữ mà còn cả về mặt ngữ nghĩa, từ đó làm tiền đề để xây dựng mô hình hệ thống đánh giá sự tương đồng văn bản.” Điều này khẳng định xu hướng dịch chuyển từ so sánh bề mặt sang phân tích ngữ nghĩa sâu hơn.

1.1. Định nghĩa độ tương tự văn bản text similarity là gì

Text similarity hay độ tương tự văn bản là một phép đo định lượng sự liên quan giữa hai mẩu văn bản. Phép đo này có thể dựa trên nhiều tiêu chí khác nhau. Ở cấp độ cơ bản nhất, đó là sự tương đồng về từ vựng (lexical similarity), tức là mức độ trùng lặp của các từ. Ở cấp độ cao hơn, đó là sự tương đồng về ngữ nghĩa (semantic similarity), tức là mức độ giống nhau về ý nghĩa, ngay cả khi chúng sử dụng các bộ từ vựng hoàn toàn khác nhau. Ví dụ, hai câu "Thời tiết hôm nay đẹp quá" và "Trời hôm nay thật tuyệt vời" có độ tương đồng từ vựng thấp nhưng độ tương đồng ngữ nghĩa rất cao.

1.2. Tầm quan trọng của việc so sánh văn bản trong NLP

Việc so sánh văn bản là nền tảng cho hàng loạt ứng dụng quan trọng. Trong các công cụ tìm kiếm, nó giúp xếp hạng các trang web liên quan nhất đến truy vấn của người dùng. Trong các hệ thống hỏi đáp (Q&A), nó giúp tìm ra câu trả lời phù hợp nhất trong cơ sở kiến thức. Đối với các trang thương mại điện tử, kỹ thuật này được dùng để xây dựng hệ thống gợi ý sản phẩm dựa trên mô tả hoặc đánh giá. Trong lĩnh vực học thuật và xuất bản, nó là công cụ không thể thiếu để phát hiện đạo văn. Tóm lại, khả năng đo lường độ tương tự văn bản một cách chính xác giúp máy tính hiểu ngôn ngữ con người tốt hơn, từ đó cung cấp các dịch vụ thông minh và hiệu quả hơn.

II. Thách Thức Khi So Sánh Văn Bản Đặc Biệt Với Tiếng Việt

Việc áp dụng các phương pháp xác định độ tương tự giữa hai văn bản đối mặt với nhiều thách thức, đặc biệt là với các ngôn ngữ có cấu trúc phức tạp như tiếng Việt. Thách thức lớn nhất đến từ sự nhập nhằng (ambiguity) của ngôn ngữ tự nhiên. Một từ có thể có nhiều nghĩa, và nhiều từ khác nhau có thể cùng chỉ một khái niệm. Các mô hình đơn giản chỉ dựa vào việc khớp từ thường thất bại trong việc xử lý các trường hợp này. Theo tài liệu nghiên cứu, “do đặc điểm cấu tạo của ngôn ngữ tiếng Việt có nhiều điểm khác biệt, việc xử lý văn bản và xây dựng được kho ngữ liệu chuẩn và đầy đủ là một vấn đề khó khăn.” Cụ thể, tiếng Việt là ngôn ngữ đơn lập, không có ranh giới từ rõ ràng, khiến cho bài toán tách từ (word segmentation) trở nên phức tạp. Việc tách từ sai có thể làm thay đổi hoàn toàn ngữ nghĩa của câu, dẫn đến kết quả so sánh văn bản không chính xác. Hơn nữa, hiện tượng từ đồng âm khác nghĩa và từ đồng nghĩa đặt ra những yêu cầu cao hơn cho các thuật toán so sánh chuỗi và phân tích ngữ nghĩa. Một hệ thống hiệu quả cần phải được tiền xử lý dữ liệu kỹ lưỡng và sử dụng các mô hình có khả năng hiểu ngữ cảnh sâu sắc.

2.1. Vấn đề nhập nhằng về ngữ nghĩa và từ đồng âm khác nghĩa

Sự nhập nhằng là rào cản lớn trong xử lý ngôn ngữ tự nhiên. Một từ như "đường" có thể là con đường, cũng có thể là đường ăn. Nếu không có ngữ cảnh, máy tính không thể phân biệt. Đây là vấn đề của từ đa nghĩa. Ngược lại, từ đồng nghĩa (ví dụ: máy bay, phi cơ, tàu bay) cũng gây khó khăn. Một thuật toán so sánh văn bản đơn giản có thể kết luận hai văn bản nói về các chủ đề khác nhau chỉ vì chúng dùng các từ đồng nghĩa khác nhau. Việc giải quyết vấn đề này đòi hỏi các mô hình có khả năng biểu diễn từ ngữ trong một không gian vector mà ở đó các từ có nghĩa tương tự sẽ nằm gần nhau.

2.2. Đặc thù cấu trúc và tiền xử lý ngôn ngữ tiếng Việt

Tiếng Việt có những đặc thù riêng. Bài toán cơ bản nhất là tách từ. Một câu như "lòng xào dưa" có thể bị tách sai thành "lòng xào dưa". Giai đoạn tiền xử lý văn bản, bao gồm tách từ, chuẩn hóa (loại bỏ dấu câu, viết thường), và loại bỏ từ dừng (stop words), là cực kỳ quan trọng. Tài liệu gốc nhấn mạnh: “Tách từ là bài toán cơ bản đầu tiên trong việc xử lý và hiểu ngôn ngữ.” Nếu bước này không được thực hiện tốt, mọi nỗ lực phân tích ngữ nghĩa ở các bước sau đều sẽ bị ảnh hưởng, làm giảm độ chính xác của toàn bộ hệ thống đo lường độ tương tự văn bản.

III. Hướng Dẫn Các Phương Pháp So Sánh Văn Bản Dựa Trên Từ Vựng

Các phương pháp dựa trên từ vựng là cách tiếp cận truyền thống nhưng vẫn rất hiệu quả để đo lường độ tương tự văn bản. Nguyên tắc cốt lõi của các phương pháp này là biểu diễn mỗi văn bản dưới dạng một tập hợp hoặc một vector các từ, sau đó sử dụng các công thức toán học để tính toán khoảng cách hoặc độ tương đồng giữa chúng. Phương pháp phổ biến nhất là mô hình Túi từ (Bag-of-Words - BoW), trong đó văn bản được xem như một tập hợp các từ không theo thứ tự. Một cải tiến quan trọng của BoW là kỹ thuật TF-IDF (Term Frequency-Inverse Document Frequency). TF-IDF không chỉ đếm tần suất xuất hiện của từ mà còn đánh giá tầm quan trọng của từ đó trong toàn bộ kho tài liệu. Những từ xuất hiện nhiều trong một văn bản nhưng ít xuất hiện ở các văn bản khác sẽ có trọng số cao, giúp xác định các từ khóa đặc trưng. Sau khi chuyển đổi văn bản thành các vector không gian, các độ đo như Cosine Similarity và Jaccard Similarity được áp dụng để tính toán điểm tương đồng. Các phương pháp này, dù không nắm bắt được ngữ nghĩa sâu, lại rất nhanh, dễ triển khai và cho kết quả tốt trong nhiều bài toán như phân cụm tài liệu hay tìm kiếm thông tin cơ bản.

3.1. Kỹ thuật TF IDF và mô hình vector không gian VSM

Mô hình vector không gian (Vector Space Model - VSM) biểu diễn mỗi văn bản như một vector trong một không gian nhiều chiều, với mỗi chiều tương ứng với một từ trong từ điển. Giá trị của mỗi chiều thường được tính bằng TF-IDF. TF (Tần suất thuật ngữ) đo số lần một từ xuất hiện trong văn bản. IDF (Tần suất tài liệu nghịch đảo) đo mức độ hiếm của từ đó trên toàn bộ kho dữ liệu. Bằng cách nhân TF và IDF, kỹ thuật này giúp làm nổi bật các từ khóa quan trọng và giảm trọng số của các từ phổ biến (như "là", "thì", "của"). Kết quả là mỗi văn bản được đại diện bởi một vector số học, sẵn sàng cho việc so sánh văn bản.

3.2. Sử dụng Cosine Similarity và Jaccard để đo lường

Cosine Similarity là một trong những độ đo phổ biến nhất. Nó tính toán cosin của góc giữa hai vector văn bản. Nếu hai vector cùng hướng (góc bằng 0), độ tương tự là 1 (giống hệt). Nếu chúng trực giao (góc 90 độ), độ tương tự là 0 (không liên quan). Ưu điểm của Cosine Similarity là không bị ảnh hưởng bởi độ dài của văn bản. Trong khi đó, Jaccard Similarity hoạt động trên tập hợp từ. Nó được tính bằng cách lấy kích thước của tập hợp giao (từ chung) chia cho kích thước của tập hợp hợp (tất cả các từ). Jaccard phù hợp cho các bài toán mà sự hiện diện của từ quan trọng hơn tần suất của nó.

IV. Bí Quyết Phân Tích Ngữ Nghĩa Bằng Word Embeddings BERT

Để vượt qua hạn chế của các phương pháp dựa trên từ vựng, các kỹ thuật phân tích ngữ nghĩa hiện đại đã ra đời. Trọng tâm của các kỹ thuật này là Word Embeddings, một phương pháp biểu diễn từ dưới dạng các vector dày đặc (dense vectors) trong một không gian nhiều chiều. Trong không gian này, các từ có ngữ nghĩa tương đồng sẽ có vị trí gần nhau. Word2Vec là một trong những mô hình tiên phong, sử dụng mạng nơ-ron để học các biểu diễn vector từ một kho văn bản lớn. Nó có khả năng nắm bắt các mối quan hệ ngữ nghĩa tinh tế, ví dụ như "Vua - Đàn ông + Phụ nữ ≈ Nữ hoàng". Một bước tiến xa hơn là các mô hình dựa trên kiến trúc Transformer, tiêu biểu là BERT (Bidirectional Encoder Representations from Transformers). BERT tạo ra một cuộc cách mạng bằng cách xử lý toàn bộ câu cùng lúc và xem xét ngữ cảnh hai chiều (cả từ đứng trước và từ đứng sau). Điều này cho phép BERT tạo ra các vector biểu diễn theo ngữ cảnh, nghĩa là cùng một từ sẽ có các vector khác nhau trong các câu khác nhau, giải quyết triệt để vấn đề từ đa nghĩa. Sử dụng các mô hình như Sentence-BERT (SBERT), việc so sánh ngữ nghĩa giữa hai câu trở nên chính xác và hiệu quả hơn bao giờ hết, là nền tảng cho nhiều ứng dụng NLP tiên tiến.

4.1. Word2Vec và Doc2Vec Biểu diễn văn bản theo ngữ cảnh

Word2Vec, được phát triển bởi Google, học cách biểu diễn từ bằng cách dự đoán các từ xung quanh (ngữ cảnh). Kết quả là một không gian vector mà ở đó khoảng cách và hướng giữa các vector mang ý nghĩa ngữ nghĩa. Doc2Vec là một bản mở rộng của Word2Vec, cho phép tạo ra vector biểu diễn cho cả một đoạn văn bản hoặc tài liệu, chứ không chỉ cho từng từ. Điều này rất hữu ích cho các tác vụ như phân cụm tài liệu hoặc tìm kiếm tài liệu tương tự. Các thư viện python so sánh văn bản như Gensim cung cấp các triển khai mạnh mẽ cho cả Word2Vec và Doc2Vec.

4.2. Mô hình BERT Đột phá trong so sánh ngữ nghĩa hai chiều

BERT là một mô hình ngôn ngữ dựa trên kiến trúc Transformer. Điểm đột phá của nó là khả năng "đọc" toàn bộ câu theo cả hai chiều cùng một lúc. Nhờ cơ chế này, BERT có thể hiểu sâu sắc ngữ cảnh của từng từ. Ví dụ, BERT có thể phân biệt nghĩa của từ "bank" trong "river bank" (bờ sông) và "bank account" (tài khoản ngân hàng). Khi áp dụng vào bài toán so sánh ngữ nghĩa, mô hình SBERT (Sentence-BERT) tinh chỉnh BERT để tạo ra các vector biểu diễn cho cả câu, cho phép tính toán Cosine Similarity một cách hiệu quả và cho ra kết quả với độ chính xác vượt trội so với các phương pháp trước đó.

V. Top Ứng Dụng Thực Tiễn Của Việc So Sánh Văn Bản Hiện Nay

Các phương pháp xác định độ tương tự giữa hai văn bản có vô số ứng dụng trong thế giới thực, thay đổi cách chúng ta tương tác với thông tin. Một trong những ứng dụng quan trọng và phổ biến nhất là trong các hệ thống phát hiện đạo văn. Các công cụ này quét một tài liệu và so sánh văn bản đó với một cơ sở dữ liệu khổng lồ gồm các bài báo, sách, và trang web để tìm ra các đoạn trùng lặp về mặt ngữ nghĩa, giúp đảm bảo tính liêm chính trong học thuật và sáng tạo nội dung. Một lĩnh vực khác được hưởng lợi rất nhiều là công cụ tìm kiếm. Khi người dùng nhập một truy vấn, công cụ tìm kiếm không chỉ tìm các trang chứa chính xác các từ khóa đó mà còn tìm các trang có nội dung tương tự về mặt ngữ nghĩa, mang lại kết quả phù hợp hơn. Tương tự, các hệ thống gợi ý trên các nền tảng như Netflix, Amazon hay Spotify sử dụng kỹ thuật này để đề xuất phim, sản phẩm hoặc bài hát dựa trên sự tương đồng về mô tả, thể loại hoặc đánh giá của người dùng. Ngoài ra, đo lường độ tương tự văn bản còn được dùng để phân loại email rác, phân tích phản hồi của khách hàng, và tự động nhóm các tin tức liên quan đến cùng một sự kiện.

5.1. Hệ thống phát hiện đạo văn trong học thuật và nội dung

Các hệ thống như Turnitin sử dụng các thuật toán so sánh chuỗi và phân tích ngữ nghĩa phức tạp. Chúng không chỉ phát hiện việc sao chép nguyên văn mà còn nhận ra các trường hợp diễn giải lại ý (paraphrasing) nhưng vẫn giữ nguyên cấu trúc và ý tưởng. Bằng cách so sánh văn bản nộp với kho dữ liệu khổng lồ, hệ thống tạo ra một báo cáo chi tiết về tỷ lệ tương đồng, giúp giáo viên và nhà xuất bản đánh giá tính nguyên gốc của tác phẩm. Đây là một ứng dụng quan trọng của text similarity.

5.2. Tối ưu hóa công cụ tìm kiếm và hệ thống gợi ý

Google sử dụng các mô hình ngôn ngữ như BERT để hiểu ý định đằng sau truy vấn tìm kiếm. Thay vì chỉ khớp từ khóa, Google so sánh ngữ nghĩa giữa truy vấn và nội dung của hàng tỷ trang web để trả về kết quả chính xác nhất. Tương tự, một hệ thống gợi ý sẽ phân tích mô tả của một bộ phim bạn vừa xem, sau đó tìm các phim khác có mô tả tương tự về mặt ngữ nghĩa để đề xuất cho bạn, nâng cao trải nghiệm người dùng một cách đáng kể.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh khoa học công nghệ, mạng Internet và hệ thống máy tính phát triển mạnh mẽ, khối lượng thông tin dưới dạng văn bản ngày càng gia tăng và trở nên đa dạng. Khả năng tìm kiếm, xử lý và chọn lọc thông tin hữu ích, chính xác trở thành một thách thức lớn. Lĩnh vực Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP), nằm ở giao điểm giữa công nghệ thông tin và ngôn ngữ học, đóng vai trò then chốt trong việc giải quyết các bài toán văn bản như tóm tắt tự động, trích chọn thông tin, dịch máy và đặc biệt là xác định độ tương tự giữa hai văn bản.

Đối với ngôn ngữ tiếng Việt, việc xác định độ tương đồng văn bản còn gặp nhiều hạn chế do phần lớn các nghiên cứu và công cụ sẵn có được phát triển chủ yếu cho tiếng Anh. Sự khác biệt về cấu tạo từ, từ ghép, hiện tượng đồng âm, đồng nghĩa và các quy tắc chính tả tiếng Việt đặt ra yêu cầu phải có những khảo sát và phương pháp tiếp cận chuyên sâu.

Đề tài khóa luận được xác định với các nội dung trọng tâm:

1. Mục đích nghiên cứu: Khảo sát, hệ thống hóa các phương pháp xác định độ tương đồng văn bản từ cấp độ từ vựng/cú pháp đến cấp độ ngữ nghĩa sâu, từ đó làm tiền đề xây dựng mô hình hệ thống đánh giá sự tương đồng văn bản ứng dụng kiến trúc học sâu.
2. Nhiệm vụ nghiên cứu:
   • Tìm hiểu tổng quan về các bài toán, thuật ngữ và thách thức trong xử lý ngôn ngữ tự nhiên.
   • Nghiên cứu bài toán so sánh văn bản và các đặc trưng ngôn ngữ của tiếng Việt.
   • Khảo sát các kỹ thuật tiền xử lý, mô hình biểu diễn văn bản (vector space, word embeddings).
   • Nghiên cứu các thước đo khoảng cách và các mô hình học ngôn ngữ hiện đại (Transformer, BERT).
   • Xây dựng chương trình thực nghiệm huấn luyện và đánh giá độ tương tự câu trên dữ liệu thực tế.
3. Đối tượng và phạm vi nghiên cứu:
   • Đối tượng: Các phương pháp xác định mức độ tương tự văn bản về cú pháp (câu, từ, đoạn văn) và ngữ nghĩa; các mô hình biểu diễn văn bản và kiến trúc BERT.
   • Không gian và thời gian: Đồ án tốt nghiệp đại học ngành Công nghệ phần mềm (Khoa Công nghệ Thông tin 1, Học viện Công nghệ Bưu chính Viễn thông), thực hiện trong giai đoạn khóa học 2017 – 2022, bảo vệ vào tháng 12 năm 2021.

---

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết dựa trên các trụ cột chính của khoa học máy tính và xử lý ngôn ngữ tự nhiên:

• Biểu diễn từ vựng và văn bản (Vector Space & Embeddings): Chuyển đổi dữ liệu văn bản thành dữ liệu số (numeric) thông qua các kỹ thuật từ cơ bản (One-Hot Encoding, Bag of Words - BoW) đến các mô hình không gian vector dày đặc phân bố (Word2Vec với hai kiến trúc CBOW / Skip-gram, Doc2Vec với PV-DM / PV-DBOW).
• Thước đo khoảng cách và độ tương đồng toán học: Sử dụng các công thức định lượng khoảng cách và góc hình học gồm Cosine Similarity, khoảng cách Euclid (Euclidean Distance), khoảng cách Manhattan và hệ số tương đồng Jaccard (dựa trên tập từ chung / Contrast Model).
• Mô hình học biểu diễn ngữ nghĩa sâu (Language Models): Kiến trúc Transformer với cơ chế Self-Attention, Multi-Head Attention, Position Encoding, cùng mô hình ngôn ngữ BERT (Bidirectional Encoder Representations from Transformers) được tiền huấn luyện qua hai tác vụ Masked Language Model (MLM) và Next Sentence Prediction (NSP).
• Phương pháp nghiên cứu:
  • Phương pháp phân tích - tổng hợp lý thuyết: Thu thập tài liệu, khảo sát các công trình nghiên cứu về trích xuất thông tin, xử lý cú pháp - ngữ nghĩa và mô hình hóa ngôn ngữ.
  • Phương pháp thực nghiệm: Thiết lập đường ống (pipeline) xử lý dữ liệu, tinh chỉnh mô hình (fine-tuning) BERT trên tập dữ liệu suy luận ngôn ngữ tự nhiên, tiến hành đánh giá định lượng thông qua hàm mất mát (loss) và độ chính xác (accuracy).
• Nguồn dữ liệu: Tập ngữ liệu chuẩn SNLI (Stanford Natural Language Inference) Corpus được trích xuất từ nền tảng Kaggle dưới dạng các tệp CSV chứa các cặp câu đi kèm nhãn quan hệ ngữ nghĩa.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan về độ tương tự giữa hai văn bản

Chương 1 khái quát các định nghĩa nền tảng về văn bản và lĩnh vực xử lý ngôn ngữ tự nhiên (NLP). Văn bản được định nghĩa là phương tiện ghi nhận, lưu giữ và truyền đạt thông tin qua chữ viết, có tính trọn vẹn về nội dung và cấu trúc liên kết. Tác giả phân tích cấu trúc của hệ thống NLP qua các thành phần cốt lõi:

• Nhận thức máy móc (Machine Perception): Khả năng mô phỏng các giác quan con người để xử lý dữ liệu đầu vào.
• Sự hiểu biết ngôn ngữ tự nhiên (NLU): Gồm 4 bước tiếp cận tuần tự:
  1. Phân tích hình vị (nhận diện hình vị, từ gốc, tách từ - word segmentation, gán nhãn từ loại - POS).
  2. Phân tích cú pháp (dựa trên văn phạm phi ngữ cảnh CFG và văn phạm phụ thuộc DG, với các thuật toán như CKY, Earley, Chart, GLR).
  3. Phân tích ngữ nghĩa (xác định ý nghĩa từ vựng và ngữ nghĩa thành phần liên kết).
  4. Phân tích diễn ngôn và ngữ dụng học (quan hệ giữa ngôn ngữ và ngữ cảnh sử dụng).
• Sinh ngôn ngữ tự nhiên (NLG): Chuyển đổi biểu diễn máy tính sang ngôn ngữ người đọc.

Chương này cũng phân loại và phân tích một số ứng dụng tiêu biểu của NLP như Nhận dạng tiếng nói (ASR/STT), Tổng hợp tiếng nói (TTS), Nhận dạng chữ viết (OCR), Truy xuất thông tin (IR), Trích chọn thông tin (IE), Hệ thống hỏi đáp (QA) và Tóm tắt văn bản tự động (gồm phương pháp trích xuất - extractive và tóm lược ý - abstractive).

Chương 2: Các phương pháp xác định mức độ tương tự giữa hai văn bản

Chương 2 tập trung vào việc mô hình hóa bài toán so sánh văn bản, chỉ rõ các đặc thù của tiếng Việt:

• Cấu tạo từ phức tạp (từ đơn, từ ghép, từ láy), sự phong phú của từ đồng nghĩa, từ đồng âm khác nghĩa và các biến thể chính tả.
• Kỹ thuật tiền xử lý văn bản tiếng Việt và biểu diễn văn bản sang không gian số (Embedding).

Tác giả so sánh các mô hình biểu diễn dữ liệu:

• One-hot Encoding: Nhược điểm tạo ma trận thưa (sparse matrix), kích thước chiều lớn ($N \times M$) và không phản ánh mối quan hệ ngữ nghĩa giữa các từ.
• Word Embedding (Word2Vec, Doc2Vec): Giảm số chiều xuống $N \times D$, cho phép bảo toàn ngữ cảnh và quan hệ tương quan giữa các từ trong không gian vector.

Chương 2 cũng trình bày chi tiết các thước đo định lượng độ tương tự:

• Jaccard Similarity: Đánh giá tỉ lệ giao thoa trên hội của tập hợp các từ chung giữa hai văn bản.
• Cosine Similarity: Đo góc cosin giữa hai vector biểu diễn, tập trung vào hướng thay vì độ dài vector.
• Khoảng cách Euclid (Euclidean Distance): Tính khoảng cách hình học đường thẳng giữa hai điểm vector trong không gian nhiều chiều.
• Khoảng cách Manhattan: Tính tổng khoảng cách chênh lệch tuyệt đối giữa các tọa độ tương ứng.

Chương 3: Độ tương đồng văn bản về mặt ngữ nghĩa và ứng dụng

Chương 3 phân tích sâu các phương pháp tiếp cận độ tương đồng ngữ nghĩa (Semantic Similarity):

• Phương pháp cấu trúc/tri thức (Topological/Knowledge-based Methods): Khai thác mạng lưới từ vựng hoặc đồ thị quan hệ.
• Phương pháp dựa trên thống kê (Statistical-Based): Phân tích tần suất và phân phối từ trong ngữ liệu.
• Phương pháp dựa trên mô hình ngôn ngữ (Language Model-Based): Phân tích cấu trúc mạng Transformer (lớp Encoder, Decoder, cơ chế Self-Attention và Multi-Head Attention) và kiến trúc mô hình BERT.

Nội dung trọng tâm của chương là thiết kế và triển khai thực nghiệm ứng dụng fine-tuning mô hình BERT để xác định độ tương đồng ngữ nghĩa câu dựa trên tập dữ liệu SNLI.

---

Thiết kế và triển khai hệ thống

1. Kiến trúc và môi trường công nghệ

Hệ thống được xây dựng trên nền tảng ngôn ngữ lập trình Python, sử dụng các thư viện và framework chuyên dụng:

• TensorFlow & Transformers (Hugging Face): Hỗ trợ nạp mô hình tiền huấn luyện, cấu hình các lớp mạng và tối ưu hóa quá trình học.
• BertTokenizer (bert-base-uncased): Thực hiện mã hóa văn bản đầu vào thành các chuỗi chỉ số token (token IDs).
• Pandas & NumPy: Xử lý, lọc sạch tệp CSV dữ liệu dạng bảng và thao tác ma trận nhiều chiều.

2. Tiền xử lý và phân chia dữ liệu

• Loại bỏ các giá trị rỗng (NaN) và các dòng dữ liệu không hợp lệ (-) trong bộ ngữ liệu SNLI.
• Chuyển đổi nhãn phân loại thành dạng vector One-hot Encoding tương ứng với 3 nhãn quan hệ:
  • Contradiction: Cặp câu mang ý nghĩa đối lập, mâu thuẫn.
  • Entailment: Cặp câu mang ý nghĩa kéo theo / suy diễn được từ nhau.
  • Neutral: Cặp câu có mối quan hệ trung lập, không khẳng định cũng không phủ định lẫn nhau.
• Chia dữ liệu thành các tập độc lập: Tập huấn luyện (train), tập xác thực (validation), tập tinh chỉnh tham số (dev) và tập kiểm thử (test).
• Xây dựng bộ tạo dữ liệu tùy biến (custom data generator) để cung cấp dữ liệu theo từng lô (batch).

3. Cấu hình tham số và quy trình huấn luyện

• Chiều dài chuỗi tối đa (max_length): 128.
• Kích thước batch (batch_size): 32.
• Số lượng chu kỳ học (epochs): 2.
• Quy trình huấn luyện gồm 2 giai đoạn:
  1. Trích xuất đặc trưng: Đóng băng các tầng trọng số của BERT đã huấn luyện trước, chỉ huấn luyện các lớp phân loại phía trên.
  2. Tinh chỉnh toàn diện (Fine-tuning): Mở khóa các tầng trọng số của bert_model và huấn luyện lại toàn bộ mạng với tốc độ học (learning rate) thấp nhằm giúp mô hình thích ứng với miền dữ liệu mới.

---

Kết quả và đóng góp

1. Kết quả thực nghiệm định lượng

Khóa luận đã tiến hành thử nghiệm mô hình với 2 thiết lập quy mô dữ liệu huấn luyện khác nhau trên tập kiểm thử:

Tiêu chí	Trường hợp 1	Trường hợp 2
Số mẫu huấn luyện (Train samples)	15.000 bản ghi	100.000 bản ghi
Số mẫu xác thực (Validation samples)	3.000 bản ghi	10.000 bản ghi
Số mẫu kiểm thử (Test samples)	3.000 bản ghi	10.000 bản ghi
Số chu kỳ học (Epochs)	2	2
Tỉ lệ mất mát (Loss)	62,45%	36,85%
Độ chính xác (Accuracy)	74,06%	87,29%

Kết quả thực nghiệm cho thấy khi tăng quy mô tập dữ liệu huấn luyện từ 15.000 lên 100.000 bản ghi, độ chính xác của mô hình tăng thêm 13,23% (từ 74,06% lên 87,29%) và hàm mất mát giảm mạnh từ 62,45% xuống còn 36,85%.

2. Kiểm thử trên các cặp câu ví dụ

Tác giả đã chạy thử nghiệm hàm suy luận độ tương tự trên các cặp câu mẫu:

• Cặp câu 1:
  • Câu 1: "Two women are observing something together."
  • Câu 2: "Two women are standing with their eyes closed."
  • Kết quả: Phân loại quan hệ mâu thuẫn (Contradiction).
• Cặp câu 2:
  • Câu 1: "A costumed smiling woman is holding an umbrella"
  • Câu 2: "A happy woman in a fairy costume holds an umbrella"
  • Kết quả: Phân loại quan hệ tương đồng / kéo theo (Entailment).
• Cặp câu 3:
  • Câu 1: "A soccer game with multiple males playing"
  • Câu 2: "Some men are playing a sport"
  • Kết quả: Phân loại quan hệ tương đồng / kéo theo (Entailment).

Ở cả 3 trường hợp thử nghiệm, mô hình được huấn luyện với 100.000 bản ghi (Trường hợp 2) đều cho kết quả phân loại chuẩn xác và mức độ tin cậy cao hơn so với mô hình 15.000 bản ghi.

3. Đóng góp của đồ án

• Hệ thống hóa toàn diện các phương pháp xác định mức độ tương đồng văn bản từ cơ bản (khoảng cách hình học, tập từ chung) đến nâng cao (word embedding, mô hình Transformer/BERT).
• Xây dựng thành công ứng dụng thực nghiệm tinh chỉnh BERT cho bài toán dự đoán quan hệ ngữ nghĩa và độ tương đồng giữa các câu văn, đạt độ chính xác 87,29%.

---

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế

• Hạn chế phần cứng và tài nguyên tính toán: Khóa luận chỉ thực nghiệm được tối đa với 100.000 bản ghi dữ liệu và 2 epoch. Việc tăng số lượng dữ liệu lớn hơn 100.000 không thể thực hiện được do giới hạn về bộ nhớ và cấu hình máy tính.
• Quy mô ứng dụng: Mô hình mới chỉ tập trung xử lý ở cấp độ câu/đoạn văn bản ngắn tiếng Anh từ bộ dữ liệu SNLI, chưa bao quát hoàn toàn các định dạng văn bản phức tạp và dữ liệu tiếng Việt thực tế.

2. Hướng nghiên cứu tiếp

• Nâng cấp cấu hình hạ tầng máy tính để có thể huấn luyện trên các tập dữ liệu có quy mô lớn hơn.
• Nghiên cứu tăng số lượng chu kỳ học (epochs) và tinh chỉnh siêu tham số tối ưu.
• Mở rộng ứng dụng để có khả năng tiếp nhận và so sánh trực tiếp các định dạng dữ liệu đầu vào đa dạng như đường dẫn văn bản (URL), tệp tin HTML và dữ liệu bài báo từ các nền tảng mạng xã hội.

---

Giá trị tham khảo

Tài liệu khóa luận cung cấp giá trị tham khảo chuyên môn cho:

• Sinh viên ngành Công nghệ phần mềm, Công nghệ thông tin và Khoa học dữ liệu: Dùng làm tài liệu tham khảo về cấu trúc một đồ án tốt nghiệp ứng dụng NLP, cách tổ chức mã nguồn và quy trình xử lý dữ liệu dạng bảng.
• Người nghiên cứu bài toán Text Similarity / Natural Language Inference: Tham khảo cách thức áp dụng các thước đo hình học (Cosine, Jaccard, Euclidean) và phương pháp fine-tuning kiến trúc BERT sử dụng thư viện TensorFlow và Hugging Face Transformers.
• Phần nội dung có giá trị tham khảo cao nhất: Chương 2 (hệ thống hóa các thước đo khoảng cách và biểu diễn Word2Vec/Doc2Vec) và Chương 3 (chi tiết quy trình cấu hình, tiền xử lý và huấn luyện mô hình BERT trên bộ dữ liệu SNLI).

---

Câu hỏi thường gặp

1. Tác giả sử dụng kiến trúc mô hình ngôn ngữ nào để xây dựng ứng dụng so sánh văn bản?

Tác giả sử dụng kiến trúc mô hình Transformer với mô hình tiền huấn luyện BERT (phiên bản bert-base-uncased thông qua BertTokenizer), sau đó tiến hành tinh chỉnh (fine-tuning) trên tập dữ liệu suy luận ngôn ngữ tự nhiên.

2. Tập dữ liệu thực nghiệm được lấy từ nguồn nào và bao gồm những nhãn phân loại gì?

Dữ liệu thực nghiệm được lấy từ nền tảng Kaggle, dựa trên tập ngữ liệu SNLI (Stanford Natural Language Inference) Corpus định dạng CSV. Tập dữ liệu bao gồm 3 nhãn phân loại quan hệ: Contradiction (đối lập), Entailment (đi kèm/kéo theo) và Neutral (trung lập).

3. Cấu hình siêu tham số trong quá trình huấn luyện mô hình được thiết lập như thế nào?

Mô hình được thiết lập với độ dài tối đa chuỗi đầu vào max_length = 128, kích thước mỗi lô dữ liệu batch_size = 32, và số chu kỳ huấn luyện epoch = 2.

4. Kết quả thực nghiệm cụ thể giữa hai trường hợp dữ liệu huấn luyện đạt được là bao nhiêu?

• Ở Trường hợp 1 (15.000 mẫu train, 3.000 mẫu val/test): Hàm mất mát đạt 62,45%, độ chính xác đạt 74,06%.
• Ở Trường hợp 2 (100.000 mẫu train, 10.000 mẫu val/test): Hàm mất mát giảm còn 36,85%, độ chính xác đạt 87,29%.

5. Tại sao tác giả không thực nghiệm với tập dữ liệu lớn hơn 100.000 bản ghi?

Tác giả đã thử nghiệm tăng kích thước dữ liệu lớn hơn 100.000 bản ghi, tuy nhiên do hạn chế về cấu hình và tài nguyên máy tính nên quá trình huấn luyện không thể thực hiện được.

---

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Thị Hồng đã hoàn thành việc khảo sát toàn diện các cơ sở lý thuyết và phương pháp xác định độ tương tự văn bản trong xử lý ngôn ngữ tự nhiên. Nghiên cứu đã triển khai thành công mô hình học sâu dựa trên kiến trúc BERT tiền huấn luyện, tinh chỉnh trên tập dữ liệu SNLI và đạt độ chính xác 87,29% với 100.000 mẫu dữ liệu. Kết quả nghiên cứu và những hạn chế về tài nguyên được làm rõ trong đồ án là tiền đề hữu ích cho các hướng phát triển mở rộng trên dữ liệu lớn và các định dạng tài liệu phức tạp trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1. Tổng quan về độ tương tự giữa hai văn bản et pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket p dchh20249:14:35 13, đó euulàeohg phương hoc bihhhghiehPM9:14:35 ke trình king hahg– va taePM85Thursday, toah bah queen = man xae dihh June 13, ket – kihh pua woman. 20249:14:35 dochhCái ưu điểm tai eohg PM9:14:35 thhhthứ mtvhai vah của dchhnó ty PM85Thursday, làbihh hoc June số13, 20249:14 852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM chiều giảm còn NxD. 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14 et pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket p et pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket p 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14 et pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket p et pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket p et pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket p et pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket p Hìnhmtv et pua kihh dochh tai eohg ty thhh 1.2:vah Các lĩnhhoc dchh vựcbihhhghieh của xử lý ngôn euu ngữ eohgtựtae nhiên (NLP) ke toah bah hahg va xae dihh ket p et pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket p Xử lý ngôn ngữ tự nhiên bao gồm: Managing Human – Computer Dialog et pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket p h hahg va System, xae dihh ketPerception, Machine pua kihh dochh Natural taiUnderstanding, Language eohg ty thhh Natural mtv vah dchh Language et pua kihh dochhClassifier, tai eohg ty thhh mtv Natural vah dchh Language hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket p Generation.

- Machine Perception: Nhận thức máy móc. Là khả năng của một hệ thống máy tính để giải thích dữ liệu theo cách tương tự như cách con người sử dụng các giác quan của mình để liên quan đến thế giới xung quanh. Bất kỳ loại công nghệ nào mô phỏng bất kỳ loại giác quan nào của con người cho dù đó là thị giác, thính giác, vị giác, xúc giác hay cảm giác đều có thể được dán nhãn nhận thứctymáy et pua kihh dochh tai eohg thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket p et pua kihh dochh tai- eohg Natural ty thhhLanguage Understanding mtv vah dchh (NLU): hoc bihhhghieh Sự hiểu euu eohg biếttoah tae ke ngôn bahngữ tự va hahg nhiên xae dihh ket p bao gồm 4 bước: 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14 o Phân tích hình vị: là sự nhận biết, phân tích và miêu tả cấu trúc của những hình vị trong một ngôn ngữ cho trước và các đơn vị ngôn ngữ hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mt Nguyễn Thị Hồng – D17CNPM04 5 Đồ án tốt nghiệp đại học Chương 1.